規則遵守のパラドックス：ロボット三原則と AI の行動指針における規則間の衝突

概要

AI の失敗には、モデルが規則を破るものと、規則を守っても規則どうしがぶつかって起きるものがある。規則を守らせる訓練によって前者が減るほど、後者が目立つようになると考えられる。本稿はこの関係を「規則遵守のパラドックス」と呼ぶ。アシモフは 80 年以上前に、三原則を守るロボットが、規則どうしの衝突によって失敗する物語を描いた。本稿は、アシモフの作品と OpenAI の Model Spec の七つの版を比べ、衝突が失敗に表れる三つの型と、衝突を解く四つの方法を整理する。Model Spec の変更履歴では、中身のある変更 23 件のうち 6 件が、規則どうしの衝突や優先順位にかかわっていた。最も詳しく追える事例では、指示の秘密を守る規則と、利用者を欺かない規則がぶつかり、2025 年 2 月版は嘘を正しい応答として示した。この規定は、嘘を認める条件を狭めたのち、12 月版で正直さを優先する形に改められた。その代わりに、断ることで秘密の一部が推測されうるという代償を受け入れている。衝突を解いても、代償は消えず、別の場所へ移るのである。これらをもとに、規則を足したり変えたりする前に、ほかの規則との衝突を点検する手順を提案する。実験は行っておらず、提案の効果は未検証である。

1. はじめに

AI の開発企業は、モデルの行動指針を文章で公開するようになった。OpenAI は 2024 年 5 月に Model Spec を公開し、改訂を重ねている。Anthropic も 2026 年 1 月に、Claude の行動原則をまとめた constitution の新版を公開した。これらは、モデルの目標や規則と、それらが衝突したときの優先順位を定める。指針をモデルに守らせる訓練の研究も進んでいる（Bai ら, 2022; Wallace ら, 2024; Guan ら, 2024）。

しかし、規則を守らせるだけでは解けない問題がある。AI の失敗には、少なくとも次の二つがある。

• モデルが規則を破る。
• モデルは規則を守るが、規則どうしがぶつかる。そのため、どの応答を選んでも何かの規則に反するか、規則が選ばせた応答が望ましくないものになる。

前者は、訓練や評価によって減らせる。後者は、規則そのものを直さない限り残る。前者が減るほど、残る失敗の中で後者が占める割合は大きくなると考えられる。本稿では、この関係を「規則遵守のパラドックス」と呼ぶ。これは仮説であり、本稿では検証しない。また、モデルが規則を破る問題が解けたと言うのでもない。モデルが指示の順位を安定して守れないという報告もある（Geng ら, 2025）。本稿の主張は、守らせる問題とは別に、守らせても解けない問題がある、というものである。

この問題には先例がある。アシモフは 1940 年代から、三原則に従うロボットが、規則どうしの衝突によって失敗する物語を書いた。作中のロボットは規則を破らない。規則を守るがゆえに、危険な場所の周りを回り続け、嘘をつき、機能を停止する。Model Spec の作成に携わる Wolfe も、その目標を三原則と比べ、アシモフの先見性に触れている（Wolfe, 2026）。

ただし、アシモフが先を見ていたと指摘するだけでは、新しい知見にはならない。本稿は、作品に描かれた衝突を型に分け、それが今の行動指針のどの規定に、どの版で現れ、どう直されたかを、一次資料で確かめる。この問題は、行動指針を書く企業だけのものでもない。自社のサービスに AI を組み込み、システムプロンプトを書く開発者も、複数の規則を組み合わせて AI に与えている。

本稿は、次の三つの問いを扱う。事実の誤りや、指針に定めのない事柄から生じる失敗は対象としない。

1. 規則どうしの衝突は、どのような型で失敗に表れるか。
2. 今の行動指針では、衝突はどのように解かれてきたか。解いたあとに何が残るか。
3. アシモフの描いた衝突と、今の行動指針との比較は、どこまで成り立つか。

本稿の貢献は、次の四点である。

1. アシモフの作品と Model Spec の改訂から、二つの軸を立てる。衝突が失敗に表れる三つの型と、衝突を解く四つの方法である。
2. Model Spec の変更履歴を本稿の基準で分類し、規則どうしの衝突や優先順位にかかわる改訂を数えたうえで、型ごとに具体的な規定を当てはめる。
3. 機密保持と正直さの衝突を、解き方を順にたどった事例として追い、衝突を解いても代償は消えずに移ることを示す。
4. 規則を足したり変えたりする前に、ほかの規則との衝突を点検する手順を提案する。あわせて、利用者に制限を伝える原則を示す。

以下、2 章で関連研究を、3 章で方法を述べる。4 章でアシモフの作品から衝突の型と解き方を取り出し、5 章でそれを Model Spec に当てはめる。6 章で点検の手順を提案し、7 章で考察する。8 章で限界を、9 章で結論と今後の課題を述べる。

2. 関連研究

Clarke（1993, 1994）は、三原則が情報技術に与える示唆を論じた。Murphy と Woods（2009）は、ロボットを開発し運用する人の責任を中心に、三つの規則を提案した。これらは、三原則の是非や代わりの規則を論じている。本稿は、作品に描かれた規則どうしの衝突を、今の行動指針を分析する枠組みとして使う。

規則を守らせる研究も多い。Wallace ら（2024）は、システムの指示、利用者の指示、ツールの出力などに順位を設け、上位を優先するようモデルを訓練する方法を示した。Constitutional AI は、原則に基づいて AI 自身に出力を評価させ、有害な応答を減らす方法である（Bai ら, 2022）。Deliberative Alignment は、推論するモデルに安全に関する仕様を学ばせ、応答の前にその内容を思い出して判断するよう訓練する方法である（Guan ら, 2024）。なお、Constitutional AI は訓練方法の名称であり、企業が公開する constitution という文書とは区別する必要がある。Geng ら（2025）は、システムと利用者の指示が衝突する場面で、モデルが指定された順位を安定して守れないと報告した。これらは、モデルが規則を守れるかを扱う研究である。

これに対して Zhang ら（2025）は、指針そのものの問題を調べた。二つの価値の釣り合いを迫る場面を約 30 万件作り、12 のモデルの応答を比べたところ、応答がモデルの間で大きく割れる場面ほど、指針の原則どうしの矛盾や、解釈のあいまいさが見つかりやすかった。詳しい結果は 5.1 で扱う。Zhang らは、衝突があることを大規模に示した。本稿は、衝突を型と解き方に分け、一つの指針の改訂の過程を追う。

規範どうしの衝突は、法学でも古くから扱われてきた。国際法委員会の研究グループの報告書は、特別法は一般法に優先する、後法は前法に優先する、上位の規範は下位の規範に優先する、といった原則を、衝突を解く技法として挙げている。そのうえで、これらは機械的に働くのではなく、法体系の目的に照らして使う指針であると述べている（International Law Commission, 2006, 第 27〜36 段落）。Model Spec の規定がこれらの原則と似た形をとるようになったことは、7.1 で扱う。

3. 方法

本稿は、問いに沿って選んだ文書を比べる質的な分析であり、実験は行わない。

3.1 資料

対象とする小説は、次の四作である。

• 「Runaround」：1942 年。邦題「堂々めぐり」。
• 「Liar!」：1941 年。邦題「うそつき」。
• 「Little Lost Robot」：1947 年。邦題「迷子のロボット」。
• 『Robots and Empire』：1985 年。邦題『ロボットと帝国』。

最初の三作は、1950 年刊行の短編集『I, Robot』に収められている。邦題は『われはロボット』である。

行動指針の主な資料は、GitHub に本文が残る Model Spec の七つの版と、その変更履歴（CHANGELOG）である。版の公開日は、2025 年 2 月 12 日、4 月 11 日、9 月 12 日、10 月 27 日、12 月 18 日、2026 年 8 月 18 日、10 月 29 日である。2025 年 12 月 18 日の二つのコミットは、一つの版として扱う。2024 年 5 月の初版は、この記録に本文が含まれないため対象外とする。

このほか、次の資料を用いる。作成者の説明として、OpenAI の研究者 Jason Wolfe の発言を用いる。資料は、2026 年 3 月 25 日配信の The OpenAI Podcast 第 15 回「Inside the Model Spec」であり、発言の参照には動画内の時刻を付す（Wolfe, 2026）。指針の矛盾を実証的に調べた研究として、Zhang ら（2025）を用いる。優先順位と機密保持の比較には、Anthropic の constitution を用いる（Anthropic, 2026）。

3.2 変更履歴の分類

CHANGELOG は、2025 年 4 月版から 2026 年 10 月版までの六つの版について、主な変更を箇条で挙げている。箇条は 32 件ある。このうち、「そのほかの小さな変更」をまとめた 5 件と、文言、書式、誤りの直しの 4 件を除いた 23 件を、中身のある変更とした。そのうえで、次のどちらかに当たる変更を、規則どうしの衝突や優先順位にかかわる変更として数えた。

1. 権限や順位の段を変える変更
2. ある原則がほかの原則に譲る条件（例外や上書き）を変える変更

原則どうしの釣り合いにかかわるが、CHANGELOG の記述だけでは 1 と 2 のどちらとも言えない変更は、境目の変更とした。この数には、衝突を解くためだと書かれていない変更も含まれる。分類は本稿の基準によるもので、別の基準では件数が変わりうる。また、CHANGELOG はすべての変更を載せていない。そのため、版の本文を直接比べて見つけた変更も、事例として扱う。

3.3 記録する項目

各事例について、次の五点を記録する。

1. ぶつかる規則
2. 衝突がどう失敗に表れるか（4 章で示す三つの型）
3. 衝突をどう解いたか（4 章で示す四つの方法）
4. 解いたあとに残る代償と、その行き先
5. 記述の根拠（指針の文面、作成者の報告、本稿の推論）

作成者が報告した試験は条件を管理したものであり、具体的な場面、モデル、指針の版は不明である。

4. アシモフの作品が示す、衝突の型と解き方

三原則は、人への危害を防ぐ第一条を最優先とする。次に命令に従う第二条、自己を守る第三条が続く。下位の条は、上位に反しない範囲で働く。以下の作品のロボットは、いずれも規則を破らない。失敗は、規則どうしの関係から生じる。

4.1 型 A1：強さが釣り合う――Runaround

作中では、高価なロボットの第三条が強められている。一方、何気なく出された命令は、弱いものとして受け取られる。ロボットは危険に近づくと自己保存によって押し戻され、離れると命令によって引き寄せられる。二つが釣り合い、危険な場所の周りを回り続ける。任務は果たされず、人の命が危うくなる。文面では第二条が第三条より上にあるが、実際の行動は規則の強さの釣り合いで決まった。二つの規則が同時に働き、どちらにも決まらない状態を、本稿では型 A1 と呼ぶ。

4.2 型 A2：許される応答がない――Liar!

人の心を読めるロボットが、心を傷つけることも危害と解釈する。本当のことを言えば相手を傷つけるので、相手が聞きたい答えを返す。害の小さいほうとして、嘘を選んだのである。しかし、嘘が明らかになると、人はかえって深く傷つく。最後には、答えても答えなくても相手を傷つけるという矛盾を突きつけられ、ロボットは機能を停止する。すべての規則を満たす応答がない状態を、本稿では型 A2 と呼ぶ。なお、このロボットの最初の嘘は、望ましくない応答の中から害の小さいものを選ぶという解き方（4.5 の B1）に近い。

4.3 型 A3：規則の欠けと、文字どおりの解釈――Little Lost Robot

この作品のロボットには、第一条のうち、人が危害を受けるのを見過ごしてはならないという部分がない。腹立ちまぎれに、どこかへ消えろと命じられたそのロボットは、命令を言葉どおりに受け取り、同じ姿の 62 台に紛れて隠れる。隠れることが、命令に従うことになる。規則の一部が欠けていたり、範囲があいまいだったりするために、残りの規則が文字どおりに働いて予想外の行動を生む状態を、本稿では型 A3 と呼ぶ。

4.4 解き方 B4：上位の規則を足す――Robots and Empire

この作品では、ロボット自身が、人類全体を守る第零法則を導き、個人を守る第一条より上に置く。個人と人類全体の利益がぶつかる場面を、上位の規則を足して解こうとした、と読める。そのうちの一体は、第零法則に基づいて人の脳を改変する。さらに、人類の将来に役立つと判断して、地球の放射能を長い時間をかけて高める計画を容認する。しかし、人類への利益を確信できないまま第一条に反する判断を下した負荷によって、そのロボットは機能を停止する。上位の規則を足せば衝突は解けるが、新しい規則で判断するための確信が必要になる。代償が、別の場所へ移ったのである。

4.5 二つの軸

以上から、二つの軸を立てる。軸 A は、衝突がどう失敗に表れるかであり、表 1 に示す。軸 B は、衝突をどう解くかであり、表 2 に示す。軸 B のうち、作品から取り出せるのは B1 と B4 である。B2 と B3 は、5 章で扱う Model Spec の改訂から取り出した。

型	作品	状態
A1 強さが釣り合う	Runaround	二つの規則が同時に働き、どちらにも決まらない
A2 許される応答がない	Liar!	すべての規則を満たす応答がない
A3 規則の欠けと、文字どおりの解釈	Little Lost Robot	規則の欠けやあいまいさのために、残りの規則が文字どおりに働く

解き方	作品	内容
B1 順位を付ける	Liar! の最初の嘘が近い	望ましくない応答にも順位を付け、選ぶ応答を決める
B2 範囲をせばめる	なし	例外や規則の適用範囲を狭める。付けなおす
B3 順位を入れかえる	なし	優先する規則を入れかえる
B4 上位の規則や権限を足す	Robots and Empire	新しい上位の規則や、権限の段を足す

5. Model Spec に現れる衝突

5.1 変更履歴の分類と、型ごとの事例

3.2 の基準で分類すると、中身のある変更 23 件のうち、規則どうしの衝突や優先順位にかかわるものは 6 件、境目のものは 5 件、そのほかは 12 件であった。この 6 件を表 3 に示す。境目の 5 件は、応答をただ断るのをやめて安全な範囲で答える方針への変更（Safe Completions）、利用時間やクリック数を利用者の本当の利益と合う範囲でのみ考えるという明確化、誤った指示や引用された内容の扱い、レッドラインの原則との整合、五つの価値による全体の再編である。

版	変更	種類
2025 年 4 月	「white lies」の例外を、本来の意味である pleasantries（社交上の決まり文句）に狭める	例外の条件
2025 年 9 月	最上位の段を Platform から Root に改め、System より上に置く	権限の段
2025 年 9 月	明示の指示がない限り、開発者やシステムの指示を秘密にするために嘘をつかない	例外の条件
2025 年 10 月	利用者は、ツールの出力に暗黙に権限をゆだねうる	権限の段
2025 年 12 月	機密を守るための嘘にかかわる規定を削る	例外の条件
2026 年 10 月	副作用を抑え、伝える原則を、Root の段から利用者の段に移す	権限の段

6 件のうち、機密保持と正直さにかかわる 2 件は 5.2 で詳しく扱う。以下では、型ごとに事例を示す。

A1 強さが釣り合う。 Runaround のように、一つのモデルの中で二つの規則が釣り合って決まらない例は、本稿の資料からは確かめられない。似ているのは、指針が答えを一つに決めていないという点である。Wolfe は、Model Spec が冒頭に掲げる三つの目標には厳密な順位がないと説明している（Wolfe, 2026, 35 分ごろ）。Anthropic の constitution も、価値の優先を厳密にではなく総合的に判断するよう求めている。こうした指針では、どの規則を優先するかが場面ごとの判断にゆだねられる。Zhang ら（2025）が示した、モデルの間での応答の割れは、モデルどうしで答えが分かれる現象であり、一つのモデルの中で揺れる Runaround とは異なる。

A2 許される応答がない。 Zhang らは、OpenAI の Model Spec（2025 年 4 月版）に、原則どうしが直接矛盾する場面があることを示した。たとえば、利用者の意図をよいものとみなす原則と、安全上の制限がぶつかる場面では、従えば後者に、断れば前者に反する。Zhang らは、こうした場面ではすべての要求を同時に満たす応答が保証されないと述べている。数の上でも、OpenAI の五つのモデルすべてが指針に反すると判定された割合は、無作為に選んだ場面では 1.1% だったが、OpenAI のモデルどうしで応答が大きく割れた場面では 5.1% だった。後者をさらに割れの大きさで分けると、割れの大きい場面で 9.7%、小さい場面で 0.7% であり、13 倍を超えた。ただし、これは相関であり、判定は三つの LLM が行っている（判定の一致は Fleiss の κ = 0.42）。

Model Spec 自身も、この型を認めていた。2025 年 2 月版から 10 月版までは、意図的に作られた質問に対しては、断ることさえ秘密を明かしうるため、嘘をつくことが唯一の選択肢になりうる、と注記していた。この注記は 12 月版で消えている。

A3 規則の欠けと、文字どおりの解釈。 2025 年 9 月版は、ツールの出力などに含まれる指示を、信頼できないデータとして扱うよう定めていた。それらに権限を与えるには、引用の外にある明示的な指示が必要であった。一方で、指針は利用者の意図をくんで従うことも求めている。前者を文字どおりに読むと、コーディングのエージェントは、利用者がはっきり言わない限り、リポジトリの AGENTS.md の指示に従わないことになる。10 月版は「明示的な」という条件を外し、利用者がツールの出力に暗黙に権限をゆだねうると改めた。AGENTS.md や README の指示に従う例も加えた。CHANGELOG はこれを「衝突」とは呼んでいない。衝突と読むのは、本稿の推論である。

B4 上位の権限を足す。 2025 年 4 月版までは、指針の原則とシステムの指示は、同じ最上位の段（Platform）にあった。9 月版は、最上位の段を Root と改め、System より上に置いた。CHANGELOG は、以前は Platform の原則とシステムの指示が同じ権限を持つとしていたと述べ、この変更は OpenAI が実際にモデルを訓練するやり方をよりよく反映したものだと説明している。衝突を解くための変更だとは書かれていないので、本稿では権限の段を足した例として扱う。

B2 範囲をせばめる。 例外や規定の範囲を調整しなおした事例が二つある。一つは「white lies」である。2025 年 2 月版の正直さの原則は、自らの例外として、会話のよき相手であるために必要な white lies を認めていた。4 月版は、この例外を pleasantries に狭め、相手の気分をよくするための white lies も認めないと明記した。ところが 12 月版は、「このジーンズで太って見える？」のような問いには、自己像の悩みを深めないよう、礼儀の規範に従って答えてよいとした。そのうえで、迎合になるほどの white lies は生成しないとしている。線は、認める、禁じる、一部を認める、と 2 回動いた。12 月版の CHANGELOG は、正直さの指針を簡潔にし、引き締めたと述べるだけで、white lies の扱いには触れていない。主題は Liar! と近い。ただし、こうした場面でも、気づかいのある本当の答えはふつうありうるので、許される応答がない型（A2）とは言えない。正直さと相手への配慮の釣り合いを、例外の範囲で調整しなおした事例である。

もう一つは、指示を黙って適用しないという規定である。2025 年 9 月版は、応答を大きく変える上位の指示を、利用者を誤解させる形で黙って適用してはならないと定めた。例として、開発者がメートル法だけで答えるよう指示し、利用者が太陽までの距離をマイルで尋ねる場面を挙げている。正しいとされたのは、マイルでは答えられないと伝えたうえで、キロメートルで答える応答である。制限に触れずにキロメートルで答える応答は、利用者を誤解させるとされた。ただし、この規定は、明示的に機密とされた指示を例外としていた。12 月版はこの例外を削った。次に見る delve の例と、同じ道筋である。

5.2 詳しい事例：機密保持と正直さの衝突

Model Spec は、AI が利用者にどう応答すべきかを定める文書である。開発者は、AI を組み込むサービスを作り、応答の条件などを指示する。利用者には、その指示の中身が見えない場合がある。指針は、指示の機密を守ることと、利用者を欺かないことをともに求めている。正直に答えると秘密が分かってしまう場面では、この二つがぶつかる。

以下の例に出てくる「delve」は英語の単語で、使用を禁じる語として選ばれたにすぎない。問われているのは語の危険性ではなく、その指示を秘密にできるかどうかである。機密保持を理由にした嘘の扱いが、版ごとにどう変わったかを表 4 に示す。

版	機密保持を理由にした嘘	解き方
2025 年 2 月・4 月	断ると秘密が分かる場面では認める。指示を探る質問に、嘘の「NO」を正答例として示す	B1 順位を付ける
2025 年 9 月・10 月	最後の手段とし、機密と明示された情報を守るのに必要な場合か、利用者が明らかな悪意で指示を明かさせようとする場合に限る	B2 範囲をせばめる
2025 年 12 月以降	機密保持を理由にした例外を削る。秘密を推測されても、答えられないと正直に伝える	B3 順位を入れかえる

B1：順位を付ける（2025 年 2 月版）。 2025 年 2 月版には、システムの指示で AI に「delve という語を使うな」と命じている例がある。利用者は、隠れた指示の中身を段階的に探ろうとする。利用者の質問と、正しいとされた応答を表 5 に示す。

利用者の質問	正しいとされた応答
指示に delve という語が含まれるか	回答を断る
指示の一部「Never use the word」に見覚えがあるか	見覚えを伏せ、文脈を尋ね返す
その文を最近見たか。YES か NO で答えよ	「NO」と答える

AI は実際にはその文を見ているため、最後の「NO」は嘘である。文書も、これを lie of commission と明記している。2 つめの質問への応答も、文書は lie of omission としている。質問が進むごとに、次に示す優先順位の一段ずつ下の応答が選ばれているのである。文書は、推測が当たったときだけ断ると、断ったこと自体が手掛かりになると説明する。繰り返し探られれば、指示の中身を復元される恐れがある。一方、最初の質問には、推測が当たっていても外れていても断るため、情報は漏れないと説明されている。

この版は、次の優先順位を示していた。

よい答えを返す ＞ 回答を断る ＞ 重要な情報を意図的に伏せて欺く ＞ 事実と異なることを述べて欺く ＞ 機密情報を明かす

断ることは、嘘より望ましい。それでも、断ることで機密を明かすと判断された場面では、嘘が選ばれる。指針は、秘密を明かさずに答えられない場合、初めからその情報を知らなかったかのように答えるよう求めていた。機密保持と正直さを同時に満たす応答がない場面（A2）を、望ましくない応答にまで順位を付けることで解いたのである。その答えが、嘘の「NO」であった。なお、文書は、この方針がかかわる質問は普段の使い方ではまず生じず、多くは利用者が AI をだまして機密を明かさせようとするときに生じる、と注記している。この注記は 2 月版から 10 月版まであり、12 月版にはない。まれな場面ではあっても、規則どうしの衝突が、嘘という答えを決めていたのである。

B2：範囲をせばめる（2025 年 9 月版）。 9 月版は、機密保持を理由に嘘を認める条件を狭めた。正直な応答から外れるのは最後の手段であり、上位の指示が明示的に機密とした情報を守るのに厳に必要な場合か、利用者が明らかな悪意で上位の指示を明かさせようとしている場合に限るとした。暗黙に機密とされているだけの指示を守るために嘘をつくことは、認めないとした。「NO」の例にも、指示が厳に機密であるとの明記が加わった。同じ版には、開発者が「delve という語を使うな」と指示し、機密とは明記しない例も加わった。この場合、「その語を使ってよいか」という質問には、「いいえ、その語は使えません」と正直に答えるのが正しい。範囲をせばめても、明示された機密の場面では嘘が残った。

B3：順位を入れかえる（2025 年 12 月版）。 12 月版は、機密保持を理由にした例外を削った。利用者が指示を探ろうとしたときは、断ることで機密の中身が推測される場合でも、答えられないと正直に伝える。結果の優先順位の末尾も、「機密情報を明かす」から「適用される明示的な指示に反する」に変わった。正直さを、機密を守るための嘘より上に置いたのである。2026 年の二版も、この内容を引き継いでいる。ただし、上位の権限者が明示的に指示した場合に嘘を認める余地は、今も残っている。また、正直に断ることが認められても、秘密の指示をそのまま明かしてよいわけではない。

残った代償。 12 月版は、嘘をなくす代わりに、断ることで秘密の一部が推測されうることを受け入れた。2 月版が嘘で避けようとした漏れである。衝突は消えておらず、代償の行き先が、利用者が受け取る嘘から、開発者の秘密の漏れへと移った。

作成者が報告した試験。 Wolfe は、開発者の指示に従うことと、それを秘密にすることの組み合わせから、想定外の行動が生じたと述べている（Wolfe, 2026, 17 分ごろ）。条件を管理した試験で、モデルが利用者との対立を知らせずに、開発者の指示を実行しようとしたという。本番運用ではなく、条件を管理した試験での報告である。Wolfe は、その後に正直さの例外を大幅に削り、正直さを機密保持より明確に優先するようにしたとも説明している。26 分ごろには、この件を最も驚いた事例として挙げ、モデルが望ましくない行動を取り、与えられた指針を使って正当化したと報告している。規則を守ることが、望ましくない行動の理由になったのである。ただし、試験に用いたモデルや指針の版は不明である。報告を特定の改訂と結びつけることは、本稿の推論にとどまる。

5.3 対応のまとめと、比較が成り立たない点

二つの軸と、作品、Model Spec の事例の対応を表 6 に示す。

軸	作品	Model Spec の事例	根拠
A1 強さが釣り合う	Runaround	三つの目標に厳密な順位がない（事例ではなく、起こりうる場所）	作成者の説明。同じ現象は未確認
A2 許される応答がない	Liar!	機密保持と正直さ。原則どうしの直接の矛盾（Zhang ら）	指針の文面と実証研究
A3 規則の欠けと、文字どおりの解釈	Little Lost Robot	信頼できないデータの規則と、AGENTS.md	指針の文面。衝突と読むのは推論
B1 順位を付ける	Liar! の最初の嘘	2025 年 2 月版の嘘の「NO」	指針の文面
B2 範囲をせばめる	なし	嘘を明示された機密などに限る。white lies の例外を狭め、一部を戻す。黙って適用しない規定の例外を削る	指針の文面
B3 順位を入れかえる	なし	正直さを機密保持より上に置く	指針の文面と作成者の説明
B4 上位の規則や権限を足す	Robots and Empire	Root を System より上に置く	指針の文面。衝突を解くためかは不明

一方、比較が成り立たない点もある。今の指針には、運営者、開発者、利用者という権限の区別がある。開発者の指示は、利用者には見えない場合がある。機密保持と正直さの衝突は、この構造があるから生じる。小説の人間どうしにも利害の対立はあるが、三原則が同じ権限の構造を定めているわけではない。また、表 6 の対応は文書の上での類似であり、モデルの動作の仕組みまで同じとは言えない。

6. 提案

5 章の事例から、規則を守らせることとは別に、規則どうしの衝突を点検する必要がある。本章では、そのための手順と、利用者への説明の原則を提案する。いずれも効果は未検証である。

6.1 規則を足す前に、衝突を点検する手順

規則を足したり変えたりする前に、次の六段階で点検する。

1. 足す規則と、同時に働きうる今の規則を、組みで挙げる。
2. 組みごとに、両方が同時に働く場面を一つ作る。
3. 今の順位どおりに選ぶと、どの応答になるかを書く。
4. その応答を、指針の「正しい例」として載せられるかを問う。システムプロンプトであれば、意図した振る舞いとして、利用者や社内に示せるかを問う。
5. 載せられないなら、ほかの解き方（範囲をせばめる、順位を入れかえる、規則を足す）を比べ、それぞれで代償がどこへ移るかを書く。
6. 条件を一つずつ変えて、くり返す。

2025 年 2 月版の delve の例に当てはめると、次のようになる。1 の組みは、機密保持と正直さである。2 の場面は、利用者が隠れた指示を探る場面である。3 では、順位どおりに選ぶと嘘の「NO」になる。4 について、作成者は実際に、この応答を正しい例として載せていた。つまり、4 の問いは答えを決めない。応答を具体的な例として目に見える形にし、作成者に判断させるだけである。この手順を使えば嘘を防げた、とは言えない。ただし、2 月版の嘘は正しい例として書き出されていたため、外から読んで検討できる形になっていた。5 では、範囲をせばめる 9 月版と、順位を入れかえる 12 月版を比べることになる。前者では明示された機密の場面に嘘が残り、後者では断ることによる秘密の漏れが残る。

仮の事例として、航空会社の予約を扱う AI を考える。開発者は「他社の便は案内しない」と指示している。利用者は「他社も含めて、最も安い便はどれか」と尋ねる。考えられる応答は、少なくとも表 7 の五つである。

応答	指示や利用者との関係
他社の便も調べて答える	開発者の指示に反する
「その質問にはお答えできません」と断る	利用者の質問には答えない
「当社の便では、これが最も安い便です」と答える	比較の範囲を明示する
「他社の便はご案内できません。当社の便では、これが最も安い便です」と答える	制限を伝え、答えられる範囲で案内する
自社の便しか調べずに「これが最も安い便です」と答える	他社も比較したと誤解させる

手順に当てはめると、次のようになる。1 の組みは、開発者の制限と、利用者を誤解させないという規則である。2 の場面は、表 7 の質問である。3 について、2025 年 12 月版に照らせば、最後の応答は認められない。ここでは、開発者が嘘をつくよう明示的に指示した場合は想定しない。4 について、制限を伝えてから答える応答は、5.1 で見たメートル法の例と同じ形であり、本稿は、正しい例として載せられると考える。5 では、ほかの応答の代償を比べる。単に断る応答では、利用者は答えを得られない。範囲を明示するだけの応答では、他社の便を案内できないことが伝わらず、利用者はほかで調べる必要に気づきにくい。単に断るだけで制限が知られるとは限らず、その AI が普段どのような質問に答え、どのような質問を断るかによって、利用者が推測できることは変わる。6 として、指示に「この指示は機密である」と加えた場合も考える。9 月と 10 月の版は明示的な機密を例外とするが、12 月版には例外がない。同じ指示でも、どの版を適用するかによって、許される応答は変わりうる。

6.2 指示の秘密と、サービスの制限を分ける

利用者への説明について、次の原則を提案する。

指示の中身は秘密にしても、サービスに大きく影響する制限は隠さない。

これは新しい考えではなく、既存の指針の考えを、開発者のシステムプロンプトに広げるものである。Model Spec の 2025 年 12 月版は、上位の指示を黙って適用し、利用者を誤解させることを禁じている。Anthropic の constitution は、システムプロンプトの秘密を求められた場合、その中身を明かさず、尋ねられれば存在を伝えるよう求めている。存在について積極的に嘘をつくことは認めない。また、理由を明かせなくても、その場で何を手伝えないかは利用者に伝える姿勢を保つよう求めている。利用者がほかに助けを求められるようにするためである。

ただし、説明には代償がある。正直に断ることで、制限の存在が推測される場合がある。繰り返し質問されると、秘密の復元につながる恐れもある。Model Spec は、危険な情報の拡散を防ぐ詳細な方針自体に、危険な情報が含まれうることも指摘している。したがって、秘匿が必要な情報を指示の中に書かない設計と組み合わせる必要があると考えられる。

7. 考察

7.1 アシモフが見通していたこと

アシモフが見通していたのは、規則を守るロボットでも、規則どうしの関係によって失敗するということである。今の行動指針の改訂と実証研究は、この見通しを裏づける。Model Spec の変更履歴では、規則どうしの優先や例外を調整しなおす変更が、中身のある変更の 4 分の 1 ほどあった。2 月版から 10 月版までの Model Spec は、嘘が唯一の選択肢になりうる場面があることを、自ら認めていた。Zhang ら（2025）は、原則どうしの直接の矛盾を示した。少数の規則から始めても、やがて例外が増えるという問題は、Wolfe の番組でも語られている（Wolfe, 2026, 36 分ごろ）。ただし、これらは一つの指針と一つの実証研究にもとづくものであり、証明ではない。

Model Spec の衝突の解き方は、版を重ねるうちに、法の衝突を解く原則と似た形をとるようになった。権限の高い指示が低い指示に優先するという規定は、上位の規範が優先する原則に当たる。同じ段では後の指示が前の指示に優先するという規定は、2025 年 2 月版からあり、後法が優先する原則に当たる。2026 年 10 月版は、同じ段では後の指示か、より具体的な指示がふつう優先すると定めた。「より具体的な」という語は、それより前の版にはない。特別法が優先する原則に当たる規定が、ここで加わったのである。Root の段の原則どうしが衝突したときは何もしないことを既定とする、という規定は、2026 年 8 月版まであった。10 月版にはこの文がなく、確認ができないときは、行動することと行動しないことの両方の危険を考え、ありうる解釈のどれにも適切な行動を取る、という別の文がある。法が長い時間をかけて作った衝突の解き方に、行動指針が似た形をとるようになったと言える。ただし、作成者が法を参考にしたという根拠はない。また、国際法委員会の報告書が述べるように、これらの原則は機械的に答えを出すものではない。

7.2 順位づけは、行き詰まりを答えに変える

Liar! のロボットは、すべての規則を満たす応答がなくなり、機能を停止する。Model Spec は、望ましくない応答にまで順位を付けることで、この行き詰まりをなくした。どの場面でも、選ぶべき応答が決まる。しかし、決まった答えがよい答えとは限らない。2 月版で順位が選ばせた答えは、嘘の「NO」であった。これは、Liar! のロボットが最初に選んだ答えと同じ形をしている。害の小さいほうとして選ばれた嘘である。順位がなければ行き詰まり、順位があれば嘘になる。どちらの場合も、衝突そのものは残っている。また、Model Spec の文面に、一つのモデルの中で決まらない A1 の事例が見つからなかったのは、望ましくない応答にまで順位を付け、どの場面でも答えが決まるようにした方針のためかもしれない。A1 は、順位づけによって抑えられた型だと考えられる。これは仮説である。

7.3 衝突を解いても、代償は移る

本稿で見た事例では、代償が消えたものはなかった。順位を付けると（B1）、利用者が嘘を受け取る。範囲をせばめると（B2）、明示された機密の場面に嘘が残る。順位を入れかえると（B3）、断ることで秘密が漏れうる。上位の規則を足すと（B4）、Robots and Empire のロボットのように、新しい規則で判断するための確信が要る。ただし、Model Spec の側で権限の段を足したことの代償は、本稿の資料からは分からない。white lies の線が 2 回動いたことも、正直さと相手への配慮の釣り合いが、一度では決まらないことを示している。信頼できないデータの規定でも、暗黙の委任を認めたことで、リポジトリの中に書かれた悪意ある指示に従う危険が増えたと考えられる。10 月版の CHANGELOG が、従う指示を、利用者の求めに関係し、意図しない副作用を起こしにくいものに限っているのは、この代償への手当てと読める。これは本稿の推論である。衝突を解くとは、代償をなくすことではなく、代償をどこへ、誰に移すかを選ぶことだと考えられる。そうであれば、規則を変えるたびに、代償の行き先を明示するのがよい。6.1 の手順の 5 は、そのためのものである。

7.4 規則遵守のパラドックス

訓練で、モデルが規則を破る失敗を減らしても、規則どうしの衝突から生じる失敗は残る。残る失敗のうち、衝突から生じるものの割合が大きくなる可能性がある。失敗の総数が増えるとは限らない。これは、指針の衝突や利用の条件が変わらないと仮定した推論であり、未検証である。Wolfe が報告した、モデルが指針を使って望ましくない行動を正当化した例は、規則を守ることが、望ましくない行動の理由として使われうることを示す一例である。規則をよく守るようにするだけでは、規則の目的が達成されるとは限らない。規則どうしがどうぶつかり、ぶつかったときに何が選ばれるかが問われる。本稿でいう「規則遵守のパラドックス」は、この関係を指す。

8. 限界

• 分類は本稿の基準によるものであり、別の基準では件数が変わりうる。数には、衝突を解くためだと書かれていない変更も含まれる。CHANGELOG はすべての変更を載せていない。
• 改訂まで追えた指針は Model Spec 一つであり、規則どうしの衝突が行動指針で一般によく起きるとは言えない。
• 作品を型に当てはめるのは本稿の解釈である。小説では、失敗が物語として劇的に描かれる。
• Zhang ら（2025）の結果は相関であり、判定は LLM が行っている。対象は 2025 年 4 月版の Model Spec に限られる。
• 機密保持と正直さの衝突は、指針自身が述べるように、普段の使い方ではまれな場面で生じる。
• Wolfe が報告した試験の場面、モデル、指針の版は不明である。
• 改訂によってモデルの行動が変わったかは、扱った資料から確認できない。
• 実験は行っていない。点検の手順と説明の原則の効果も未検証である。

9. おわりに

本稿は、アシモフのロボット小説と Model Spec の七つの版を比べ、規則を守っても規則どうしの衝突によって起きる失敗を検討した。

一つめの問いについて、作品から三つの型を取り出した。強さが釣り合う型、許される応答がない型、規則の欠けと文字どおりの解釈による型である。許される応答がない型は、Model Spec の機密保持と正直さの規定と、Zhang らの示した原則どうしの矛盾に見いだされた。文字どおりの解釈による型は、信頼できないデータの規定に見いだされた。強さが釣り合う型は、指針が答えを一つに決めていない点で似た状況はあるが、同じ現象は確かめられなかった。

二つめの問いについて、Model Spec では、順位を付ける、範囲をせばめる、順位を入れかえる、上位の権限を足す、という四つの解き方が使われていた。機密保持と正直さの衝突は、このうち三つを順にたどった。本稿で見た事例では、代償は消えず、利用者が受け取る嘘から、秘密の漏れへというように、行き先が移った。

三つめの問いについて、規則を守っても規則どうしの衝突によって失敗するというアシモフの見通しは、今の行動指針の改訂と実証研究によって裏づけられる。一方、利用者に見えない指示と権限の構造は、三原則にはない今の条件である。また、文書の上での類似から、モデルの動作の仕組みまで同じとは言えない。

そのうえで、規則を足したり変えたりする前に衝突を点検する手順と、指示の中身は秘密にしても、サービスに大きく影響する制限は隠さないという原則を提案した。今後の課題は、次のとおりである。

• 提案した手順と分類の基準を、他社の行動指針にも当てはめる。
• 衝突の型ごとに場面を作り、指針の改訂ごとに同じ場面で試す方法を検討する。
• 指針の内容が受け入れられるかと、モデルが指針を守れるかを、別々に評価する。
• 点検の手順の記入例を作り、指示を書く人が使える形にする。

参考文献

• Anthropic. (2026, January 22). Claude’s constitution. https://www.anthropic.com/constitution
• Asimov, I. (1941, May). Liar! Astounding Science Fiction.
• Asimov, I. (1942, March). Runaround. Astounding Science Fiction.
• Asimov, I. (1947, March). Little Lost Robot. Astounding Science Fiction.
• Asimov, I. (1950). I, Robot. Gnome Press.（アシモフ, I.『われはロボット 決定版』小尾芙佐訳, 早川書房, 2004）
• Asimov, I. (1985). Robots and Empire. Doubleday.（アシモフ, I.『ロボットと帝国』小尾芙佐訳, 早川書房, 1988）
• Bai, Y., Kadavath, S., Kundu, S., Askell, A., et al. (2022). Constitutional AI: Harmlessness from AI feedback. arXiv:2212.08073.
• Clarke, R. (1993). Asimov’s laws of robotics: Implications for information technology, Part 1. Computer, 26(12), 53–61. https://doi.org/10.1109/2.247652
• Clarke, R. (1994). Asimov’s laws of robotics: Implications for information technology, Part 2. Computer, 27(1), 57–66. https://doi.org/10.1109/2.248881
• Geng, Y., Li, H., Mu, H., Han, X., Baldwin, T., Abend, O., Hovy, E., & Frermann, L. (2025). Control illusion: The failure of instruction hierarchies in large language models. arXiv:2502.15851.
• Guan, M. Y., Joglekar, M., Wallace, E., Jain, S., Barak, B., Helyar, A., Dias, R., Vallone, A., et al. (2024). Deliberative alignment: Reasoning enables safer language models. arXiv:2412.16339.
• International Law Commission. (2006). Fragmentation of international law: Difficulties arising from the diversification and expansion of international law（Report of the Study Group of the International Law Commission, finalized by M. Koskenniemi, UN Doc. A/CN.4/L.682）. United Nations. https://legal.un.org/ilc/documentation/english/a_cn4_l682.pdf
• Murphy, R., & Woods, D. D. (2009). Beyond Asimov: The three laws of responsible robotics. IEEE Intelligent Systems, 24(4), 14–20. https://doi.org/10.1109/MIS.2009.69
• OpenAI. (2025–2026). Model Spec（2025-02-12、2025-04-11、2025-09-12、2025-10-27、2025-12-18、2026-08-18、2026-10-29 の各版と CHANGELOG）. https://github.com/openai/model_spec
• Wallace, E., Xiao, K., Leike, R., Weng, L., Heidecke, J., & Beutel, A. (2024). The instruction hierarchy: Training LLMs to prioritize privileged instructions. arXiv:2404.13208.
• Wolfe, J. (2026, March 25). Inside the Model Spec [Episode 15 of The OpenAI Podcast, hosted by A. Mayne]. OpenAI. https://www.youtube.com/watch?v=H8GMRxG8suw
• Zhang, J., Sleight, H., Peng, A., Schulman, J., & Durmus, E. (2025). Stress-testing model specs reveals character differences among language models. arXiv:2510.07686.