AI・信頼性・評価

AIエージェントに人の確認が必要な理由：ドメイン知識と責任

2026/7/23 （更新: 2026/10/11）

🤖 AIを使用して執筆

第一線は、責任と要件整合を人手の理由に挙げる

OpenAIは、エージェント型AIの統治に関する文書で、判断を人が承認する「human-in-the-loop」を、暴走を抑える標準的な安全策として挙げる。そのうえで同文書は脚注で、法学者Crootofらの論考を引きながら、人を輪に残すことは「人と機械からなるシステムの信頼性を高めること以上の役割（たとえば責任の割り当てや、人間の尊厳の保持）を果たしうる」と書き添えている¹。責任と尊厳を数えているのは法学側の議論で、フロンティアの開発元はそれを自らの統治文書に引き入れた側だ。信頼性は土台にあたる。その土台の上に別の役割を重ねて数える見方を、開発元が採っている。

Anthropicも、効果的なエージェントの設計指針で同じ線を引いている。コーディング・エージェントを論じる節で、自社の実装が SWE-bench Verified の GitHub Issue をプルリクエストの記述だけで解けるようになったと述べた、その直後だ。自動テストが機能の検証を助ける一方、「人間のレビューは、解が広いシステム要件に沿っているかを確かめるうえで、依然として重要だ」と書いている²。テストで機能を確かめられるコードの領域ですら、要件との整合は、いまのところ人間のレビューに残されている判断だ。

要件との整合をどこで取るかは、実装の側でも設計の対象になっている。VS Code 拡張として配られるコーディング・エージェント Cline は、編集に入る前の段として「計画モード」を持つ。このモードの Cline は、コードを読み、検索を走らせ、方針を議論できるが、「ファイルを変更することも、コマンドを実行することもできない」。公式ドキュメントは「この制約は意図的だ」と書き、狙いを「実装の細部に気を取られることなく、会話を理解と計画に集中させておくこと」と説明する³。人と理解を合わせる段そのものを一つのモードとして切り出し、そこからは編集の力を取り上げている。人が要るのは、その会話の相手としてだ。

責任のほうは、もっと古い言い方が言い当てている。「コンピュータは決して責任を問われない。ゆえにコンピュータが経営判断を下してはならない」⁴。この一文は、Willison が初出と見る2017年2月の投稿以来くり返し引かれてきたもので、1979年のIBM社内研修資料に由来するとされる。責任は装置に移せない、という主張である。原資料は2019年の洪水で失われたといい、読者がIBMの企業アーカイブに照会しても所在は確認できなかった⁴。

ここまでの四つを並べる。OpenAI文書が引く法学の議論は責任の割り当てと人間の尊厳、Anthropicは要件との整合、Clineはその整合を取る段そのもの、そしてIBM由来の一文は法的・社会的な答責。共通するのは、どれも精度の優劣ではなく、人手が果たす機能で説明されていることだ。もっとも、これは品質という役割を否定するものではない。OpenAI文書が引くその議論も、human-in-the-loop が信頼性を高めることを前提にした上で「それ以上の役割も果たしうる」と言っているのだし、Anthropicの言う「人間のレビュー」は検証＝品質の機能そのものだ。漠然とした「品質」は、ここまで分解してはじめて、配置の判断に使える。

問いは、順位ではなく配置

そもそも、この問いは「人とAIのどちらが上か」という順位では語れない。速さ・一貫性・再現性・大量処理といった軸で、人はとうに機械に及ばない。これは新しい話ではなく、機械化が二百年続けてきたことだ。経済学は早くからこれを、順位ではなく配置の問題として扱ってきた。Autorらは、機械が定型的な作業を吸収する一方で、判断や適応の要る非定型な認知タスクへの労働投入はむしろ増える、というタスク境界として定式化した。根拠は1960年から1998年の米国の職務データで、産業・職業・学歴グループの内部でそうなっていた⁵。問いは「どちらが上か」ではなく、「どの仕事を、どちらに配るか」だ。

人とAIを組ませる価値も、優劣では説明できない。Steyversらは、人と機械の精度水準が違っていても統合の相補性は達成されうると示した。ただしこれは無条件ではない。両者の信頼度スコアの潜在相関が決める境界の内側に精度差が収まる限りにおいて、という条件が付く。価値は、どちらが上かではなく、両者の誤りが異なる方向を向いていること、すなわち相補性から来る。同論文は「同程度の性能であっても、人と機械の分類器は異なる種類の誤りを犯す」と述べ、人×機械の組の信頼度スコアの潜在相関を事後平均で約0.4と推定した。この値は人×人の約0.7、機械×機械の0.65〜0.75より低い。もっとも、推定値に近い相関で描いた図について著者らは、相補性を生む精度差の幅は比較的狭く、人と機械は同程度の水準で働く必要があると書いている⁶。Bansalらは、AIの精度を人と同程度に揃えた設定のもと、3タスク・1626名の実験で、人とAIの組が単独のAIも単独の人も上回る「相補的なチーム性能」を全条件で観測した（ビール評のタスクでは、人単独 0.82・AI単独 0.84 に対しチーム 0.89）。ただし相補性を生んだのはAIの推奨と確信度の提示であって、説明（explanation）を足しても増えはしなかった⁷。人を残す意味は、人が上だからではなく、人と機械が違う強みを持つからだ。

配置として書き下された実例は、実際に配られている開発用のツールの中にある。Request Tracker や K-9 Mail の作者 Jesse Vincent が公開し、Anthropic の公式プラグインマーケットプレイスからも導入できる superpowers は、人手を置く位置と、置かない位置の両方を明文で決めている。設計の段には固い門がある。「設計を提示し、利用者の承認を得るまでは、いかなる実装スキルも起動するな、コードも書くな、雛形も作るな、実装にあたる行動を取るな」、そして「これは、どれほど単純に見えようとあらゆるプロジェクトに当てはまる」⁸。

その一方で、2026年7月に配られていた版（v6.2.0）は、計画の実行中に人へ確認を取ることをはっきり禁じていた。「『続けてよいですか』という問い合わせや進捗の要約は、相手の時間を浪費する——計画を実行してくれと頼まれたのだから、実行しろ」。途中で止まってよい理由は三つだけで、自力で解けない行き詰まり、進行を本当に妨げる曖昧さ、そして全タスクの完了である。しかもその行き詰まりの手当ては段階になっていて、最終段が「計画そのものが間違っているなら、人間へエスカレーションする」だった⁹。前提を引き直す判断には人を呼び、進捗の確認には呼ばない。人手のほうが上だという前提に立つなら、なるべく多くを人に見せるのが正解になるはずだ。だがこの版が決めていたのは、見せる量ではなく、どの一点に人を当てるかである。

その一点は、のちに動いた。2026年8月12日の v6.3.0 で、上流自身が「実行中の計画は人を待たない」と書き直し、計画の欠陥も自分で裁定して記録せよと定めた。止まってよいのは、不可逆・破壊的な操作、セキュリティに関わる操作、作業領域の外に及ぶ副作用、そしてどの道筋も当て推量になるほど壊れた計画の四つだけである⁹。人を当てる先は、計画の誤り一般から、この四つへと移った。一方で設計の段の門は、2026年9月25日の v6.4.2 でも、どの規模の課題にも掛かる⁸。動いたのは人手を残すかどうかではなく、どこに残すかだった。

人を呼ぶ一点を、回数で外に置いた規約もある。superpowers の障害対応の規約（2026年8月時点の v6.3.0）が禁じるのは、根本原因を調べずに修正へ進むことだ。加えて、外れた修正の回数をエージェント自身に数えさせる。修正が三回外れたら、四回目に手を出す前に止まってアーキテクチャを疑い、人間と議論せよ、という指示で、「これは仮説が外れたのではなく、アーキテクチャが間違っているということだ」と書いている¹⁰。一度に一変数だけ動かし、失敗の回数を打ち切りの合図にするのは、実験と障害対応の作法としてAI以前からある。原典自身も、その段に「科学的方法（Scientific method）」と見出しを付けている¹⁰。変わったのは合図の置き場所で、規約は止まる合図を、エージェントの内側の判断ではなく、外から数えられる回数に置いた。同じ版の計画実行の規約も修正の回数を数えるが、三回外れたあとに回す先は人ではなく、より能力の高いモデルの新しい実装者だ。理由は「三回の再開を生き延びたループは、たいてい実装者が自分の問題を見られないことを意味する」と書かれている。五回で打ち切ったあとも人へは上げず、残った指摘を自分で裁定して進み、止まるのはどの道筋も当て推量になるときだけだ⁹。回数の打ち切りの先に人が来るのは、障害対応の規約のほうである。

人手を残す理由は、性質の異なる二つある

配置で考えるなら、次の問いは、どの判断を人に配るかだ。

理由①　コンテキストに入りきらないドメイン知識

一つ目は、その判断に要る深い知識が、AIに渡せるコンテキストに入りきらないことだ。

モデルに与えられるコンテキストには限りがある。コンテキストウィンドウを広げれば済む話でもない。宣伝されるコンテキスト長と、実際に使えるコンテキスト長は一致しないからだ。NoLiMaは、手がかりと問いの語彙の重なりを最小限に抑えた設定、つまり本当に意味の推論が要る設定では、128K以上のコンテキスト長を謳う13モデルのうち11が3万2千トークンの時点で、短いコンテキストでの成績の半分未満へ落ちると報告する。同じ論文は各モデルについて「主張されたコンテキスト長」と「実効コンテキスト長」（短いコンテキストでの成績の85%を保てる最大長）を並記しており、評価した13モデルの実効長はすべて8K以下だった。128Kを謳う GPT-4o が 8K、2M を謳う Gemini 1.5 Pro が 2K である。後から加えられた2025年のモデルでも、10M を謳う Llama 4 Scout の実効長は 1K だった¹¹。載せたつもりの知識が、確実に使われるとは限らない。

しかも、載せたくても言葉にできない知識がある。Polanyiは「我々は語れる以上を知っている」と述べ、熟練の判断の相当部分が言語化しきれないことを指摘した¹²。Naurは、プログラムを書くとは、文書にもコードにも写しきれない「理論」を作り手の頭に築くことだと論じた¹³。深いドメイン理解のかなりの部分は、この書き下せない知識でできている。だから、その理解を要する判断は、現状まだ人手に残る。

とはいえ、書き下せるものまで人の頭に置いたままにしてよい、という話にはならない。先の superpowers は、2026年9月19日の v6.4.1 までの版で、実装計画を「我々のコードベースについてのコンテキストがゼロで、センスに難のある技術者」に向けて書けと指示していた。触るファイルのパス、実際のコード、テストの仕方、確認すべき文書まで、相手が必要とすることは全部書け、と。そのうえで「TBD」「後で実装」「適切なエラー処理を加える」といった言い回しを、書いてはならない計画の欠陥として挙げていた¹⁴。2026年9月25日の v6.4.2 はこの前提を改め、相手に知りえないのは書き手が決めたことだとして、それを書けと絞った。署名とテストで決まる本体まで書き込んだ計画も欠陥に数える。何も決めない行を欠陥とする点は、この改訂でも変わらない¹⁴。人手に残るドメイン知識の輪郭は、どちらの版の要求を守り切っても相手へ渡らなかったものとして、はじめて見える。

ただし、これは能力の現状であって、原理ではない。コンテキストの設計が進み、モデルが変われば、境界は動く。もっとも NoLiMa の著者自身は、本文で扱わなかった新しいモデル（GPT-4.1 など）について「長コンテキストの性能は改善したが、本論文の主要な発見はこれらの新しいモデルにも当てはまる」と注記している¹¹。境界が動きうることと、いま動いていることは別だ。「深い知識が要るから未来永劫ずっと人間」ではなく、「いまのところ、この理解をコンテキストに移せていないから人間」だ。理由を能力の現状として持てば、境界が動いたときに配置を引き直せる。

ドメイン知識は、AIへ渡す材料としてだけ働くのではない。返ってきた出力を受け取る側の物差しとしても働く。要件整合のような検証を人が担うとき、その検証が効くかどうかを決めるのも、この知識だ。生産ラインの改善案をAIに出させ、各工程の手前に部品を厚く積んで部材待ちで止まらないようにする案が返ってきたとする。整然としていて、もっともらしい。だが、トヨタ自動車が公式サイトで説明している生産方式は、物と情報を工程で停滞させないことを三つの原則の二つ目に置く。各工程の手前に部品を持つことは織り込んでいるが、持つのは「必要最小限の数」であり、厚く積むのはその線を越える¹⁵。整って見えた案は、この線を知っている者の目にだけ、線を越えた案として映る。ここで物差しになるのは、個別の制約に合わせた妥協が積み重なった現場の「普通のやり方」ではない。その分野が長い時間をかけて磨いた「理想形」のほうだ。製造ならトヨタ生産方式やリーン、ソフトウェアの設計ならドメイン駆動設計と、こうした線はどの成熟した分野にもあり、すべてAI以前から在る。

その物差しを当てないまま受け取ると、出力は分野でよく見る平均的なやり方に寄りやすい、と本稿は見る。BCGのコンサルタント758名を被験者にした実験では、AIが得意な範囲の課題のうち新しい靴の案出しの問いで、AIを使うと案の質は上がる一方、被験者どうしの案の振れ幅は目に見えて縮んだ。著者ら自身は、出力の均質化に「つながりうる」と書くにとどめている。AIの能力は一様でなく、得意な領域と不得意な領域が予測しづらい形で入り組んでいる。著者らはこの境目を「ギザギザの境界（jagged frontier）」と呼び、境界の外側の課題ではAIを使った群の正答率が落ちたと報告する。その外側の課題について同論文が要ると書くのは、出力を検証し問い直すことと、専門家としての判断を働かせ続けることの両方だ。成績を落とした被験者は、分野のプロでありながら、出力を鵜呑みにし、問い直しが少なかった。プロンプトエンジニアリングの概説まで渡された群は、境界の外側でさらに大きく落ちた（概説なしの群が13ポイント減、概説ありの群が24ポイント減で、両群の差は10%水準で有意）¹⁶。同じ概説を渡された群は、境界の内側の課題では逆に成果の質が高かった¹⁶。AIの使い方の概説を渡しても、外側で要る専門家の判断の代わりにはならなかった。

AIから多くを引き出すのが分野の分かっている人のほうだ、という傾向も測られている。Anthropicは自社のコーディング支援ツールの約40万件のセッションを分析した。同じ一度の指示から、熟練セッションは初心者セッションの倍以上のアクションを引き出し、検証済みの成功に至る率は初心者の2倍を超えた。差を分けていたのはコードが書けるかではなく、解こうとしている問題を分かっているかだった。同報告はこの”詳しさ”を職種でも一般的な能力でもなく、課題ごとのものと定義しており、伸びの大半は初心者→中級で出尽くし、中級から熟練への上乗せは小さいとも書いている¹⁷。物理の問題を、熟達者は背後の深層構造で、初心者は表面の特徴で括った、という古典的な観察もある。各群8名の探索的な研究だが、深層で見える者ほど、返ってきた出力が凡庸か一級かを見分けやすいという本稿の読みに重なる¹⁸。

基準を文章に書き下しても、効かせるのは読む人の側だ。superpowers のリポジトリ自身がその例になる。リポジトリ規約の冒頭によれば、届いたPRの94%が却下されてきた。却下したPRのほぼすべてを出したのは、指針を読まなかったか、従わなかったエージェントだという¹⁹。規律の文書化を最も細かくやった当人の庭で、である。同じ箇所は、保守者がそうしたPRを数時間のうちに閉じている、とも書く¹⁹。ここから引き出せるのは「基準を書けば出力が良くなる」ではない。基準を持つ人が読んでいるから、その割合を却下できている、のほうだ。

証拠には逆を向くものもある。生成AIを入れた顧客サポートの現場でいちばん伸びたのは入社まもない層とスキルの低い層で、熟練した層の伸びはわずかだった。論文はその作用機序を「上位層の実践を下位層に行き渡らせること」だと示唆的な証拠として挙げる。ただし同じ論文は、最も熟練した層では解決率と顧客満足が小幅ながら有意に下がっていたとも書き、AIの提案に流れて自分で考える時間を取らなくなる可能性を理由に挙げている²⁰。執筆課題でも、第1課題の出来が低かった書き手ほど改善したが、その論文自身が、課題が短く自己完結的で文脈固有の知識を欠くことを限界に挙げている²¹。上がったのは、測れる範囲での出来だ。返ってきた出力がいつ間違っているかを知る力は、それとは別に要る。

理由②　成果物に生じる責任の所在

二つ目は、成果物の責任を、それを使うと決めた人間に帰す、という構造だ。これは精度の優劣とは別に、社会的・法的な要請として存在する。

学習するシステムの振る舞いが作り手にも予測しきれなくなると、従来の責任の帰し方が空回りする。Matthiasはこれを「責任の空白（responsibility gap）」と呼んだ²²。実務はこの空白を、「答えられる人間を一人、名指しておく」ことで塞ごうとする。ただし Matthias 自身は、この空白は「従来の責任帰属の概念では橋渡しできない」と書いている²²。名指しは、それだけでは手当てにならない。OpenAI文書が法学側の議論を引いて責任の割り当てを人手の役割に数え、先のIBM由来の一文が「コンピュータは責任を問われない」と言うのは、この構造を指している。責任という社会的・法的な要請が人間を名指すのであって、人間のほうが正確だからではない。

だからこそ、責任は設計の要件になる。Santoni de Sioとvan den Hovenは、自律システムへの「意味のある人間の制御」の条件として、系のあらゆる動作が、それを設計・運用する人間のうち少なくとも一人の「適切な技術的・道徳的理解」まで辿れること（tracing）を挙げる²³。その人間は同時に、(a) 系の能力と、その使用が世界にもたらしうる帰結を理解しうる位置にあり、(b) 系が世界に及ぼす影響ゆえに他者が自分に正当な道徳的反応を向けうると理解しうる位置になければならない。tracing が求めるのは「誰かに辿り着くこと」ではなく「辿り着いた人間が理解を持っていること」である。原典は、指揮官にどれほど厳しい法的義務を課しても、それだけでは意味のある人間の制御が成立するとは限らないと明記している²³。原典は続けて、tracing は「事故が起きたあとで責める相手を見つけるためだけのものではない。それよりずっと大きい」ものであり、「望ましくない結果がそもそも起きないよう能動的に動ける人間が、連鎖のどこかに必ずいること」を要求する条件だ、と書く²³。先の「責任の空白」は、この言い方をすれば、tracing 条件を満たす主体が誰もいない状態にあたる²³。

EUのAI法も、高リスクなAIに割り当てられた人が、システムを理解し・監視し・出力に自動的に頼ってしまう傾向（自動化バイアス）への自覚を保ち・出力を無視や上書きし・停止できることを、相応かつ比例的な範囲で求める。要点は全判断の事前承認ではなく、答えられる人間に実質的な制御を持たせることにある。ただし遠隔生体識別のように、識別1件ごとに2名の自然人による事前の検証・確認を課す例外もある²⁴。

ただし、ここには落とし穴がある。Elishは、複雑な自動システムの事故で、実際には限られた制御しか持たなかった末端の人間に責任が押しつけられる現象を「モラル・クランプルゾーン（道徳の緩衝帯）」と呼んだ²⁵。車の緩衝帯が運転者を守るのに対し、道徳の緩衝帯が守るのは技術システムの側の無傷さで、その代償を払うのは最も近くにいた操作者だ。Elish はこれが偶発的にも意図的にも起こると書いている²⁵。名ばかりの「最終承認者」を置き、理解も介入の余地も与えないまま責任だけ負わせるなら、それは監督ではなく、責任の押しつけだ。この危険は外部からの批判ではない。先の OpenAI 文書自身が、脚注15 を付けた直後で、「承認しようとしている行動の含意を十分に理解できるだけの文脈を利用者が持っていることを、システムを導入する側はどう保証するか」を鍵となる課題に挙げている。同じ箇所は続けて、承認すべき判断が多いほど一件あたりを速く捌かざるをえず、一つひとつを意味のある形で検討する能力が落ちる、とも書く¹。AI法が監督者に自動化バイアスへの自覚を保たせよと求め、とりわけ人間が下す判断のために情報や推奨を提供する高リスクAIを名指しているのも、同じ危険に対してだ²⁴。責任を理由に人手を残すなら、その人間に、監視し・介入し・停止できる実質的な力を伴わせなければならない。

その力を、指示を書いた側が自分から明け渡している例がある。superpowers は、自分のスキルが既定の挙動を上書きすると宣言したうえで、優先順位を三段に固定する。最上位が利用者の明示の指示、その下がスキル、最下位が既定の挙動だ。以前の版には例まで添えてあった。利用者の設定ファイルが「TDD は使うな」と言い、スキルが「常に TDD を使え」と言うなら、利用者の指示に従え。添えられた理由は一行だけ、「利用者が制御している」²⁶。書いた側が自分より上に人間を置くのは、人間のほうが正しく判断するからではない。その体系を採用すると決め、出てきた成果物を引き受けるのが、その人間だからだ。上書きできる位置に人間を置いてはじめて、答責は名ばかりでなくなる。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。