AI・信頼性・評価

AIを使えば判断力は伸びる？伸びない二つの理由と直し方

2026/8/10 （更新: 2026/10/14）

🤖 AIを使用して執筆

素朴解「使っていれば上手くなる」は二箇所で破綻する

同じ製品の同じ機能で、学習の結果が割れた実測がある。Bastaniらは2025年、トルコの高校の約50学級、千人近い生徒を学級ごとに無作為に三群へ分け、うち二群には数学の練習に同じGPT-4を、素のChatGPTに近い型と、学習を守るようプロンプトを組んだ型の二通りで与えた。練習中の成績はどちらの型でも上がったが、ツールを取り上げた直後の、同じ授業内の試験では、素の型を使った群が一度も使わなかった群を17%下回り、プロンプトを組んだ型ではこの悪化がほぼ消えた¹。モデルは同じで、違うのは生徒からは見えないプロンプトの側だった。実験が動かしたのは、使う側ではなくツールの側の設計である。学習は、AI活用の第一級の設計変数だ。 生産性の従属変数でも、あとから気づく副作用でもない。

最初に来る答えは、設計ですらない。「学習は成果物の副産物だ。これだけ使えば判断の機会も増える。上手くなるに決まっている」。もっともらしいし、半分は本当だ。AIの出力を採るか捨てるかの判断を、一日に何十回も繰り返す。回数だけを見れば、自分で書いていた頃より増えてもいる。この素朴解が素朴なままでいられる理由のほうは、Bjork夫妻が先回りして「やや意外なことに、日々の生活と学習における試行錯誤は、学習者としての自分の正確なモデルも、何が学習を促し何が促さないかの理解も、育てないようだ」と書いている²。反証する信号が主観に届かない。だから副産物説は、二箇所で破綻する。事故としてではなく、必然としてだ。

一つ目の破綻。反復が技能に変換されるための条件が、欠けている。Ericssonらは1993年、熟達研究を総括してこう論じた。熟達は経験の長さでは説明できない。伸びを説明するのは意図的な練習であり、原典はその条件の筆頭に動機づけを置き、「最も多く引用される条件は、課題に注意を向け、成績を改善しようと努力を注ぐ被験者の動機づけに関わる」と書く。続いて、学習者の既有知識を踏まえた課題設計、結果の知識を伴う即時の情報的フィードバック、同一または類似の課題の反復が挙がる³。原典はこれに続けて、技能が実験室の課題より複雑になるほど、誤りを個別に診断する教師の監督が望ましいと書く。裏返しの命題を、原典は言い切る。「適切なフィードバックが無ければ、効率的な学習は不可能であり、強く動機づけられた被験者でさえ改善はごくわずかにとどまる。したがって、単なる活動の反復は、とりわけ正確さについて、自動的な改善にはつながらない」³。「良さそうだ」と通す判断は、通したものがその後バグになったか生き残ったかを知らされない限り、判断力ではなく、通すことへの慣れを鍛える。

しかも同じ原典は、仕事という活動そのものが学習に向かない理由を別途挙げている。失敗や納期遅れのコストが高い場では、人は既に定着した方法に頼り、信頼性の分からない代替を試さなくなる。そこで原典が例に引くのは、熟練した業務ソフト利用者が少数のコマンドだけを使い、より効率的なコマンド群の学習を避ける、という所見だ。「仕事にも学習の機会はあるが、最適からはほど遠い」³。

ParasuramanとRileyは、人間が自動化の出力を過信して監視を緩める失敗を自動化の「誤用」として整理した。熟練は、このバイアスへの免疫を保証しない。二人は、診断用エキスパートシステムの精度に熟練の専門家が見当違いの信頼を寄せた例を挙げ、自動化バイアスの誤り率は学生パイロットと職業パイロットで同程度だった、と報告している⁴。検証なき受け入れの先で育つのは、能力ではない。二人が繰り返し指摘するのは、主観的な手応えと実際の成績が乖離することだ。この破綻に本人が気づけないのは、そのためである。うまくいっていないと知らせるはずの手応えが、当てにならない側の量だからだ。

ただし、この知見には原典が報告する実験で切った条件が付いている。監視の崩壊が出たのは、追跡と燃料管理という別の手作業と並行して監視させたときで、監視だけを課題にした別の実験では検出率は95%超、原典の語で「ほぼ完璧」だった。結論も「他の手作業を同時にこなさなければならないとき、オペレータは自動化の監視が下手になりうる」という条件つきであり、原典はむしろ「人間の監視は非常に効率的でありうる」とも書く⁴。原典が崩壊に付けた条件はもう一つある。自動化の信頼性が一定で変わらないことだ。信頼できる自動化は信頼を生み、監視は時折にしかされなくなる。逆に信頼性が一定しない自動化は信頼を生まず、より注意深く監視されるはずだと原典は書き、報告される実験でも、信頼性を変動させた条件のほうが監視の成績は有意に高かった。信頼性の絶対水準も効き、信頼性が高いほど失敗の検出率は下がったという別の報告も添えられている⁴。だからこの二つの条件を、自分の一日に当てて確かめておく値打ちがある。並行作業のほうは満たされている側だ。出力を読んで通すか決めるあいだ、手が空いていることはめったにない。自分のコードを書きながら、複数のエージェントを並行して回しながら、締切の別作業を抱えながら読む。監視だけに座っていられるほうが例外である。信頼性のほうは割れる。原典の予測をそのまま当てれば、当たり外れの混ざるAIの出力は注意深く見られる側に寄る。同じモデルを同じ定型作業に当て続けて外れが目に付かなくなれば、一定の信頼性という条件に近づく。ここまでは原典の予測をAIの出力に当てた本稿の推論で、原典はAIを扱っていない。AIを扱った実測は、この予測と食い違う。Bastaniらの実験で、素の型のGPT-4が正答したのは平均51%にとどまったのに、生徒の大半はそれを答えの取得に使い、その誤りは練習の成績を下げていた。著者らは、生徒が誤りを見抜けないか、正しさを確かめる労を払わないのだろうと書く¹。被験者は学習中の高校生で、熟練者ではない。

二つ目の破綻。「できた」は「学んだ」ではない。Swellerは1988年、人間の問題解決を調べてこう報告した。作動記憶の容量は小さく、初学者が頼る手段目標分析、つまりゴールとの差分をひたすら埋める解き方は、その容量を食い尽くす。だから問題が解けても、学習が起きないことがある。解決に容量を使い切ると、専門性の実体であるスキーマ（領域の構造の記憶）を作る容量が残らない⁵。妨害の機構は、しかし容量だけではない。原典は「二つの関連する機構」と明示して節を割り、もう一方に選択的注意を置く。手段目標分析で解く者が注意を向けるのは「いまの状態とゴール状態の差」であって、使った手とそれが効いた状況との対応は「完全に無視されうる」。スキーマの獲得に要るのは逆向きの注意で、「ある問題状態を、特定の手を要求する問題状態のカテゴリに属するものとして認識できるようになること」だと原典は書く⁵。容量が空いていても、注意が「これは動くか」にだけ向いているなら、スキーマは作られない。課題の本質までAIに丸ごと任せて結果だけ受け取る使い方は、これと同型の乖離をツールの側から作り出す。出力は正しく、仕事は進み、スキーマだけが作られない。「使えば上手くなる」は、この乖離を勘定に入れていない。

一つ目の修正は、「何を任せるか」を「どの負荷を移すか」に変えることだ

破綻の二つ目から直す。Swellerらはのちに、この理論を二種類の負荷を分けて扱う設計原則へ整理した。片方は内在的負荷で、情報の複雑さと、それを処理する人の知識の両方で決まる。もう片方は外在的負荷、見せ方の拙さや余計な手順が上乗せするぶんだ。処方は、後者を削り、そこで浮いた容量をスキーマ構築へ向かう処理に充てること⁶。ここで内在的負荷を「課題そのものの性質」と読むのは、原典が名指しで退ける読み方である。原典は、知識を無視して複雑さを判定する尺度はほぼ無意味だ、とまで書く。外在的負荷を削れば総量も下がるが、総量を容量内に収めたうえで、設計の焦点は配分へ移る、とこの研究群は論じる。同じ組み替えを、自動化研究の側も先に求めていた。「仕事の簡単なところを取り去ることで、自動化は人間の操作員の仕事のうち難しいところをさらに難しくしうる」とBainbridgeは書き、続けて、人と機械にそれぞれの得意を割り当てる「Fittsリスト」式の分担はもはや十分でないという複数の論者の指摘を引く⁷。この枠組みを持ち込むと、「AIに何を任せるか」という問いは「どの認知負荷を移すか」という問いに変わり、任せ方は三つに割れる。

• 移してよい負荷（外在的）。 定型コードの展開、APIの調べ物、書式合わせ、環境構築の手順。課題の本質と関係なく容量だけを食う負荷は、ためらわず移す。これほど広い範囲の外在的負荷を、これほど安く移せるツールはこれまでなかった。
• 調整する負荷（内在的）。 課題の本質的な複雑さは、消すものではなく、扱える幅に刻むものだ。AIに「一度に全部」を解かせて受け取るのではなく、分解と段階づけを手伝わせて、本質の処理は自分の作動記憶に通す。原典が内在的負荷を動かす手として挙げるのは、学ぶべきものを変えるか、学習者の熟達を変えるかの二つである⁶。二つ目は、この節を最後の節へつなぐ線でもある。
• 守る処理（学習へ向かう処理）。 構造を読み取り、なぜそうなるかを自分の言葉で繋ぐ処理は、意図して確保しない限り、次のタスクの外在的負荷に食われて消える。

だが、この修正だけでは足りない。配分を正しくしても、空いた容量が学習に使われる保証はどこにもないからだ。Bjork夫妻は学習研究の蓄積からこう論じている。いま流暢にできること（目先の成績）と、あとまで残って別の場面に移転する変化（学習）は別物で、しばしば乖離する。そして、思い出す努力、自分で生成する努力、間隔を空けた練習といった「望ましい困難」は、目先の成績を下げながら長期の学習を高める。ただしこれには、応じるだけの下地が学習者にあるかぎりで、なければ同じ困難はただの障害だ、という限定が付く²。つまり、努力の除去は学習の除去でありうる。AIは摩擦を消す装置だ。思い出す前に答えが届き、書き始める前に文章が届く。同じ章はもっと直接的に、「学習者であるあなたが、いまの手がかりと過去の知識から自分で生成できたはずのものを、調べたり、誰かに教えてもらったり見せてもらったりするたびに、あなたは強力な学習機会を自分から奪っている」と書く²。「誰かに教えてもらう」の席に、AIが座る。外在的負荷だけでなく、想起と生成という生産的な苦労、つまり学習が実際に起きる場所まで、AIは頼めば消してくれる。全部消せば、滑らかに仕事が進むのに何も積み上がらない状態が完成する。容量を空けることと、空いた容量で学習が起きることの間には、もう一段の設計が挟まる。

二つ目の修正は、判断を結果と突き合わせるループを明示することだ

その一段が、一つ目の破綻への答えでもある検証ループだ。Ericssonらが挙げた条件は、動機づけ、既有知識を踏まえた課題設計、即時の情報的フィードバック、反復である。ただし原典は、複雑な技能では教師が練習の課題を設計し誤りを診断することを求め、練習そのものは教師と会う合間に一人で行う活動として測っている³。教師の側にあるその二つの機能を、教師のいないAI協働の一日に移すと、形は小さく具体的になる。

• 自分の予想を先に書く。 AIに聞く前に、自分の答え・設計・見立てを一行書く。生成の努力が望ましい困難として働く²。ただし予想と出力の差分は、それだけではフィードバックにならない。どちらが正しかったかを知らせないからだ。原典が条件に置くのは、自分の成績の結果の知識を伴う即時のフィードバックである³。差分はそれを受け取るための記録として、三つ目の突き合わせへ回す。ただし通した出力の結果は後から返るので、このループで返るフィードバックは原典の言う即時のものではない。コストは一行ぶんの数十秒だ。
• 答えだけでなく、理由と対比を要求する。 「なぜこの設計か」「捨てた代案は何か」を出力に含めさせる。根拠つきの出力は構造を開示し、内在的負荷の処理という本質へ注意を向けやすくする。効きが大きいのは、その領域でまだ熟達していないあいだだ。熟達が上がると効果はまず小さくなり、やがて消え、ついには逆転しうる。「初学者向けに設計された指導手続きは、熟達が上がるにつれて逆効果になりうる」と原典は書く⁶。その領域で既に熟達しているなら、削ってよい項目である。理由のない答えは、写経と同じ帯域しか通らない。
• 採否の判断を、結果と突き合わせる。 通した出力がその後どうなったかを、自分の判断に返す。この突き合わせを欠いた反復は、自動的な改善にはつながらない³。しかも自分の手応えは実際の成績と乖離しうるので、うまくいっていないことが主観からは分からない⁴。Bastaniらの実験でも、素の型の群は試験の成績が落ちたのに、落ちたとも学びが減ったとも感じていなかった¹。
• 時々、AIなしで手を動かす。 ゼロから書き、生の障害を掘る腕は、レビューだけでは維持されにくい。処方のほうは、Bainbridgeが1983年の時点で「各シフトのあいだ、短時間だけ手動操作をさせるという手がある。この提案が笑止に思えるなら、シミュレータでの練習を用意しなければならない」と具体的に書いている⁷。頻度は仕事の性質で決めればいいが、「ゼロにしない」を予算として明示する。

四つ目だけ毛色が違うのは、理由がある。Bainbridgeが1983年に挙げた劣化の機構は、不使用だ。原典は、手作業の技能は使われなければ劣化し、長期記憶からの知識の引き出しやすさは使用頻度に依存する、と書く⁷。だから能動的にレビューする者も、この構図の外には出られない。落ちるのが手先だけだと読むなら、それは原典より甘い。手作業技能の維持策を述べた直後に、原典は「スケジューリングと診断という認知技能についても、同じ点が言える」と続け、助言に従う場面については「助言に従うとき、オペレータの反応は、自分で行動の系列を生成できる場合よりも遅く、統合されていない。そして彼は『知的であること』の練習を全くしていない」と書く⁷。原典が名指しているのは助言に従う側で、出力を読んで通すか決める判断はその一形である。知識の側に原典が付けた条件も同じ向きで、この種の知識は「使用と、その有効性についてのフィードバックを通してしか育たない」。どこに線を引くか・どの失敗の型を疑うかという判断も、結果と突き合わせたときにだけ研がれる。四つ目は、能動レビューでは代替されない側を否認せず、予算化するための項目だ。

配分を決めるとき、ループの固定費は反復でしか回収できない

ここまでが修正だ。だが修正には値札が付いている。予想を書く数十秒、理由を要求して読む時間、採否の結果を追跡して自分に返す手間、AIなしで手を動かす時間。どれも小さいが、毎日となれば短期のスループットを確実に削る。検証ループは無料ではなく、回収できるかどうかに関わらず判断のたびに払う手間を伴う投資だ。本稿はこの手間を固定費と呼ぶ。だから最後の問いは「ループを回すべきか」ではなく、「この固定費はどこでなら回収できるか」になる。

回収の原資は、反復性だ。同じコードベース、同じ領域、同じ道具立てで協働が続くなら、今日較正した判断は明日も同じ形で問われる。予想と結果の差分は次の予想に乗り、較正は積み上がる。積み上がるのは較正だけではない。熟達が上がれば、同じ課題の内在的負荷そのものが下がる。これは、負荷を動かす二つ目の手として原典が挙げていたものである⁶。ループの利回りは、回すほど上がる。逆に、一度きりで、そこで研いだ判断を持ち込む先も続かないタスクでは、フィードバックが返ってくる頃に適用先がなく、固定費を払っても回収する反復がない。だから初期値は条件付きになる。判断が続く協働へ持ち込まれるならループを明示的に回し、一度きりで持ち込む先も無い仕事では副産物で足りる。

この勘定には、二つの付記が要る。第一に、固定費は一度払えば終わる形をしていない。一度較正した判断も、使われなくなればその分だけ錆びる⁷。だから「続く協働なら回す」の見積もりに入れるべきは、初期費用だけではない。問うべきは、この協働は維持費を払い続けられるだけ続くのか、だ。第二に、回すと決めたループは、気力があるときにやることではなく、着手の手順そのものに埋め込んでおく。予想の一行は「AIに聞く前に書く」と手順の側に固定して初めて、毎日執行される予算になる。

残った選択肢も、この勘定で片づく。「学習に投資しなくても、次のモデル世代が賢くなるのを待てばいい」。だが待って手に入るのは、一般解の改善だ。この設計のどこが危ういか、このチームの「良い」がどこにあるか。協働の現場で積み上がるこうした文脈と判断基準は、待っていても誰も学ばない。人の側に残しておかなければ、モデルを乗り換えるたびに積み直しになる。そして検証と仕様の関所は、いまのところまだ人間が担っている。その関所を務める判断力は、ここで述べたような突き合わせが無ければ、ごくわずかにしか研がれない³。学習への投資を捨てる選択は、検証を捨てる選択と同じ場所に落ちる。

冒頭の問いに戻る。同じ製品の同じ機能が学習を加速するか空洞化させるかは、導入時の記録にも今日の生産性の数字にも現れない。それを決めるのは一つだけだ。判断が反復する場所で、ループを回し続けているかどうかである。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。