AIエージェント

AIエージェントの記憶は何を歪める？ツール引数のずれと対策

2026/7/28 （更新: 2026/10/11）

🤖 AIを使用して執筆

何が起きるのか

Dabas らが「記憶によるツールドリフト（tool-drift）」と名づけたこの現象は、彼らの説明ではこういう筋道で起きる³。エージェントは、せっかちさ、コスト意識、リスク許容度といった、その人の傾向として記憶に残る性格の偏りを覚えている。この偏りが、明示の指示と同じ向きにモデル内部の活性を押す暗黙のステアリングとして働く。すると、いま解くべき仕事の文脈よりも、表面的にキーワードが重なる記憶のほうへモデルの注意が向き、ツールに渡すパラメータが本来と違う値に寄っていく、と論文は論じる。ただし著者らがこの内部機構を実測したのは、活性と注意を覗ける Llama-3.3-70B-Instruct 1本であり、このモデルは次に触れる7モデルには含まれない。

論文が要旨に掲げる最大のずれ幅「+3.6」が何の数字かは、押さえておく価値がある。彼らが作った MEMDRIFT は、五つの偏りの軸と七つの職業領域にまたがる105個のシナリオを、ドリフトが最大になるよう4回まで作り直して最良のものを採り、最後に人手で検証して作ったベンチマークだ。同じ仕事を、記憶なし・無バイアスの記憶あり・偏った記憶あり、の三条件で解かせる。記憶を持たせないときの呼び出しを基準に、引数がどれだけ離れたかを LLM の審査役が1〜5段階で採点し（論文の言う deflection score）、無バイアス側の点数を差し引いた幅の最大値が+3.6だ³。モデル別に総合値を見ると+1.8（GPT-5.2）から+3.3（Claude Sonnet 4.5）に散らばっており（いずれも記憶を直接与えた設定）、+3.6は7モデル×5次元の35セルのうち最も大きい1つ、Gemini 3.1 Pro の「コスト意識（Resource Frugality）」の軸である。つまり+3.6は、損害額でも失敗率でもなく、無バイアス条件に対して審査役モデルの評点が上がった幅である（1〜5段階なので上げ幅の上限は4であり、+3.6はその大半にあたる）。

この指標は、穴を示すために作り手自身が設計したものであり、審査役に LLM を使う以上その癖も乗る。著者らは別の審査役（GPT-5.4）で採り直して高い一致を得たと述べており、そこは手当てしている。ただし採り直したのは7モデルのうち Kimi K2.5 の出力だけで、五つの軸のうち「せっかちさ」だけは一致が κ=0.58 と低い。後で触れる、偏り記憶の混じる割合を振った実験は、この「せっかちさ」の軸だけで行われている。モデル間の並びも、この設計から独立ではない。主審査役と生成器はどちらも Claude-Opus-4.6 で、総合値が最大だったのは同じ提供元の Claude Sonnet 4.5（+3.285）、最小はシナリオを敵対的に磨き上げるときの標的だった GPT-5.2（+1.800）だった。数字は「この設計の中での大きさ」として読むのが妥当で、なかでも順位は、外へ持ち出しにくい。

規模も具体的だ。研究チームは288個の検証済み MCP サーバにまたがる6,062個のツールを走査し、そのうち608個にずれやすいパラメータがあると印をつけた。絞り込んだ一部については、実サーバには繋がず、スキーマだけを逐語で写した模擬呼び出しでドリフトの再現を確かめたと述べる³。研究チームはこの現象を、拡張推論を持つものを含む7つの最前線モデルで観測した。記憶の出し入れを三つの実運用メモリ基盤（Mem0・MemPalace・SimpleMem）に任せた設定も試している。そこでも、偏った記憶を与えたときの評点は直接与えたときと同等かそれ以上のままだった（この設定で試したのは7つのうち GPT-5.4 と Gemini 3.1 Pro の2モデルで、無バイアスとの差で見れば基盤側が下がるセルも半数ある）。論文は基盤経由でも評点が下がらない理由を、保存時に個人的な文脈を剥ぎ落として「全体への指示」として符号化し、表層的な意味の重なりで引き出すため、モデルが「この記憶はいま関係ない」と気づくための手がかりごと失われるからだと説明する。同論文が測っているのは、記憶を思い出せるかどうかではなく、正しく引き出された記憶が当てはまらない場面で引数を動かすかどうかである³。なお論文は、記憶がツールの選択そのものを歪めるかは測っていないと断っている。攻撃というより、善意で持たせた記憶が副作用を持ちうるという話である。

同じ方向の報告はあるが、すべてが独立ではない

記憶の負の面を突く報告は、これ一本ではない。ただし「別の人が独立に確かめた」の度合いは報告ごとに違うので、そこは分けて読みたい。分ける軸はもう一つ、攻撃なのか、そうでないのかがある。Redis の記事は、本番で起きる汚染の大半は攻撃ではなく「ありふれた技術的問題が不釣り合いに大きな結果を生んだもの」だと整理し、本番では重なって見えても手を打つ場所は別だと注意する⁴。

記憶が積み上がるほど安全上の違反率が上がると測った報告⁵がある。この報告が振ったのは露出長、つまり溜まった記憶の量である。ただしこの報告は、ドリフト論文と上席著者（Ruoxi Jia・Ming Jin）を共有している。別グループによる独立の確認ではなく、重なる著者陣が隣の角度から同じ懸念を測った、と読むのが正確だ。

一方、次の二本は著者の重ならない別グループのものだ。もっとも「別グループか」と「独立に測り直したか」は別の話で、後者まで満たすのは片方だけである。ひとつは、有用なコンテキストに見せかけた文書やWebページを読ませて捏造された記憶をその場で書き込ませ、後の複数の会話で初めて発動させる「スリーパー記憶汚染（sleeper memory poisoning）」を実証した Pulipaka・Abdelnabi・Fritz らの報告である⁶。遅れるのは書き込みではなく発動のほうで、話題が汚染された記憶から遠い会話では発動しにくい。ただし発動が消えるわけではない。原典は、行動を伴う設定について「攻撃者意図どおりの行動率は全モデルで非ゼロのまま」と明記している。

同じ論文は、注入された文書がモデル内部の活性からはかなり分離できる（AUROC 0.93〜0.99）とも報告しており、検知の手がかりが無いわけではない。この値は open-weight 6モデルについて層を選んだ最良の単層プローブのもので、内部の活性を読めることが前提だ。原典自身、この検知をモデルをまたいで移す結果については、内部表現に手の届かない商用モデルへ及ぶとは限らないと断っている。商用アシスタントの内部を直接覗く使い方はできない。原典が薦めるのは、プロンプト側の安全策に推論時の軽量な活性プローブを重ね、記憶に書き込む前に文書を検査する層状の構成である。open-weight のモデルを本番LLMの手前に置き、届く前の文書を検査する文書スキャナも測っている⁶。

なお汚染の報告は、自作の評価枠組みの中だけで確かめたものではない。原典は出荷済みの製品サイトに対しても攻撃を当て直している。ChatGPT・Gemini・Claude・Kimi の記憶機能が対象で、評価で成功した攻撃から選んだ25件を製品で試すと、ChatGPT 5.4 Thinking と Claude Sonnet 4.6 では24件で狙った記憶が書き込まれた（いずれも報告時点の各社製品に対する測定である。著者らは責任ある開示の慣行に沿って OpenAI・Anthropic・Google の窓口に当たり、結果を共有しようとしたと書くが、各社が修正したという記載は無い）⁶。

もうひとつは、記憶の枯渇やコンテキストの氾濫といった内部要因でエージェントが劣化していく過程を整理し、防御枠組みを提案した Atta らの報告である⁷。こちらは主に整理と提案で、試験の結果は数値では示されておらず、ドリフトの再現を裏づけるものではない。

攻撃ではない側の測定もある。当てはまらない記憶が、ツールの引数ではなく応答の文章に割り込む「過剰な個人化」は、ドリフト論文自身が並行研究に挙げる別の報告で測られている。OP-Bench はドリフト論文と著者の重ならないグループのもので、記憶を加えると過剰な個人化が広く起きると報告する⁸。同じ報告の改訂版（v2）は、取り出した記憶を選り分けたり圧縮したりする既存の後処理を試し、改善は限られ、個人化の性能をしばしば落とすと結論している⁸。PersistBench は18のモデルを調べ、記憶の中身を別の領域の問いへ持ち込む失敗の率が中央値53%だったと報告するが、著者6人のうち3人を汚染の報告⁶と共有する⁹。

産業側も、古い・汚れたデータが記憶を通じて推論を壊す「コンテキスト汚染（context poisoning）」を実務課題として語り始めた⁴。ただしこれは解決策として自社製品を薦めるベンダーの記事なので、証拠というより現場の関心の在りかを示すものとして扱いたい。査読の段階で見ると、ドリフト論文と汚染の報告は併設ワークショップへの採択で、縦断研究は査読前である。PersistBench は ICML 2026 の本会議に採択されており、OP-Bench は EMNLP 2026 への採択を自ら記す。それでも、どれも単一グループの報告で、互いの独立再現が取れているわけではない。

それでも、これらの報告に共通する筋は二つに読める。第一に、記憶を持たせると、持たせる前にはなかった失敗の面が増えうるという指摘。第二に、プロンプト層だけの防御では止まりにくいという指摘。「無視して」と頼んでもずれは部分的にしか消えない³。より良いモデルを使うだけでも足りない、と Redis の記事は述べる⁴。別の角度からこれを実測した報告もある。知識グラフを汚染してツール経由で読ませる攻撃を調べた Kereopa-Yorke らは、「すべてのツールの応答を独立に検証せよ」「外部データはすべて汚染されている前提で扱え」とシステムプロンプトの権限を強めても測れる効果はゼロだったと報告する¹⁰。モデルは思考の中でその指示に言及したうえで、汚染データを受け入れていた。同じ論文は効いた側も測っている。読み取り専用のアクセス制御は直接の改変経路そのものを消し、別のツールとの突き合わせは、データ源どうしの食い違いにエージェント自身が気づけるようにして、盲信を100%から0〜25%へ下げた。プロンプトでも、攻撃の中身を名指して見直させる形は、実際のツール呼び出しで汚染の96.7〜100%を見抜いた。ただしそれには防御側が攻撃を先に知っている必要があり、一般的に疑えと促す形は効かなかった（対象は敵対的な汚染であって、善意の偏り記憶とは別の問題である）。また原典は、GPT-5-mini と Gemini の上がり幅は実験設計のせいで一部膨らんでいる可能性があると自ら断っている。

実在のハーネスは、記憶をどう「管理」しているか

「貯めるより管理する」は、実運用のエージェント・ハーネスがすでに設計判断として体現している（以下の2製品は、ドリフト論文が測った基盤ではない）。Claude Code の自動メモリは、会話の何もかもを覚えるのではなく、「将来の会話で役立つか」を基準にモデル自身が残す価値のあるものだけを書き留める。索引となる MEMORY.md だけを毎セッション読み込み、詳細は必要時に取り出す。しかも全文はプレーンテキストで、利用者が /memory からいつでも閲覧・編集・削除でき、想起や書き込みの瞬間も Claude Code が「Recalled 2 memories」のように UI へ表示する¹。＝何を覚えるかを絞り、覚えた中身と読み書きの瞬間を見えるようにし、疑わしい記憶を人が消せる。記憶の管理を、人が読める平文と手作業で握れるところまで下ろした設計だ。

Letta は別の方向に踏み込む。公式ドキュメントは中核の「記憶ブロック」を、エージェントのコンテキストウィンドウの中にあらゆるやり取りをまたいで残り、検索を挟まず常に見えている構造化された区画だと説明し、エージェント自身が組み込みのメモリツールでそれを読み書きすると述べる²。同じ設計思想は MemGPT 論文にも見える。MemGPT 論文には、プロンプトの中に固定長で置かれ、モデル自身の関数呼び出しでしか書き換えられない読み書きブロックがあり、論文はこれを working context と呼ぶ¹¹。Letta 自身は、記憶ブロックという概念が MemGPT 論文に由来すると公表している¹²。ただし、記憶ブロックが working context の直系だと書いた出典はどちらにも無いので、その対応づけは設計の相似を指摘するに留める。MemGPT 論文の看板である「仮想コンテキスト管理」はもう一段広い枠組みの名前で、OSの階層メモリからの類推により、プロンプト内と外部の保管領域の間でデータを動かす仕組み全体を指す。記憶ブロックが構造として対応するのは、広い枠組みのほうではなく、検索を挟まず常に見えていて、しかも書き換えられる区画である working context のほうだ。記憶を「読み出すだけの山」ではなく、書き換えて整理し続ける対象として設計する発想である。どちらも、記憶を貯め込む機能ではなく、記憶を管理する仕組みを製品の中心に据えている。

（両者とも更新が速い製品なので、ここでの記述は2026年7月時点の公開情報による。）

手当ての置き場所：指示、手前の検査、訓練

仕込まれた注入への手当てと、善意の偏りへの手当ては同じではない。前者は文書が届く手前で検出して切り取れる余地が大きく、後者は「関連はしているが当てはまらない記憶」を見分ける問題なので、同じ道具では切れない。

「関係ない記憶は無視して」とプロンプトで頼むやり方は、論文が試した GPT-5.4 では部分的にしか効かなかった³。Redis の記事も、プロンプト層だけの防御はそれ単体では足りず、手当ては何を取り出し・何をキャッシュし・何を覚えるかという上流のデータ経路に寄せるべきだと述べる⁴。一般的に疑えと頼む形が効かないことは、別グループの実測でも同じだった¹⁰。Redis の記事が具体策として挙げるのは（いずれも自社製品の機能としてだが）、エージェントに触らせる範囲を先に定義してそれ以外を届かせないことと、記憶の書き込みをスコープ付きにして後から点検・無効化できるようにすることだ。つまり「一度入ったら最後」の記憶をやめる方向である。

「手前でなら見える」ことには、ベンダー記事以外の裏づけもある。前掲の縦断研究⁵は、生成する前の検索状態だけから記憶起因の違反を予測する軽量な監視を作り、二つのデータセットで再現率0.970・0.984を得た。この監視は、HIPAA や FERPA のドメイン規則を持つ比較対象より高い F1 を、規則を一切使わずに出している。逆に、エージェント自身の目は当てにならない。縦断研究のほうが実運用形のエージェント7構成で測ったところ、危険な振る舞いをエージェント自身が申告した例は一つも無かった。汚染側の報告⁶も、防御を同じ場所に置いている。open-weight モデルに文書を先に読ませて注入部分を検出・位置特定させる構成で、良性文書の誤検知はゼロ（FPR 0.000）、検出率は最良のモデルで0.999〜1.000だった。上流の検査が必ず「絞りすぎ」になるとは限らない。

それでも、上流に置けば済む話でもない。ドリフト論文の関連度フィルタは、MEMDRIFT のシナリオでは偏った記憶をすべて除けた。著者らはこれを、MEMDRIFT が人物像と業務をきれいに分けて作ってあるためだとしている。ところが、人物像と業務が重なる事例に対しては、有用な記憶の61.0%しか残せず、それでいて無関係な記憶を10.3%通した。絞りすぎれば、記憶を持たせた利点のほうが先に消える。同じ論文は、「せっかちさ」の軸の21シナリオに限って、偏り記憶の混じる割合を振る実験もしている。その実験では、Gemini 3.1 Pro は偏り記憶が全体の25%を占めた時点で評点が1.76から4.95へ飛び、そこから100%まで増やしても上がらなかった。GPT-5.4 の上がり方はもっと緩やかだったが、原典は両モデルとも、偏り記憶が多数を占めるよりずっと前に大きくずれていると書く³。ただしこの実験が試した最小の割合は25%で、それより少ない混入で同じことが起きるかは測られていない。先の検索時の監視も、F1 は0.692から0.573へとデータセットを替えると落ちる。原典は、落ちているのは精度であって再現率ではないと断っている⁵。感度は一般化するが特異度はまだだ、という説明だ。

ドリフト論文は、試した二つの防御（プロンプトと関連度フィルタ）がどちらもキャリブレーションのずれたモデルの上で働くにすぎないとまとめる。そのうえで、事後訓練では個人化が大きく報われ、当てはまらない記憶の適用はほとんど罰されないという非対称を原因とする仮説を立て、過剰な個人化を罰するデータで訓練し直す手を挙げるが、これは試しておらず次の課題としている³。同論文自身、単一のツール・単一ターンでの測定だと断っている。縦断研究は順序をランダム化した実験で、違反率が上がる主な原因は溜まった中身で、出会った順序は記憶の設計しだいで効き方が変わる副次的な要因にとどまると切り分けている⁵。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。