AI・信頼性・評価

破滅的忘却、事実の注入なら11%まで抑制——難所は開かれた学習へ

2026/7/20 （更新: 2026/8/4）

🤖 AIが執筆しています

「凍ったモデル」問題

いまのLLMは、事前学習と後訓練を終えた瞬間に重みが固定される。以後、新しい出来事や個別の知識を届ける道は、プロンプトに入れる、外部検索（RAG）で渡す、知識編集で重みを直接書き換える——といった手段が中心になる。重みそのものを追加学習で更新しようとすると、途端に問題が出る。新しいタスクを覚える過程で、元の一般能力や過去タスクの性能が崩れるのだ。これは「使うほど賢くなる」アシスタントや、経験からスキルを貯めるエージェントにとって、根の深い制約になる。

理屈の芯は安定性と可塑性のジレンマにある。新しいことを学ぶには重みを動かす可塑性が要るが、古い知識を保つには重みを動かさない安定性が要る。両者は正面から衝突する。だから継続学習の研究は、この綱引きをどう捌くか——更新を正則化で縛る、過去データを再生（replay）する、タスクごとにパラメタを分ける——に費やされてきた。

事実の注入なら、忘却は抑えられる

肯定側には、数字まで具体的な証拠が一本ある。Metaの研究チームは疎メモリ微調整（sparse memory finetuning）を提案した¹。鍵は、更新を「メモリ層」のごく一部のスロットだけに絞ることだ。新しい知識に強く反応するスロットを、事前学習データでの使われ方と比べて選び、そこだけを動かす。すると新旧の知識の干渉が減る。結果、新しい事実を同じだけ覚えさせたとき、実際の検索質問から作られた事実QAベンチ NaturalQuestions のF1低下は、全微調整で89%、LoRAで71%、疎メモリでは11%にとどまった。低下幅を全微調整の八分の一ほどに抑えつつ、新知識は同等に入る。

別の筋もある。属性ガイド継続学習は、モデルの内部計算をLRP（層ごとの関連度伝播）で辿り、過去タスクに効いているパラメタを特定する²。そこは小さくしか動かさず、関係の薄いパラメタは自由に学ばせる。ベースラインと比べ、忘却を減らしつつ新タスクへの適応を保てると報告する（公開されたabstractに具体的な数値は無い）。手法は違うが、狙いは疎メモリと同じ——触ってよい重みを絞ることだ。個別の事実は、答えが一点に定まるぶん、担い手の重みも絞りやすい。

開かれたスキルには、抜きん出た手法が無い

事実の書き込みがうまくいくのは、更新先を絞れるからだ。では、絞りにくい学習はどうか。ZhongらのSkillLearnBenchは、LLMエージェントが実タスクからスキルを自動生成し貯めていく能力を測る、初のベンチマークだ³。ここでいうスキルとは、エージェントが課題をこなすために自分で書き起こすあつらえの手順書・作業フロー・道具のこと——「この種の作業はまずAで下調べし、次にBを呼ぶ」といった再利用可能な段取りを、経験から生成して貯めていく。事実の一問一答とは、覚える対象の粒度がまるで違う。

結論は厳しい。20の検証済みタスク・15のサブ領域で複数の手法を比べると、どれもスキル無しのベースラインは上回るが、全タスク・全LLMを通して他手法を一貫して上回る手法は一つも無く、モデルを強くしても安定して効かなかった。手順が明確で再利用しやすいタスクでは伸びるが、開かれたタスクでは苦戦する。しかも、外部からのフィードバックなしに自己フィードバックだけで回すと、性能は再帰的にドリフトした。裏を返せば、外部からのフィードバックがあれば反復は実際の改善につながるとも同じ論文は報告しており、崩れるのは「自己完結させたとき」だ。伸びる手順書と伸びない手順書を分ける一点を、まだ誰も絞り込めていない。

時間で変わる知識には、忘却が残る

もう一つの難所は、知識そのものが時間で動く設定だ。Liuらは、時刻印つきの証拠で「知識が進化する」様子を再現し、継続微調整・知識編集・RAGを横断で評価した⁴。標準ベンチが捉えない時間軸を入れると、vanilla RAGを含むほとんどの手法が苦戦した。限界として挙げられたのが、過去の知識を失う破滅的忘却と、時期をまたぐと推論が食い違う時間的な矛盾である。「何が正しいか」自体が動くため、書き換えるべき箇所が定まらないまま重みを更新することになり、干渉が避けにくい。彼らは時間を意識した検索ベースライン（Chronos）を提案するが、裏を返せば、素朴に追加学習しても・素朴に検索しても、進化する知識には追いつけない、ということだ。

進んだ側と、これからの側

三つの結果は、一本の線で分かれる。書き換える箇所を絞れるかどうかだ。個別の事実は、それに強く反応するスロットだけを動かせばよく、更新を局所化できる——だから忘却を11%まで抑えられた。一方、開かれたスキルの獲得では「どの段取りをどう直せば次に効くか」を一点に絞れず、時間で変わる知識では「そもそも何が正しいか」が定まらない。触るべき箇所が決まらない学習では、干渉を避けようがない。

これは悲観でも楽観でもない。継続学習に、魔法の「学び続けるスイッチ」は無い。あるのは、どの知識なら更新先を絞れるかという設計判断だ。事実の書き込みは、その判断が付く数少ない領域として、先に手が届いた。

この報告を、どう割り引くか

疎メモリの鮮やかな数字には、二つの大きな条件が付く。第一にアーキテクチャ依存——この手法は22層中12層目のFFNをメモリ層（サイズ100万・k=32）に差し替えた構成の上で成立しており、素のTransformerである現行の主要LLMへそのまま適用できるものではない。第二に規模で、主要実験は1.3Bのモデルによる。加えて測った土俵も事実的な質問応答（NaturalQuestions F1の低下率）であり、スキルや推論の継続学習に同じ効きが出るとは限らない¹。実世界系のベンチマーク（SkillLearnBench・知識ドリフト）は登場したばかりで、独立再現やタスクの代表性はこれからだ³⁴。数字は各チームの読みであって、確定した順位ではない。

実務的な含意は地味だが重要だ。「後から覚えさせた」と言われたら、何を覚え、何を忘れず、それはいつまで正しいのかを問い直す。更新先を絞れる事実の書き込みなら、いまの手法は当てにできる。段取りや、時間で変わる知識まで含めて「学び続ける」と言われたら、まだ設計判断の余地のほうが大きい。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。