In Silico

AIエージェント

スパースオートエンコーダ（SAE）とは？AIの内部はどこまで読めるか

2026/7/27 （更新: 2026/10/13）

🤖 AIを使用して執筆

  • スパースオートエンコーダ
  • 解釈可能性
  • 大規模言語モデル
  • Claude 3 Sonnet
  • Gemma Scope
  • Golden Gate Claude
  • スパース・プロービング
  • 帰属グラフ
  • クロス層トランスコーダ
  • 特徴
  • 単一意味性
  • ステアリング
  • 回路追跡
  • プローブ
  • ニューロン
  • 活性
  • Anthropic
  • OpenAI
  • Google DeepMind
  • GPT-4
  • Gemini
  • 金門橋
  • ロンドン
  • ベースライン
  • Claude Sonnet 4.5
目次
背景・問い・要点
背景

大規模言語モデルは、文章を書き、コードを直し、判断の下書きを作るところまで実務に入ってきた。それでも「なぜそう答えたのか」は外から見えない。手元にあるのは入力と出力の対だけで、その間で何が起きたかを指す言葉が無い。動いているのは膨大な数値であって、人間が使う概念の名前が中に並んでいるわけではないからだ。使う側から見れば、これは学問上の関心にとどまらない。中が見えないままだと、直せるのは入口（指示の書き方）と出口（後段の検査）だけで、原因そのものには手が届かない。そこで、この内側を人間が名前を付けられる単位へほどけないか、という研究が数年来続いてきた。内部がほどけて読めるようになれば、失敗の原因を中から辿ったり、望まない振る舞いを名指しで抑えたりできるかもしれない。実務の側がこの研究に期待しているのは、そこである。

問い

内部を「読める」ようにする研究は、どこまで届いたのか。そして、そこで読めたものは「使える」、つまり実務の道具になると言えるのか。

要点

「読める」は、人間が名前を付けられる特徴（feature）が取り出せ、その活性を動かして振る舞いまで変えられる段階にはある。ただし取り出せる範囲はモデルが持つ概念のごく一部にとどまり、本稿が引く測定は、それが「使える」ことを示していない。 取り出しに使うのはスパースオートエンコーダ（SAE）で、この路線は Anthropic・OpenAI・Google DeepMind が独立に走っており、一社の主張ではない。Anthropic が金門橋の特徴を強めたモデルを一般に公開したように、効くこと自体は実演済みである。届いていないのは下流だ。SAE の特徴を下流の分類課題にかけて使い勝手を採点した測定は、どの条件でも、データセット平均では活性をそのまま使う単純な線形の分類器を下回った。この結果を出したのは SAE を推し進めてきた側の研究者を含むチームで、その研究者が所属する DeepMind も、当面この手法の基礎研究を後回しにすると公表した。撤退という意味ではない。

モデル・例示

一つの素子に三つの意味が重なる場合

※ この節の数値は説明のための仮定で、測定値ではありません。

内部の素子が4個しかない小さなモデルを考える。そのうちの一つは、橋の文章でも、料理の文章でも、怒りの文章でも同じ強さで反応する。この素子の値だけを見ても、いまの入力がどの話かは言えない。これが多義的な状態である。残りの3個の素子は、橋・料理・怒りの文章で、それぞれ少しずつ違う強さで反応する。

ここに、4個の素子の値を12個の特徴へ組み立て直し、その12個から元の4個の値を復元できるように学習させる仕組みをかける。条件は二つで、元の値をなるべく正確に復元することと、一つの入力で反応する特徴をごく少数に限ることである。すると、橋の文章でだけ反応する特徴、料理の文章でだけ反応する特徴が分かれて出てくる。特徴に名前が付く。ただし、怒りの文章でだけ反応する特徴は出てこないことがあり、12個のうち、どの入力でも反応しない特徴も残る。怒りの特徴が無くても、怒りの情報が消えたわけではない。いくつかの特徴の組み合わせが、まだそれを運んでいることがある。

名前が付いた橋の特徴を強い値に固定すると、料理の質問への答えにも橋が混ざり始める。読めるだけでなく、効く。

それでも、「入力が橋の話か」を当てる分類なら、4個の素子の値をそのまま重み付きで足す分類器でも当てられる。残りの素子の反応の違いを、重みが拾うからである。名前の付いた特徴だけを使う分類器と、この分類器に同じ入力を当て、正答の割合を比べるしかない。読めることと使えることは、別々の問いである。

何が起きているか

モデルの中の一つのニューロンは、しばしば多義的である。そのニューロンは無関係な複数の概念に同時に反応するので、単体では意味を読み取れない。ここにスパースオートエンコーダ（SAE）という仕組み（活性をより多くの特徴へ広げ、少数の特徴の組み合わせから元の活性を復元するように学習させる）をかけると、重なり合った信号が「一つの特徴＝一つの意味」に近い形へほどける。この「一つの素子が一つの意味だけに対応する」状態を単一意味性（monosemanticity）と呼ぶ。Anthropic は 2024 年、これを実際の製品モデル（Claude 3 Sonnet）の中間層で行い、取り出す特徴の枠を100万・400万・3400万と変えた3つの SAE を学習させた。ただし枠が3400万の SAE でも、実際に反応する（生きている）特徴は約1200万だった。同社は訓練手順の改善でこの死んだ特徴を今後減らせると見込んでいる1。同じ路線は一つの研究室にとどまらない。OpenAI は独自の手法で GPT-4 に1,600万規模の特徴を学習させた。ただし同社自身、見つかった特徴のランダムな活性のかなりの割合が、とくに GPT-4 ではまだ十分に単一意味的ではないと限界に挙げ、同じ項目の次の一文で、技術の改善と規模の拡大で克服しうると考えるとも書いている2。Google DeepMind は Gemma 2 向けの SAE 一式「Gemma Scope」を公開した3。別々のチームが独立に同じ「特徴へほどく」路線を走った。つまり、これは一社だけの主張ではない。ただし足並みはその後そろわなくなった。Gemma Scope を出した DeepMind の解釈可能性チームは2025年3月、下流タスクでの否定的な結果を挙げて「当面はSAEの基礎研究の優先度を下げ、別の方向を探っている。とはいえ SAE は今後も道具箱に残る」と表明している4。撤退ではなく、優先度の引き下げである。同じチームは2025年12月、Gemma 3 の 270M〜27B の全層で学習した SAE とトランスコーダの一式「Gemma Scope 2」を公開した5。

目を引くのは、特徴が読めるだけでなく、効くと Anthropic が報告している点だ。同社によれば、ある特徴の活性を最大値の10倍といった水準へ人為的に固定（クランプ）すると、モデルの出力自体がその概念に引きずられる。金門橋の特徴でこれを行うと、モデルは自分自身を金門橋だと名乗り始めたという1。ただし同社は、面白い結果を得るには活性を訓練データで観測された範囲の外へ押し出す必要があり、押し過ぎる（観測最大の±100倍）とモデルは同じトークンを繰り返すなど意味をなさなくなる、とも書いている1。これらは査読を経た論文ではなく、同社の技術レポートでの報告である。一般公開された実演が “Golden Gate Claude”（2024年5月）で、同社は「ほとんどの問いへの返答が、直接関係のない場面でも金門橋に触れるようになる」と書いている6。この研究は、中を読むだけでなく、特徴の活性を動かして出力を変える操作（ステアリング）まで届いた、という意味で新しい。ただし、ステアリングをプロンプトや微調整と同じベンチマークで採点した測定では、SAE はその両方に及ばなかった7。

さらに 2025 年、Anthropic は個々の特徴を「読む」段階から一歩進んだ。特徴どうしのつながりを帰属グラフ（attribution graph）として描き、モデルが入力から出力へ至る途中の計算の連鎖を辿ろうとした。これはクロス層トランスコーダを使い、Claude 3.5 Haiku を対象にした「回路追跡（circuit tracing）」の試みである8。研究は、特徴という「部品」を一つずつ眺める段階から、それらが組み合わさって働く「回路」を追う段階へ移りつつある。ただしこれも査読を経ていない同社の技術レポートである。同社自身、帰属グラフから満足のいく洞察が得られたのは試したプロンプトのおよそ4分の1だとし、取り上げた例は成功例に偏った標本だと断っている。しかも「成功した事例研究においてさえ、取り上げた発見はモデルの機構のごく一部しか捉えていない」とも書いている8。

言える範囲と留保

留保がいくつかある。

出典13件

  1. Anthropic「Scaling Monosemanticity」Transformer Circuits, 2024. https://transformer-circuits.pub/2024/scaling-monosemanticity/ — Claude 3 Sonnet 中間層に約100万・400万・3400万の SAE。3400万は約65%が dead（生存約1200万は導出）。10倍で金門橋を名乗り±100倍で崩れる。 ↩ ↩2 ↩3

  2. Leo Gao ほか（OpenAI）「Scaling and evaluating sparse autoencoders」ICLR 2025. https://arxiv.org/abs/2406.04093 — GPT-4 の活性に1,600万規模の特徴の SAE を学習。見つかった特徴のランダムな活性のかなりの割合は、とくに GPT-4 で十分に単一意味的でないと限界に挙げる。 ↩

  3. Tom Lieberum ほか「Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2」2024. https://arxiv.org/abs/2408.05147 — Google DeepMind が Gemma 2 向けの JumpReLU SAE 一式を公開。 ↩

  4. L. Smith ほか「Negative Results for Sparse Autoencoders On Downstream Tasks and Deprioritising SAE Research」2025. https://deepmindsafetyresearch.medium.com/negative-results-for-sparse-autoencoders-on-downstream-tasks-and-deprioritising-sae-research-6cadcfc125b9 — DeepMind の報告。SAE プローブが線形プローブに劣り、SAE 基礎研究の優先度を当面下げる。 ↩

  5. Google DeepMind「Gemma Scope 2」2025-12-19. https://deepmind.google/blog/gemma-scope-2-helping-the-ai-safety-community-deepen-understanding-of-complex-language-model-behavior/ — Gemma 3 の 270M〜27B の全層で学習した SAE とトランスコーダを公開。同社は、知る限り AI ラボによる解釈可能性ツールの公開として最大と書く。 ↩

  6. Anthropic「Golden Gate Claude」2024-05-23. https://www.anthropic.com/news/golden-gate-claude — 金門橋の特徴を強めたモデルの一時公開の告知。ほとんどの問いへの返答が、直接関係が無くても金門橋に触れるとする（すべての応答とは書いていない）。 ↩

  7. Zhengxuan Wu ほか「AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders」ICML 2025. https://arxiv.org/abs/2501.17148 — Gemma-2-2B/9B のステアリングで、プロンプトが全手法を上回り、微調整が次点、SAE は競争力が無い。 ↩

  8. Anthropic「On the Biology of a Large Language Model」Transformer Circuits, 2025. https://transformer-circuits.pub/2025/attribution-graphs/biology.html — クロス層トランスコーダの帰属グラフで Claude 3.5 Haiku の計算を辿る。満足な洞察は約4分の1のプロンプト、成功例でも機構のごく一部と書く。査読なし。 ↩ ↩2

  9. Anthropic「Mapping the mind of a large language model」2024-05-21. https://www.anthropic.com/news/mapping-mind-language-model — 見つかった特徴は概念のごく一部で、全部を取る計算量は学習を大きく超えるとする。ロンドンの自治区で特徴が見つかったのは約6割（本体レポート）。専用の特徴が無くても情報が無いとは限らない。 ↩

  10. Anthropic「Scaling Monosemanticity」の特異性の節, 2024. https://transformer-circuits.pub/2024/scaling-monosemanticity/ — 強い活性はほぼ金門橋への言及だが、弱まるほど特異性が落ち、近縁の観光名所・似た橋・記念建造物にも反応する。弱い活性でも特異性はある程度保たれるとも書く。 ↩ ↩2

  11. Kantamneni ほか「Are Sparse Autoencoders Useful? A Case Study in Sparse Probing」ICML 2025. https://arxiv.org/abs/2502.16681 — 難しい4条件の平均で SAE プローブはベースラインに劣る。他課題での有用性は否定しない。改良版の優位は単一トークンのベースライン比のみと割り引く。 ↩

  12. János Kramár ほか（Google DeepMind）「Building Production-Ready Probes For Gemini」2026. https://arxiv.org/abs/2601.11516 — サイバー悪用の検出プローブを評価し、Gemini の一般利用者向けの環境での悪用対策プローブの展開に生かされたと抄録が書く。展開は自己申告で仕様は非公開。 ↩

  13. Anthropic「System Card: Claude Sonnet 4.5」2025-09. https://assets.anthropic.com/m/12f214efcc2f457a/original/Claude-Sonnet-4-5-System-Card.pdf — §7.6 で学習途中のモデルに SAE を学習させ、評価だと気づく内部表現の強まりを調べた。その特徴などを抑えるステアリングで、一部の評価のアラインメント改善の一部はこの気づきによると示唆。最初の試みで、機構は未解明とする。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。