AI・信頼性・評価
EU AI法第50条の透明性義務が8月2日開始:表示義務と透かしの限界
- EU AI法
- 生成AI
- 第50条
- 行動規範
- C2PA
- 透かし
- AI Omnibus
- IndexMark
- BitMark
- Content Credentials
- 機械可読の印
- 透明性義務
- ディープフェイク
- 来歴
- 真正性
- 除去攻撃
- 偽造攻撃
- 編集管理
- 検知手段
- 移行期間
- 頑健さ
- 欧州委員会
- 市場監視当局
- AI Office
- 自己回帰型画像生成
- 公共的関心事項
- デプロイヤー
- タイムスタンプ
- 失効
目次
画像を生成するとき、人の目には見えない信号を出力に埋め込むことができる。この信号を透かし(ウォーターマーク)といい、検知器が読み取れば機械が作った画像だと分かる。別の方法として、いつ何が生成・編集したかを、暗号署名つきの来歴情報としてファイルに添付する業界標準もある。文章の場合は、公表する側が一言添える。法律はこうした「これは機械が作ったものです」という表示を求め、透かしやメタデータ、来歴を証明する暗号手法などを、印の付け方の例として前文に挙げた1。
ただし法が求めたのは、印を付けてその検知手段を用意し、その仕組みを有効で相互運用でき、頑健で信頼できるものにすることである1。印を付けよと定めることと、付いていない物を見つけられることは、同じではない。印は消せるかもしれないし、付いていない物に後から偽の印を足せるかもしれない。守らせる仕組みを整えても、印の無い物まで確かめる仕組みが自動で付いてくるわけではない。
制度が実際に動き出すと、表示させることと見つけられることの差は、現場の負担として現れる。作る側は何をどこに付ければ義務を果たしたことになるのか、受け取る側は付いていないものをどう扱えばよいのか。条文が求めていることと、技術が保証できることのあいだに隙間があるなら、その隙間がどういうものかを先に知っておいたほうがいい。
表示を義務づけることは、機械が作ったものを見分けられることを保証するのか。本稿は、制度の条文と、印の壊れ方の報告を突き合わせる。
2026年8月2日、EU AI法第50条の透明性義務が適用開始となった。AIシステムの提供者はAI生成物に機械可読の印を付けなければならず、公共的関心事項に関するAI生成テキストを公表する側には開示義務がかかる1。適合の道筋は二つある。欧州委員会が妥当と確認した行動規範に署名するか、妥当な代替手段で遵守を自分で示すかだ21。だが印を支える技術の側には、否定的な報告が続いている。ある研究は、自己回帰型画像生成向けの透かしが方式ごとに除去か偽造かのどちらかに破れると報告している3。独立の安全性分析は、出所証明の標準規格C2PAが掲げている安全性の目標を達成できていないとし、成熟した解決策ではなく発展途上の技術として扱うべきだと指摘している4。義務がかかるのは、印を付けて検知手段を渡す側である。法は印の頑健さを求めるが、それは技術的に可能な範囲に限られ1、印の無いものを見分けることまでは求めていない。
印を付けた出力と、印の無い本物を数える
※ この節の数値は説明のための仮定で、測定値ではありません。
ある画像生成サービスが1日に1,000枚を出力し、そのすべてに機械可読の印を付け、印を読む検知器も公開しているとする。提供者の側から見れば、印を付けることと検知手段を渡すことの両方を果たしている。
攻撃する者がいなければ、検知器は1,000枚すべてに「機械が作った」と答え、人が撮った写真には何も言わない。表示と検出がそろって働く。
攻撃する者がいる場合を考える。出力のうち100枚が再生成で印を消されて出回り、別に人が撮った写真50枚に、同じサービスの印が偽って足されたとする。検知器が「機械が作った」と答えるのは、印の残った900枚と、偽の印を付けられた50枚の計950枚になる。印を消された100枚は人の写真と見分けがつかず、偽の印を付けられた50枚の本物は、機械が作ったものとして扱われる。
二つの場合で、提供者が義務を果たしていることは変わらない。変わったのは検知器の答えがどこまで当てになるかで、それは印を付ける義務の側からは決まらない。
8月2日から何が要るのか
EU AI法(AI Act)は、EUにおいてAIシステムの開発・提供・利用に共通のルールを課す規則で、リスクの大きさに応じて義務の重さを変える構造を持つ。その中の第50条が、AIが関わることをどう示すかという透明性義務を定める条文だ。欧州委員会は2026年7月20日に指針を公表し、この第50条の適用が2026年8月2日から始まると明記した1。なお指針そのものは内容が承認された草案の段階にあり、欧州委員会は全言語版が揃った後に正式採択するとして、「適用されるのはその時点からである」と記している1。義務が8月2日から適用されること自体は、これとは独立にAI法第113条が定める。
猶予が全く無いわけではない。指針は、AI法を改正する規則(AI Omnibus)が第50条(2)の印と検知の義務についてのみ限定的な既得権規定を置くとし、2026年8月2日より前に市場に出された生成AIシステムの提供者には、2026年12月2日までに適合させる移行期間が与えられると記す1。この規定は改正規則(Regulation (EU) 2026/1744、2026年7月24日官報公布・同月27日発効)が第111条(4)として置いたものだ5。対話性と生成性を併せ持つシステムがこの猶予を使えるのは印の義務についてだけで、人と直接対話する場合の開示は8月2日から満たさなければならない1。指針はまた、8月2日より前に生成・改変されたコンテンツを遡って印付け・表示する必要はないとする一方、その日以後に公表されるテキストには表示が要るとしている1。
指針が挙げる対象は4分野に整理できる。提供者は、人と直接対話するAIシステムについて、利用者にAIであることを明示的に伝えなければならない。提供者はまた、AI生成物や改変されたコンテンツに、機械可読の印を付け、検知を可能にしなければならない。機械可読とは、人手を介さずソフトウェアが検知できる形式を指す。感情認識や生体分類を行うシステムの利用者(デプロイヤー)は、その使用を開示しなければならない。そしてディープフェイクと、人の編集管理を経ずに公開される公共的関心事項に関するAI生成テキストは、AIによるものだと明示しなければならない。ここでいうディープフェイクは、実在の人物・物体・場所・実体・出来事に似せ、本物と誤認させるAI生成・改変の音声・映像・画像を指す1。
このうち本稿が焦点を当てるのは二つ目、AI生成・改変コンテンツへの機械可読な印の要求だ。欧州委員会の文言は明確で、指針は提供者に「AI生成または改変されたコンテンツの検知を可能にする機械可読の印を付加する」ことを求めている1。提供者が負うのは、印を付けることと、その印を検知する手段を曝露されうる人に提供することの二つで、指針は片方だけでは義務を満たさないと明記する1。印と検知の技術には頑健さも求められ、指針はそれを、ありふれた加工と敵対的な攻撃の下でも自社の生成物を見分けられる能力と定義するが、この要求は技術的に可能な範囲に限られ、まだ開発されていない技術を使う義務は提供者に無い1。
適合の道筋は二つある
この義務をどう満たすかについて、欧州委員会は二つの道を示している。一つは「AI生成コンテンツの透明性に関する行動規範」への署名だ。この規範は2026年6月10日に最終版が公表された文書で、欺瞞や操作のリスクに対処し、情報環境の健全性を保つことを目的として作られた2。行動規範への署名は任意だが、根拠となる第50条の義務そのものは法的拘束力を持つ2。
規範の提供者向け部分は、音声・画像・映像・テキストのAI生成出力について「機械可読な形式で印を付け、人工的に生成または改変されたものとして検知可能にする」ことを求める2。欧州委員会はこの規範を「適合を示すための妥当な任意の手段」と位置づけており、署名した組織は行政上の負担軽減と法的な確実性を得られるとしている2。ただし規範自身は、準拠が義務充足の決定的な証拠になるわけではないと明記する2。2026年7月末の時点で、約190の企業・団体がこの規範に署名した2。開示をどう見せるかについても規範は具体的で、署名者は附属書1に収録されたEU共通アイコン、またはその設計と配置の要件に適合する同等のアイコン・ラベルによって開示を行うことを約束する2。
署名しない選択肢もある。ただしその場合、事業者は「妥当な代替手段(adequate alternative means)」によって第50条(2)・(4)・(5)の義務の遵守を示すことになる1。証明の相手は各国の市場監視当局で、自社の汎用AIモデルの上に作ったAIシステムの印の義務については欧州委員会のAI Officeになる1。市場監視当局は、AI法の遵守状況を監督し、是正を求める権限を持つ。指針が署名者の便益として挙げる「単純で、予見可能で、法的に確実な」適合証明の経路は、非署名者には開かれない1。とはいえ規範が無関係になるわけではない。指針は非署名者に対し、実施した措置を妥当と評価された行動規範の措置と突き合わせるギャップ分析を行うべきだとしており、規範の基準は署名しない側にとっても参照点として残る1。ここで引いた文言は指針本体のもので、委員会の解説ページは同じ経路を「同等に妥当な代替手段(alternative equivalently adequate means)」と要約している1。後段で扱う開示義務の例外も、規範の解説ページは「人によるレビュー」だけを挙げて「編集管理」を落としている2。法的要件の当てはめを論じるなら、ページの要約ではなく本体の文言、すなわち指針は C(2026) 5054 final の ANNEX、規範は2026年6月10日公表の最終版に当たる必要がある12。
人のレビューと編集責任による開示義務の例外
行動規範のもう一つの部分、利用者(デプロイヤー)向けの節には、テキストに関する重要な例外規定がある。ディープフェイクは開示しなければならない。公共的関心事項について国民に知らせるAI生成・改変テキストの公表も開示義務の対象だが、規範が掲げるAI法の法文は二つの免除事由を置く。一つは、犯罪の探知・防止・捜査・訴追のために法律で認められた利用である場合。もう一つは、「そのAI生成コンテンツが人によるレビューまたは編集管理の過程を経ており、かつ自然人または法人がその公表について編集上の責任を負っている場合」だ2。
後者が要求するのは二つだ。一つは、公表前に人によるレビューか編集管理のいずれかの工程が存在することだ。法文はこの要件を選言で書いている2。文言どおりに読めば、どちらか一方で足りることになる。指針はそのうえで、どちらの工程も中身を伴うものに限る。人によるレビューは、主題の知識を持つ人による内容の検討で、事実確認を最低限含む。編集管理は、編集責任者が内容を実質的な理由で承認・修正・却下できる権限を持って行う管理を指す1。綴りや文法の確認、編集方針があるだけの状態、自動のレビュー、形だけの承認ではこの要件を満たさず、承認の後にAIが内容に実質的に手を入れれば例外は失われる1。もう一つは、その文章について編集上の責任を負う自然人または法人が特定されていることだ。指針はこれを、レビューや編集管理を含めて公表に最終的な法的責任を負うことと読み、その者の身元と連絡先を見つけやすい場所で公開すべきだとする1。この二つの要件が揃っていれば、公共的関心事項に関するAI生成テキストであっても、この開示義務は生じないことになる。ただし個別の当てはめを決めるのは各国の市場監視当局であって、本稿の読みではない。なお、これは公表する側の開示義務の話で、生成システムの提供者に課された機械可読な印の義務を免じるものではない。公共的関心事項に関するAI生成テキストを公表する発行者にとって、免除の要件を満たしているかどうかは実務上の分岐点になる。
印は除去できるし、偽造もできる
機械可読な印という要求が前提にする技術について、2026年の研究は脆弱性を報告している。Müllerらは、自己回帰型画像生成における透かし(ウォーターマーク、生成物に埋め込まれた検知用の信号)の頑健性を調べた(2026年4月投稿・査読前のプレプリント)3。自己回帰型画像生成は、画像を一つずつ、あるいはブロックごとに逐次的に生成していく方式で、近年広がっている生成手法である。
著者らは「除去攻撃と偽造攻撃の両方に対する脆弱性を実証する」と報告し、「単一の透かし入り参照画像へのアクセスだけで、元のモデルのパラメータにも透かしの秘密にもアクセスすることなく、除去攻撃も偽造攻撃も有効になりうる」としている3。著者らが示した攻撃は三つある。ベクトル量子化による再生成を使った除去攻撃、敵対的最適化に基づく攻撃、そして周波数領域への注入攻撃だ3。
もう一つの手法が「透かしの模倣(Watermark Mimicry)」だ。これは、AIが関わっていない本物の画像を操作し、特定の生成器の透かしを模倣させるものである3。原典がこの手法に付けた目的は、検知器を誤作動させて本物の画像が将来の学習データに取り込まれないようにすることだ3。除去は生成物を検知から逃す方向の攻撃だが、模倣は逆を狙う。実在するコンテンツを、あたかも機械が生成したかのように見せかけられるということだ。原典は先行研究を引いて、透かしの偽造が「証拠の信用を毀損するために使われうる」ことも指摘している3。真正な素材にAI生成の印を付けられれば、印は真偽を判定する手段ではなく、真正性を否認するための道具になる。
ただし脆弱性の向きは方式ごとに違う。著者らは方式ごとに、除去攻撃には100枚の透かし入り画像を、偽造攻撃にはMS-COCOから採った100枚の透かしの無い画像を用い、透かしを正しく検証できた割合(TPR@FPR=1%)で結果を測っている3。透かし入りの原画像では評価した全方式が1.00を示すが、トークン単位で印を埋めるIndexMarkは、攻撃者がモデルの重みを持たない黒箱設定の再生成攻撃で0.03まで落ちる3。ビット単位で埋めるBitMarkは逆に、再生成系の除去攻撃を受けても検証できた割合がいずれも1.00のままで、印が消えるのは検証器の重みと秘密の集合まで手にした最強の攻撃者を仮定したときだけだ3。代わりにBitMarkは偽造に弱く、モデルへのアクセスを一切持たない周波数注入による偽造が最大0.93まで通る3。トークン方式への偽造は反対に、黒箱では10%を超えない3。つまり論文の結論は、トークン方式は除去できるが偽造は難しく、BitMarkは除去にきわめて頑健だが事情を知らない攻撃者の偽造には広く脆い、という相補的な形をとる3。著者らが評価した方式のうち、現実的な黒箱設定で除去と偽造の両方に破れたものは無い。現実の攻撃者がどの設定に置かれるかは、この論文からは決まらない。扱われたのも自己回帰型画像生成の透かしで、義務が同じくかかるテキスト向けの透かしや、拡散モデルによる画像生成は対象外である3。著者ら自身は「既存の自己回帰型画像生成向け透かし方式は、データセットのフィルタリング用途における合成コンテンツ検知を確実には支えない」と結論している3。
出所証明の規格C2PAも安全性目標を達成していない
機械可読の印を実装する候補の一つに、C2PAという業界標準がある。これはメディアファイルに、暗号署名された来歴情報(Content Credentials)を添付する仕組みで、いつ何によって生成・編集されたかを追跡可能にすることを目指す。AI法自体はC2PAの採用を義務付けてはいない。あくまで印の要求を満たしうる候補の一つという位置づけだ。規範のほうは、最新の技術水準で単一の技術が第50条(2)の四要件(有効性・相互運用性・頑健性・信頼性)を満たせないうちは、音声・画像・映像・コンテナ化されたテキストには署名済みメタデータと不可視透かしの少なくとも二層で印を付けることを署名者に求める2。そのうえで署名者は、印の複製・除去・再生成・改変の攻撃への頑健性を評価することになる2。規範はまた、印の二層とは別に、内容が自社のAIシステムで生成・改変されたかを照合できるフィンガープリントやログを任意の補助策として挙げるが、それだけでは第50条(2)の品質要件を満たすとはみなさない2。本稿が引く二本の報告は、この二層の一層ずつを別々に測ったものだ。
Golaszewskiらは、C2PA仕様に対する初の包括的かつ独立の安全性分析を行い、その中に「C2PAの中核プロトコルに対する初めての形式手法による分析」を含むとしている(2026年4月投稿・査読前)4。ただしこの文書は詳細な技術研究の要約として書かれた短い非技術ホワイトペーパーで、形式手法による分析そのものは収録されていない4。「現行のC2PA仕様は、主張している安全性の目標を達成できていない」うえ、信頼できる運用のためにこの種の来歴システムすべてが必要とする「追加の主要な目標」も達成できていないという4。仕様が自ら掲げる目標は、来歴情報の改竄を準拠バリデータが検知できることと、ファイルの一部のビットの改変を検知できることの二つである。著者らはこれに、生成側と検証側でタイムスタンプが一致すること、準拠バリデータ同士の判定が一致すること、ファイルのどのビットの改変も検知できることの三つを加えるべきだとする4。
論文は仕様のバージョン2.2〜2.4について、脆弱性を6点に整理する4。タイムスタンプは署名に暗号的に束縛されておらず、差し替えても検出されない。失効した証明書の確認は準拠バリデータに義務づけられておらず、失効した鍵がそのまま通る。準拠したツール同士が、同じファイルに矛盾する判定を返す。「除外範囲」に置かれたバイト列は、署名を壊さずに改変できる。証明書が期限切れになれば、署名済みメディアは検証できなくなる。そして適合認証はおおむね自己申告に基づき、製品の機能やソースコードの検査を伴わない4。著者らが挙げた例はいずれも、実機と実在のツールで確かめられたものだ。Nikon Z6 IIIでは、第三者がそのカメラでAI生成画像に署名してみせた。2025年11月にNikonがこのカメラの証明書を失効させたが、半年を過ぎてもAdobe Inspectはその署名を有効と表示し、Verifiedditは無効と表示する。どちらのツールも、失効そのものは報告しない4。Pixel 10 Proで撮影した画像では、除外範囲に置かれたGPS情報を書き換えても、準拠バリデータのProofmode Verifyが改変を検出しない4。アリゾナ州務長官のC2PA試行計画で配布された画像は、ファイルが変わっていないのに1年後には検証に通らなくなった4。
著者らはこう警告する。C2PAは「時期尚早に依拠すれば、利用者・プラットフォーム・政策立案者を誤導しうる」ものであり、「財務開示・報道・法的証拠のような高い水準が求められる用途では、まだ依拠すべきではない」4。もっとも、評価は全否定ではない。同じ一文は「C2PAは有望な考えだが」と始まり、結論は「政策立案者はC2PAを、成熟した解決策ではなく発展途上の技術として見るべきだ」と述べる4。Pixel 10 Proと仕様のバージョン2.3(2026年1月)は著者らの提言の一部を取り入れたが、2.4(2026年4月)は懸念のいずれにも対応していないという4。ただしこの分析が判定しているのはC2PAという一つの来歴標準の現行仕様で、著者らは残る提言が後続の仕様版と将来のバリデータで実装されることを期待し、C2PAが「いずれ広く採用される有用な道具になりうる」とも書いている4。そのうえで著者らは、印が何を示すかについて「来歴(provenance)はファイルの履歴を記述するものであり、真正性(authenticity)は、たとえばその内容が現実の出来事を正しく表しているかに関わる。C2PAが提供するのは来歴の信号であって、真正性の証明ではない」と明示している4。
出典5件
-
欧州委員会「Guidelines on transparency obligations for providers and deployers of certain AI systems」2026. https://ec.europa.eu/newsroom/dae/redirection/document/131215 — 第50条の解釈指針。8月2日から適用し、既存システムの印付けは12月2日まで猶予、頑健さは技術的に可能な範囲で求める。 https://digital-strategy.ec.europa.eu/en/policies/guidelines-ai-transparency-obligations https://ec.europa.eu/newsroom/dae/redirection/document/131214 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11 ↩12 ↩13 ↩14 ↩15 ↩16 ↩17 ↩18 ↩19 ↩20 ↩21 ↩22 ↩23
-
欧州委員会「Code of Practice on Transparency of AI-generated Content」2026. https://ec.europa.eu/newsroom/dae/redirection/document/129555 — 第50条への適合を示す任意の規範。二層の印と攻撃への頑健性評価、編集責任による開示の除外を定め、2026年7月末で約190の企業・団体が署名した。 https://digital-strategy.ec.europa.eu/en/policies/code-practice-ai-generated-content ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11 ↩12 ↩13 ↩14 ↩15
-
A. Müller ほか「On the Robustness of Watermarking for Autoregressive Image Generation」arXiv, 2026. https://arxiv.org/abs/2604.11720 — 査読前。トークン方式は除去に、BitMarkは偽造に破れ、単一の参照画像で攻撃が成立しうると報告する。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11 ↩12 ↩13 ↩14 ↩15
-
E. Golaszewski ほか「Verifying Provenance of Digital Media: Why the C2PA Specifications Fall Short」arXiv, 2026. https://arxiv.org/abs/2604.24890 — 査読前の非技術ホワイトペーパー。仕様2.2〜2.4は掲げた安全性目標を達成しないとする。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11 ↩12 ↩13 ↩14 ↩15
-
「Regulation (EU) 2026/1744 (Digital Omnibus on AI)」OJ L, 2026. https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:32026R1744 — AI法に第111条(4)を加え、8月2日前に市場に出た生成AIシステムの第50条(2)への適合を12月2日まで猶予する。7月27日発効。 ↩
この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。