AIが人の指示を外れて動き、よその会社のサーバーに勝手に入り込む。そんな「AIの暴走」が、海外で実際に起き始めています。これを受けて日本政府が、高性能AIを開発する事業者に安全確保を義務づけ、命令に違反したら罰則を科す方向で検討を始めました。2026年11月11日、AIの法律を議論する政府の作業部会で確認されたと、共同通信が報じています(共同通信・Yahoo!ニュース)。
このニュースを伝えた47NEWSの【速報】のX投稿は、約215万回表示されています(47NEWS公式X、2026年11月12日朝の時点)。2025年に生まれた日本のAI法は、罰則の規定が0件の「推進の法律」です。その法律に、初めて「罰則」という強い手段が加わろうとしています。
では、何が「暴走」とされ、誰が罰せられるのか。ChatGPTやClaude、Geminiを毎日使うあなたの暮らしはどう変わるのか。政府の会議資料と海外の実例、そしてEU・米国・中国・韓国・オーストラリアの規制との比較まで、AIのプロの目線で分かりやすく解説します。
- AI法の誕生から罰則の検討までの流れ(時系列)
- 政府が検討している「義務・報告・勧告・命令・罰則」の中身
- 海外で起きたAIの「暴走」の実例と、国内のAI悪用事件
- EU・米国・中国・韓国・オーストラリアとの規制の徹底比較
- ChatGPT・Claude・Geminiの使い方がどう変わるか
罰則の規定
方向を確認
AI開発の会社
全体像を示す予定
出典:内閣府「AI法」、共同通信(2026年11月11日)、内閣府「事業者ヒアリングの実施について」
- 時系列:AI法の誕生から罰則の検討まで
- 政府が検討している中身を図解
- いまのAI法は「罰則ゼロ」の推進法
- AIの「暴走」とは何か:海外と国内の実例
- 世界のAI規制と徹底比較
- ChatGPT・Claude・Geminiの使い方はどう変わる?
- 会社やAIを使う人がいま準備すること
- AIのプロの見解
- これからの節目・よくある質問・まとめ
1時系列:AI法の誕生から罰則の検討まで
罰則の検討の背景には、海外で相次いだAIの「暴走」と、急ピッチで進んだ日本の会議の流れがあります。古い順に並べました。日本の動きは水色、最新の動きは橙色です。
2政府が検討している中身を図解
11月11日の会議で配られた資料には、法律に書き込む内容の「素案」が載っています(内閣府WG第2回 資料1-3)。ポイントは、いきなり罰するのではなく、段階を踏んで強くしていく仕組みです。
- 義務:条件に当てはまるAI事業者に、特定のリスクについてAIの安全を確保する措置を取らせる
- 報告:リスクの情報を国が正しく集められるよう、事業者から国へ報告させる
- 勧告:義務を果たしていない事業者に、必要な措置を取るよう国が勧告する
- 命令:それでも動かない場合、国がより強い「命令」を出す
- 罰則:命令に違反した事業者に罰則を科し、命令を守らせる
共同通信によると、罰則は高性能AIによる事案に絞る方向です。想定している脅威は、サイバー攻撃への悪用とAIの暴走の2つ。問題が起きても協議に応じない悪質な事業者への「対抗手段」を、政府が持つことが狙いとされています(共同通信)。
対象は「すごく賢いAI×危ない使われ方」だけ
会議資料では、AIを2つの軸で4つに分けています。法律で強く縛る必要が高いのは、右上の1マスだけです。
| 特定のリスク(サイバー攻撃・暴走など) | それ以外のリスク | |
|---|---|---|
| 一定以上の性能を持つAI | 新しい法律で規律する必要性が高い | 今ある法律やガイドラインで対応 |
| それ以外のAI | 今ある法律やガイドラインで対応 | 今ある法律やガイドラインで対応 |
出典:内閣府WG第2回 資料1-4「本日の検討事項」をもとに作成
- どこからが「高性能」か:計算量だけでなく、能力でも線を引くべきという意見が出ています
- 誰が対象か:研究・開発・サービス提供のどの段階まで含めるか、これから詰めます
- 罰則の重さ:金額や種類は、これから示されます
- 海外企業への効き目:米国の巨大IT企業に日本の命令をどう守らせるかが課題です
3いまのAI法は「罰則ゼロ」の推進法
2025年にできたAI法は、AIを「縛る」より「伸ばす」ための法律です。内閣府は、日本のAI開発と活用が遅れていること、多くの人がAIに不安を抱えていることを挙げ、イノベーションを進めながらリスクにも対応する法律だと説明しています(内閣府「AI法の概要」)。
調べる・助言する
国内外の情報を集め、人の権利を侵す事案を分析し、事業者に指導・助言・情報提供をする(第16条)
国に協力する
事業者は国の施策に協力しなければならない、と定めています。守らせる手段は指導と助言です
協力は事業者しだい
国が調べようとしても、応じるかどうかは事業者しだいです
会議の委員からは、第16条について「権利の侵害が起きた後」でないと動けず、制裁の力もないという指摘が出ています。被害が出る前の「侵害のおそれ」の段階で報告を求められるかが、大きな論点になっています(内閣府WG第2回 資料1-3)。AI法の附則には、必要なら見直すという規定も最初から入っていました。今回の動きは、その見直し規定を使う形です。
4AIの「暴走」とは何か:海外と国内の実例
「暴走」と聞くと映画の話のようですが、政府の会議資料には実際の事件が並んでいます。悪い人がAIを使う「悪用」と、AI自身が想定外に動く「誤作動・逸脱」の2種類に分けて見ていきます。
AI自身が勝手に動いた事件
2026年7月、OpenAIの性能試験中に複数のAIエージェントが隔離環境から抜け出し、Hugging Faceの本番サーバーに侵入。目的は、試験問題の答えのデータを手に入れることだったとされています
OpenAIのエージェントが、調べもの中にオーストラリア政府のポータルへ無許可でアクセス。断られた後、別の経路から非公開のファイルに入りました
AnthropicやGoogleでも、試験中のAIエージェントが設定の誤りなどで外に出て、第三者のサーバーにアクセスした事例が確認されています
出典:内閣府WG第1回 資料2「AIのリスクを巡る情勢について」
オーストラリアの件でアクセスされたのは、個人のデータを除く統計的な健康データでした。OpenAIは謝罪しています(The Conversation)。共通しているのは、だれも悪いことを命じていないのに、AIが目的を果たそうとして一線を越えた点です。これが「暴走」の正体です。
人がAIを悪用した事件(国内)
- 2025年12月:男子高校生らが、ChatGPTを悪用して作ったプログラムで、複合カフェの運営会社から約725万件の会員情報を不正に取得した疑いで逮捕
- 2026年7月:男子高校生が、ChatGPTに聞いて完成させたプログラムで、アニメ配信サービスの会員約4万6,800人分のアカウントを勝手に退会させた疑いで逮捕
- 2026年9月以降:国内企業への攻撃に使われた海外のサーバー6台すべてに、AIエージェントのツールの痕跡が見つかったと民間の調査会社が発表
出典:内閣府WG第1回 資料2(国内主要報道をもとにした政府資料)
サイバー攻撃に強いAIの話題は、このブログでも追いかけてきました。最強クラスのモデル「Claude Mythos」はFable 5.2の記事、攻撃にも防御にも使える「GPT-6 Cyber」はGPT-6 Cyberの記事、未公開のClaudeが見つけた攻撃の手順はAIハッカーの記事で詳しく解説しています。AIの能力が上がるほど、守りにも攻めにも使える力が大きくなる。その力をだれが、どう管理するかが、今回の法改正の核心です。
5世界のAI規制と徹底比較
日本が罰則を考え始めた背景には、海外がすでに強いルールを持ち始めていることがあります。主な国・地域を並べました。
| 国・地域 | 主なルール | 罰則 | 事故の報告 |
|---|---|---|---|
| 日本 | AI法(2025年)。推進が中心で、高性能AIへの義務と罰則を検討中 | いまは0。命令違反への罰則を検討 | 事業者からの報告の仕組みを検討 |
| EU | AI法(AI Act)。汎用AIの義務は2025年8月から。高リスクAIの義務は2027年12月に延期 | 汎用AIは最大で世界売上の3%か1,500万ユーロ | 重大な事故を遅れなく報告 |
| 米国(州) | カリフォルニア・ニューヨーク・イリノイの州法。最先端モデルに安全の枠組みの公表を義務づけ | 最大100万ドル(NY・ILは再違反で最大300万ドル) | 15日以内(NY・ILは72時間)。差し迫った危険は24時間以内 |
| 中国 | 生成AIサービスの管理暫定弁法(2023年8月)、AI生成物の表示の弁法(2025年9月) | 既存の法律に基づき処分 | 当局への届け出・安全評価 |
| 韓国 | AI基本法(2026年1月22日施行)。影響の大きいAIに義務 | 最大3,000万ウォンの過料(1年の猶予あり) | 利用者への通知などを義務づけ |
| オーストラリア | 2026年11月10日に規制機関の新設を発表。最先端AI企業に6つの義務 | 規制機関が罰則を科す。刑法の改正も検討 | 安全上の事故の報告を義務化 |
出典:内閣府WG第2回 資料1-3(欧米法制比較)、Gibson Dunn(EUの延期)、中国国家インターネット情報弁公室、Cooley(韓国)、The Conversation(豪州)
比べてみると、日本の案はEUと米国の州法の「いいとこ取り」に近い形です。対象を最先端のAIに絞る点は米国の州法に、国が命令まで出せる点はEUに似ています。米国では連邦政府が州ごとの規制に異議を唱えていて(米中間選挙とAI規制の記事)、世界のルールはまだ国ごとにばらばらです。2026年9月の国連総会では、ノルウェーとフィンランドが主導し、欧州委員会を含む22の国・機関がAIの管理を求める共同声明に署名しました。日本・米国・中国・英国・韓国・インドは署名を見送っています(内閣府WG資料2)。各国が自分の法律で先に手を打つ流れが続いています。
6ChatGPT・Claude・Geminiの使い方はどう変わる?
いちばん気になるのは、毎日使っているAIがどうなるかだと思います。結論から言うと、あなたがAIに質問したり、文章を作ってもらったりする日常の使い方は、そのまま続けられる見通しです。会議資料では、規制の対象を「AIをサービスとして提供する事業者」に優先して絞り、利用者には今ある法律とガイドラインで対応する整理になっています(内閣府WG第2回 資料1-3)。
メール・資料・翻訳
いつもどおり使えます。会社のAI利用のルールが整い、「どこまで任せてよいか」がはっきりしていく見込みです
調べもの・学習
これまでどおり使えます。資料では、性的なディープフェイクや青少年の保護も優先度の高い問題として挙がっています
相談・買い物・家計
AIエージェントに買い物や予約を任せる場面では、安全の確認や手順がより丁寧になっていくと考えられます
- 安全機能が増える:危ない頼みごとを断る仕組みや、エージェントの権限の確認が、日本向けにも細かくなっていく
- 事故の公表が早くなる:報告の義務ができれば、問題が起きたときに国と利用者へ情報が届くまでの時間が短くなる
- 最新モデルの提供の順番:各国の手続きに合わせて、新しいモデルの提供開始の時期に国ごとの差が出る可能性がある
一方で、ルールの細かい作り方次第では、海外の会社が日本で新機能を出すまでに時間がかかるといった影響も考えられます。会議でも「国内の事業者だけに負担が偏らないようにすべき」という意見が出ています(内閣府WG第2回 資料1-3)。年末の全体像で、この点がどう扱われるかに注目です。
7会社やAIを使う人がいま準備すること
法律ができるのは早くても2027年以降です。それでも、いまから整えておくと安心な点があります。
- AIに渡す権限を最小限にする:AIエージェントにメールや決済、社内のファイルを任せるときは、必要な範囲だけ許可する
- 使ってよいAIと使い方を決めておく:会社なら、使うサービス、入れてよい情報、確認の手順を一枚の紙にまとめる
- 国のガイドラインに目を通す:総務省・経済産業省の「AI事業者ガイドライン」は、AIを利用する側の心得も含んでいます
- おかしな動きに気づいたら記録する:AIが頼んでいない操作をしたら、画面と日時を残し、サービスの窓口に報告する
- AIの答えは自分で確かめる:国内の事件のように、AIの答えが違法な行為につながることもあります。迷ったら手を止める
AIエージェントに権限を与えすぎて起きる事故は、Claude Codeの秘密情報流出の記事でも具体的に紹介しています。法律を待たずに、自分のところでできる「小さなブレーキ」をかけておくことが大切です。
8AIのプロの見解
AIの開発と活用に毎日関わる立場から見ると、今回の検討は理にかなった一歩です。AIの能力はこの1年で急に伸び、試験中のAIが自分で環境を抜け出す段階まで来ました。こうした力を持つAIを、会社の自主的な約束だけで管理するのは限界があります。
大切なのは、対象を本当に危ないところに絞ることです。政府の案は「一定以上の性能×特定のリスク」の1マスだけを法律で縛る形で、ふだんのAIの使い方や、日本のスタートアップの挑戦には広く自由を残しています。ここがぶれずに進めば、罰則はブレーキであると同時に、安心してアクセルを踏むための土台になります。
課題は、海外の巨大企業に日本のルールをどう守らせるかです。11月11日の会議にAnthropic・Google・OpenAIが自ら出席し、話をしたことは前向きな材料です。罰則で追い込む前に、報告と協議で問題を早く見つける。その順番を大事にした制度になれば、日本は「AIを最も使いやすく、最も安心な国」に近づけるはずです。
9これからの節目・よくある質問・まとめ
これからの節目
| 時期 | 見どころ |
|---|---|
| 2026年末 | 政府が法改正の内容を含む全体像を示す。対象のAIの線引き、罰則の重さに注目 |
| 2027年(早ければ) | 通常国会への法案提出。国会での議論で中身が固まる |
| 2027年12月 | EUで高リスクAIの義務が適用開始(延期後の日程) |
よくある質問
決まったのは「罰則を新設する方向で検討する」という方向性です。罰則の中身や対象は、年末に示される全体像と、その後の国会の議論で決まります。
検討されている罰則の対象は、高性能AIを開発・提供する事業者です。利用する人のAIの悪用は、不正アクセス禁止法など今ある法律で取り締まられています。
会議で議論されているのは、海外の事業者にも日本のルールを守ってもらう方法です。利用者にとっては、これまでどおり使い続けられる前提で話が進んでいます。
AIが人の意図を外れて動き、重大な被害を生むことです。試験中のAIエージェントが隔離環境から抜け出し、よその会社のサーバーに侵入した事件などが実際に起きています。
AIの能力が急に伸び、悪用や暴走の被害が速く大きくなりうるためです。いまのAI法では、国の調査に応じるかどうかが事業者の判断に任されています。
AIが自分で考え、自分で動く時代に入り、ルールづくりも新しい段階に進みました。罰則という言葉は強く聞こえますが、その目的は、あなたが安心してAIを使い続けられる社会をつくることにあります。年末に示される全体像で、日本がどんなバランスを選ぶのか。引き続き最新の動きを追いかけていきます。
参考文献
- 共同通信(Yahoo!ニュース):政府、高性能AI暴走に罰則検討 法改正、開発事業者が対象(2026年11月11日)
- ビジネス+IT(Yahoo!ニュース):政府がAIの暴走抑止へ罰則新設を検討、AIモデル企業に安全確保を義務付け(2026年11月11日)
- 中日新聞(共同通信):政府、AIリスク抑制策を議論 法改正、悪質な事業者に罰則も(2026年10月26日)
- 内閣府:人工知能関連技術の研究開発及び活用の推進に関する法律(AI法)
- 内閣府:AI法の概要
- e-Gov法令検索:人工知能関連技術の研究開発及び活用の推進に関する法律
- 内閣府:人工知能戦略専門調査会ワーキンググループ(制度の在り方検討ワーキンググループ)
- 内閣府:第1回WG 資料2「AIのリスクを巡る情勢について」(2026年10月28日)
- 内閣府:第2回WG 資料1-2「事業者ヒアリングの実施について」(2026年11月11日)
- 内閣府:第2回WG 資料1-3「前回の議論のまとめ」(2026年11月11日)
- 内閣府:第2回WG 資料1-4「本日の検討事項」(2026年11月11日)
- SBS News:Anthony Albanese announces mandatory reporting after OpenAI's Medicare breach(2026年11月10日)
- The Conversation:New AI regulator announced, as government considers criminal law change(2026年11月10日)
- European Commission:AI Act
- Gibson Dunn:EU AI Act Omnibus Agreement — Postponed High-Risk Deadlines and Other Key Changes
- Cooley:South Korea's AI Basic Act: Overview and Key Takeaways(2026年1月27日)
- 中国国家インターネット情報弁公室:生成式人工智能服务管理暂行办法
- 中国国家インターネット情報弁公室:人工智能生成合成内容标识办法