AIエージェントに業務を任せる話になると、「いざとなったら止められるようにしておく」という一言で議論が先へ進むことがあります。ところが、止めるのはエージェント1体なのか、つながっている外部のツールまでなのか。止めると判断するのは誰で、何を見てその判断をするのか。この部分は、多くの場合あとで決めることになっています。デジタル庁の検討会で2026年9月に交わされたやり取りは、ちょうどこの部分を扱っていました。
この記事の要点
- デジタル庁の検討会で、AIエージェントのキルスイッチは「どこまで止まるか、誰が止めるか」を決めておかないと運用時に判断が難しくなる、との指摘があった
- 事務局は、MCPなどのゲートウェイを一元管理し、必要に応じて遮断できる仕組みが基準になるとの考えを示した
- あわせて検討事項案は、エージェントに一意のIDを割り振り、使うツールやMCPサーバを一覧にして、停止や廃止まで管理することを挙げている
政府のAI調達ガイドラインを見直す議論
デジタル庁は2026年9月29日、第6回「先進的AI利活用アドバイザリーボード」を開きました。議題の一つが、各府省庁が生成AIを調達し使うときのガイドラインを充実させるための検討事項案（資料6）です。会議の議事要旨は、10月28日に会議のページへ掲載されています。
検討事項案は、AIエージェントへの対応を大きな柱の一つにしています。背景として書かれているのは、一定の自律性を持ってタスクを実行するエージェントでは、職員の判断を必須にすると本来の利点を損なうおそれがある一方、判断を介さずに実行すると意図しない動作で重大な損害が生じる可能性もある、という板挟みです。
ここで扱うのは行政機関向けのガイドラインを充実させるための「検討事項の案」で、決まった規則ではありません。それでも、エージェントを業務で動かそうとしている企業にとって、論点の並べ方はそのまま参考になります。
「どこまで止まるか、誰が止めるか」
議事要旨によると、構成員の一人は、AIエージェントが付与された権限を逸脱したり、目標を上書きしたりするなど、意図しない行動をとる可能性があると指摘しました。そのうえで、キルスイッチの必要性について説明があったが、どこまで止まるか、誰が止めるかを定めておかなければ、実際の運用時に判断が困難になる可能性がある、と述べています。
これに対して事務局は、キルスイッチはエージェントの統制に関わる論点だとしたうえで、次のような考えを示しました。
- 止める場所: 業界で事実上の運用として進みつつある、MCPなどのゲートウェイを一元管理し、必要に応じて遮断が可能になるような仕組みが基準になる
- 止める判断: 人による確認に加え、動的な稼働状況のモニタリングを行い、リスクの兆候が確認された場合に一時停止して様子を見る、という運用も考えられる
- 止めた後: 停止後の復旧手続きなどは、可用性が高いシステムを運用する場合に必要な機能
一方で事務局は、各府省庁の利用状況を見ると、現時点で高度な自律性を持つAIの利用事例は限られており、必要性を踏まえて導入を検討したい、とも述べています。止める仕組みは、自律性の高いエージェントを入れる前に考えておく論点として扱われています。
検討事項案が並べた管理の項目
資料6には、エージェントを止める場面につながる項目が、いくつかの節に分かれて書かれています。
- 一覧と停止までの管理: AIエージェント等に一意のIDを割り振り、使用ツールやMCPサーバ等を一覧化したうえで、登録、承認、配布、公開、停止、廃止といった管理を行えるようポリシーを作成する
- 残っているエージェントの確認: 利用状況や管理責任者を定期的に確認し、未承認のもの、不要になったものが残らないようにする
- 脆弱性が分かったときの特定: 影響を受けるエージェントを迅速に特定し、停止または改修できる体制を整える
- 取り返しのつかない操作: 送金処理や外部への情報送信など不可逆性の高いタスクでは、職員による判断を挟むか、実行状況を監視して必要に応じ停止する仕組みを組み込む
- 外から入ってくる情報: 外部由来の情報を扱う場合は、実行権限のリスクに応じてサンドボックス環境での実行などを求める
背景の欄には、所管部門、最終責任者、承認権限、停止判断、インシデント報告などが曖昧だと、問題が起きたときに統制できず、説明責任も果たせなくなるおそれがある、と書かれています。業務で動いているエージェントの利用状況を把握できていなければ、脆弱性が判明しても適切に対応できない、という例も添えられています。止める仕組みは、何が動いているかの一覧があって初めて使える、という順番です。
人による確認についても、過度な確認要求は効率を損なうだけでなく、内容を十分見ずに機械的に承認する「承認疲れ」で統制が形骸化するおそれがある、と注意が書かれています。
全部のエージェントに同じ管理を求めるのか
会議では、運用の現実性についての指摘も出ています。経団連での議論にも触れた構成員は、エージェントにIDを付与し、使用ツールやMCPサーバなどを一覧化して管理するという記載について、エージェントの特性上、それらを継続的に把握・管理できるのかという論点がある、と述べました。
事務局は、AIエージェントといってもその範囲は広く、全てのエージェントにID付与やサンドボックスを求めることは想定していないと答えています。必須の対応事項を共通事項としつつ、自律性や権限などを踏まえて、個々のリスクに応じた対応が必要だという整理です。検討事項案も、対応事項を「共通事項」「リスク条件に応じた必要事項」「ベストプラクティス」に分ける案を示しています。
別の構成員からは、稼働を続けると判断したあとに脆弱性が表に出た場合に備えて、企業や府省庁の判断について一定の証跡を残す必要がある、という指摘もありました。止めなかった判断も、記録の対象になるということです。
企業でエージェントを動かすときに先に決めること
ここからは当社による置き換えです。会議の論点を、社内でエージェントを動かす場合の準備に並べ直すと、次の4つになります。
- 何が動いているかの一覧: どのエージェントが、誰の権限で、どの外部ツールやMCPサーバにつながっているか。社員が個人で入れたものも含めて把握できているか
- 止める範囲の単位: エージェント1体を止めるのか、特定の接続先だけを切るのか、全体を止めるのか。ゲートウェイのように通信が集まる場所があれば、そこで切れる単位が決まる
- 止める人と、その目安: 誰が止めてよいか、夜間や休日は誰か。どんな兆候が見えたら一時停止するか
- 戻す手順と記録: 止めたあと、何を確かめてから再開するか。止めた判断と止めなかった判断を、誰が何を見て決めたかとして残すか
1がないまま2から4を決めることはできません。エージェントが社員それぞれのPCで、それぞれの接続先につながって動いている状態では、「どこで止めるか」に会社として一つの答えを返せないためです。
止める場所を設計する
当社のセキュリティFDEでは、FDE（伴走エンジニア）が、AIを業務で使うときの守りをお客様の環境に合わせて組み上げます。上の4つのうち、どこから手を付けるかの段階からご相談いただけます。ネットワークの側で止める場所としては、AIの出口制御と通信制御を行う透過型UTM「ForceUTM」も扱っています。
参考資料
AIエージェントを止める場所を決める
社内で動いているAIエージェントの接続先の洗い出しや、止める判断の手順づくりについてご相談ください。
AIセキュリティの取り組みはAIセキュリティのサイトでご覧いただけます。
まずは相談する相談無料・