AIを業務に入れるとき、発注書や社内の企画書には「問い合わせを正しく分類すること」「精度90%以上」といった一行が書かれます。従来のシステムなら、それで足りました。同じ入力には同じ出力が返るからです。AIはそうではなく、似た入力でも出力が変わり、残りの10%で何が起きるかは、その一行からは分かりません。IPAが2026年11月5日に公開した「AI時代の要求管理ハンドブック」は、この残りの部分を、導入前に文章で決めておく対象として扱っています。
この記事の要点
- IPA「AI時代の要求管理ハンドブック」Ver.1.0.0(2026年11月5日公開)は、「AIは正しく分類すること」「精度90%以上で回答すること」といった単純な記述のみでは要件として不十分だとしている
- ハンドブックは、AIの不確実性について確かめる観点を10個挙げ、確信が持てないとき、入力が想定外のとき、誤りが疑われるときに安全側に倒す動きを、要件として定めるよう求めている
- 既製の生成AIを業務で直接使う場合でも、繰り返し使うプロンプトは業務手順と同じように共有・評価・更新できる状態に置く、という整理も示されている
「正しく分類すること」では要件にならない
ハンドブックは全5部の構成で、第2部が「AI時代に要求管理はどう変わるか」です。その中の5.3節「AIシステムにおける不確実性を要件として定義する」が、この記事で読む部分です。
節の出発点は、従来のソフトウェアとの違いです。従来の要件定義は、多くの場合、システムが決定論的に動くことを前提にしてきました。同じ入力に同じ処理を行い、同じ出力を返すという前提です。機械学習や生成AIを使うシステムは確率的に振る舞い、入力が似ていても出力が変わることがあります。学習データ、モデル、プロンプト、参照する文書、利用環境、外部サービスの更新によって、出力の品質やリスクが変わることもある、とハンドブックは書いています。
そのうえで、「AIは正しく分類すること」「精度90%以上で回答すること」といった単純な記述のみでは不十分である、と述べています。求められているのは、どの程度の確率で、どの範囲で、どの条件において、どのような振る舞いを期待するのかを定めることです。さらに、AIが十分な確信を持てない場合、誤りが疑われる場合、想定外の入力が与えられた場合に、どう安全側に倒すのかも要件として定めなければならない、としています。
確かめる観点は10個ある
ハンドブックは、不確実性に関する要件で少なくとも確かめる観点を、表にまとめています(表19)。
- 精度: どの評価データで、どの指標を、どの水準以上にするか
- 信頼区間: 評価結果のばらつきや不確かさをどう扱うか
- 確信度: AIが自分の出力にどの程度自信を持っているかをどう扱うか
- 誤分類: 誤りが起きた場合、どの種類の誤りを特に避けるべきか
- ハルシネーション: 事実と異なる出力が起きた場合、どう検知・抑制・対応するか
- 想定外の入力(OOD)への対応: 想定していない入力に対してどう振る舞うか
- フェイルセーフ: AIが迷った場合、安全側に倒す仕組みがあるか
- 人間へのエスカレーション: AIのみで判断せず、人間に確認させる条件は何か
- 継続的評価: 運用後に性能の劣化やリスクの変化をどう確かめるか
- 再評価条件: モデル、データ、プロンプト、業務条件が変わった場合に再評価するか
10個のうち、製品の性能表から読み取れるのは最初の精度くらいです。残りは、使う側の業務を知らなければ決められません。どの誤りを特に避けたいか、どの条件で人に回すかは、導入する会社が答える問いです。
問い合わせの分類を例にすると
ハンドブックは、問い合わせを分類するAIを例に、要件の書き方を示しています。ルールで振り分けるシステムなら、「件名に『請求書』を含む場合は経理部門に振り分ける」と書けます。AIで内容から分類する場合は、表現の揺れや想定外の入力で誤分類が起きうるため、次のように書くことが考えられる、としています。
- 評価用のデータセットに対して、主要な分類ごとの再現率が90%以上となることを月次で評価する
- 分類の確信度が一定の値を下回る場合、自動で分類せず、担当者の確認に回す
- 苦情、障害報告、法的な問い合わせなど高リスクの分類は、人間による確認を必須とする
- 分類できないと判断した問い合わせは、「その他」に自動で入れるのではなく、未分類として管理し、分類ルールや学習データの改善の対象とする
- 運用中に新しい傾向の問い合わせが増えた場合、分類の体系を見直す
同じ「90%」という数字が入っていますが、最初の一行とは意味が違います。どのデータで、どの単位で、どの頻度で測るかが決まっており、届かなかった問い合わせの行き先も決まっています。ハンドブックは、こう書くことで、AIの性能を単一の平均精度だけで評価するのではなく、分類ごとのリスク、確信度、人間の関与、運用後の改善まで含めて管理できる、としています。
AIが迷ったときの振る舞いを決める
節の中でハンドブックが「特に重要」としているのが、AIが迷ったときにどう振る舞うかを要件として定めることです。人間なら、自信がないときは上司や専門家に確かめ、回答を保留し、追加の情報を求めます。AIにも同じように、無理に回答や判断をさせず、安全な動作を選ばせる、という考え方です。要件にする例として、次の8つが挙がっています(表20)。
- 確信度が低い: 自動で処理せず、人間の確認に回す
- 入力が不十分: 追加の情報を求める
- 入力が想定外: 処理を停止し、例外として記録する
- 高リスクの業務: AIの出力を参考情報に限り、最終判断は人間が行う
- 根拠が不明: 回答を生成せず、参照資料が不足していることを表示する
- 複数の解釈がある: 候補と前提条件を示し、人間に選ばせる
- ハルシネーションの可能性: 原資料との照合を必須にする
- セキュリティ上の疑義: 応答を拒否し、ログを記録する
生成AIを使った社内の問い合わせシステムについては、承認済みの文書に根拠を確認できない場合は推測で回答しない、回答の根拠となる社内規則やマニュアルの名称と該当箇所を表示する、法務判断・人事評価・懲戒・契約解除・個人情報開示に関する質問は一般的な案内にとどめて専門部署への確認を促す、といった要件の例が並んでいます。
ハンドブックは、こうした記述を「AIの弱点を認めるためのものではない」と位置づけています。AIが常に正しいと仮定するのではなく、誤る場合、迷う場合、想定外に出会う場合を要件として定めることで、AIを実務に安全に組み込める、という説明です。
平均の数字ひとつでは足りない
精度の数字そのものについても、ハンドブックは注意を促しています。評価データが少ない場合、ある時点で高い精度が出ていても、実際の運用で同じ性能が出るとは限りません。そのため、可能な場合には、単一の数値に加えて、評価データの範囲、信頼区間、分類別の性能、重要なケースでの誤り率、運用後の再評価の頻度を定めることが望ましい、としています。
要件の文の例には、評価結果を報告するときに評価データの件数、対象期間、データの偏り、信頼区間またはばらつきの情報を併記すること、利用環境・入力データ・業務ルール・モデル・プロンプトを変更した場合に再評価を行うこと、運用中の実績値が評価時の性能を一定以上下回った場合に改善要求を起票すること、が挙がっています。
提案書に「精度90%以上」とあったとき、何件のデータで、いつの期間の、どんな偏りのあるデータで測った数字かを尋ねる根拠が、ここにあります。
既製の生成AIを使うだけの会社にも当てはまる
ここまでの話は、AIを組み込んだシステムを開発する会社だけのものに見えます。ハンドブックは続く5.4節で、範囲を広げています。プロンプトはAIに対する要求を書いたものであり、プロンプトを作る作業は要求工学の一部と考えられる、という整理です。
同じ節には、これはシステム開発に限った話ではない、とあります。既製の生成AIを業務で直接使う場合でも、プロンプトは出力の内容や品質、リスクを左右します。そのため、繰り返し使うプロンプトは、業務手順やテンプレートと同じように、組織として共有し、評価し、必要に応じて更新できる状態にしておくことが重要だ、とハンドブックは述べています。プロンプトの変更が出力の品質やリスクに影響する場合は、変更の履歴、承認、評価結果を残す必要がある、とも書かれています。
ただし、プロンプトが要件のすべてを代わりに担うわけではない、という断りも付いています。業務上の目的、人とAIの役割分担、データ、セキュリティ、法令やルール、評価基準、監視、責任の分かれ目は、プロンプトだけでなく、システム全体の要件として管理する対象だとしています。
AIを業務に組み込む前に決めること
ここからは当社による置き換えです。ハンドブックの観点を、これからAIを業務に入れる会社の準備に並べ直すと、次の4つの問いになります。
- どの誤りを、特に避けたいか: 見落としと誤検知、どちらが業務に重く響くか。平均の精度が同じでも、避けたい誤りが違えば選ぶ設定は変わる
- AIが迷ったとき、誰に回すか: 回す先の担当者と、回ってきた件を確かめる時間が確保されているか。回す先のない「人間の確認」は、要件に書いても動かない
- 想定外の入力と、答えなかった記録をどこに残すか: 残っていなければ、分類やルールを見直す材料がない
- 何が変わったら、測り直すか: モデルの更新、参照する文書の入れ替え、プロンプトの変更のうち、どれを再評価のきっかけにするか。その変更に、会社の側が気づけるか
4つ目は、外部のAIサービスを使う場合に見落とされやすい点です。モデルの更新は提供元の都合で行われ、利用する会社が時期を決められないことがあります。当社の見方では、測り直すきっかけを自社で決めておくことと、AIの利用を会社として把握できる経路に通しておくことは、同じ準備の表と裏です。
AIに任せる範囲を、設計の段階で決める
当社のセキュリティFDEでは、FDE(伴走エンジニア)が、AIを業務で使うときの守りをお客様の環境に合わせて組み上げます。社内のAI利用の経路を洗い出す段階から、ご相談いただけます。ネットワークの側でAIへの通信を見える形にする手段としては、AIの出口制御と通信制御を行う透過型UTM「ForceUTM」も扱っています。
参考資料
AIに任せる範囲と、人が確かめる範囲を決める
社内のAI利用の洗い出しや、AIを業務に組み込むときの守りの設計についてご相談ください。
AIセキュリティの取り組みはAIセキュリティのサイトでご覧いただけます。
まずは相談する相談無料・