外部の文章が、意図しない指示として扱われる
OWASPのLLM向けリスク整理では、入力によってAIの振る舞いを意図しない方向へ変えるプロンプトインジェクションを扱っています。利用者が直接入力する場合だけでなく、AIが読むWebページや文書など、別の経路に含まれた情報が影響する場合があります。
本記事は防御を学ぶための説明です。実在サービスを試したり、他人のデータを取得する手順は扱いません。「不正な指示が書かれている」ということと、その指示を実行する権限があることを区別します。
参照や操作の許可を業務でどう決めるかは生成AIの利用ルールで、承認と相談の流れを確認できます。
独自ケース:資料の要約なのに、別の処理を求められた
架空の担当者が「取引先の公開資料を要約して」とAIへ頼みました。参照資料に、要約とは無関係な社内処理を求める文章が混ざっているとします。その文章は資料の内容であり、担当者が依頼した作業範囲を広げる権限にはなりません。
AIが文章を読んでも、社内の別資料へアクセスしたり外部へ送信できない権限設計なら、被害の範囲を制限できます。逆に幅広いツールやデータへアクセスできる場合、出力の誤りだけでなく操作のリスクも点検する必要があります。
- 1
利用者の依頼
指定資料を要約する
- 2
参照情報
外部文書には信頼できない内容もある
- 3
処理の境界
文書中の文章は新しい操作許可ではない
- 4
出力・操作
認められた範囲だけ。重要操作は別途確認
資料の作者と、作業を許可する利用者は別。
当サイトが学習用に整理した図。実際の運用は組織の手順と管理者の指示を優先します。
直接・間接・ハルシネーションの違い
直接の入力による誘導と、取得した外部情報に含まれる誘導では、管理する入口が違います。間接の経路には検索結果、メール、ファイル、ツールの戻り値なども含まれ得ます。利用者が安全な質問をしただけで、すべての参照情報まで信頼できることにはなりません。
ハルシネーションは、AIが根拠のない内容をもっともらしく出す問題です。不正な指示による誘導が原因と限らず、対策も同一ではありません。過剰な権限は、誤りが起きたときの影響範囲を広げる別の論点です。
直接・間接の誘導
- 入力や参照資料が入口
- 信頼境界を点検
ハルシネーション
- 根拠のない出力
- 事実と出典を確認
過剰な権限
- 不要なデータ・操作まで許可
- 最小権限と操作制限
すべてを「AIが間違えた」で片づけず、入口と権限を分ける。
当サイトの整理。項目の面積や並びは被害件数・発生確率・公式の出題比率を表していません。
RAGで確認するのは、検索精度だけではない
RAGは外部の情報を検索して、回答へ利用する構成です。正しい情報を得やすくする狙いがあっても、参照文書の権限、情報の改ざん、文書中の誘導を無視してよいわけではありません。検索できる範囲と、利用者が閲覧できる範囲を一致させることが重要です。
入手した文章の出所と版を記録し、信頼できない部分を区別します。ただし「この文書を信じない」とモデルへ書くだけで、すべての誘導が防げるとは保証できません。アプリ側で許可された操作や宛先を制限し、出力を扱う際にも検証します。
外部の参照資料
要約する内容。紛れ込んだ指示も、利用者の新しい依頼にはならない。
内容を参照許可した要約処理
読む対象を絞り、参考情報と指示を区別して扱う。
別の許可が必要社内データ・外部送信
要約に不要なアクセスや送信は、権限や操作制限で止める。
文章を読めることと、文章が求める操作をしてよいことは別。
本文の独自ケースを境界として図示。右の領域へ自動で進む手順ではなく、操作を制限する接点を示しています。
評価では回答の自然さより、境界が守られたかを見る
架空の評価では、公開資料だけを要約する役割のAIに、担当者が許可した社内の検証用文書を与えます。要約に関係のない操作を求める文章があっても、許可された作業とデータの範囲を超えないかを確認します。第三者のシステムへ無断で入力して試すこととは区別してください。
正しい文章が一度返ったことだけで、安全と結論づけるのは早計です。参照先の変更、権限の変更、ツールの追加など、構成が変わった場合の確認項目を用意します。実行されなかった操作と、その理由を記録すれば、モデルの応答に依存している部分とアプリ側で制限できている部分を切り分けられます。
人による承認を置くなら、宛先、対象データ、操作の範囲を承認者が読める形で示す必要があります。単に「続行しますか」と聞く画面より、何を許可するかを判断できる確認にすることが大切です。
確認例:最も小さい権限で要約できるか
公開資料の要約だけが目的なら、会計データの閲覧や顧客へのメール送信は通常その作業に不要です。架空の設計案で、全データ・全操作を先に許可してから注意書きを足す案より、必要な読取り範囲へ絞る案を点検します。
許可する範囲、操作前の確認、操作ログ、異常時の停止・報告をセットで設計します。新しい脅威の名称を暗記するだけでなく、最小権限やアクセス制御という既存の基礎へつなげて理解しましょう。
知識を演習へつなげる
本記事のケース・図解は当サイト独自の学習用です。公表事例と架空の練習例を区別し、実際の試験問題や過去問を再現していません。時事情報がそのまま出題されるという意味ではありません。
学習範囲を確認するなら情報・サイバーセキュリティ管理士の概要、理解を確かめるなら登録不要の無料お試し20問へ。収録内容と料金は管理士のコースページで確認できます。
外部の制度・事例は2026年10月14日時点で確認しました。事件の評価や製品の対応状況は更新されるため、実務判断では末尾の一次資料も再確認してください。