AI
ハルシネーション
AI が事実でないことを、事実であるかのように出力する現象。
存在しない出典、実在しない数値、間違った日付などが、自然な文章の中に紛れ込む。間違い方が自然なので、読んだだけでは気づけないのが厄介なところだ。
完全には防げない。前提として、出力を検証する仕組みを外側に置く。
よくある誤解
「プロンプトで『嘘をつかないで』と指示すれば減る」と考えられがちだが、指示は守られないことがあり、守られたかどうかも分からない。実務で効くのはプロンプトではなくコード側の検査で、たとえば「生成文に出てくる数値が原文に存在するか」を機械的に突き合わせる、といった形になる。検査で落ちたものは出さない、という運用まで含めて初めて対策になる。
別名・表記ゆれ: 幻覚 / 捏造
関連する用語
RAG
社内文書を検索して、その結果を根拠に AI へ答えさせる仕組み。
プロンプトインジェクション
AI に読ませる文章の中に指示を仕込み、本来の動作を乗っ取る攻撃。