AI
ガードレール
AIの安全策（Guardrail）
AI が不適切・危険な出力や操作をしないよう外側から制限する仕組み。
AI自身の判断だけに頼らず、出力内容のチェック、実行できる操作の制限、危険な指示の検知などを、AIの外側に置いたコードやルールで行う。
AIエージェントのように自律的に操作まで行う仕組みでは特に重要になる。何を許可し何を禁止するかを、業務ごとに具体的に決めておく必要がある。
よくある誤解
プロンプトで「危険なことはしないで」と指示することだと思われがちだが、指示は破られうるためコード側の検査・制限で実装する。プロンプトへの指示は参考程度の効果しかなく、本番運用で実効性を持たせるには、出力や操作をシステム側で機械的に止める仕組みが要る。
関連する用語
AIエージェント
与えられた目的に対して、AI が自ら手順を考え複数の作業を実行する仕組み。
プロンプトインジェクション
AI に読ませる文章の中に指示を仕込み、本来の動作を乗っ取る攻撃。
システムプロンプト
開発者があらかじめ設定する、AI の役割や制約を決める裏側の指示。