意図を変える入力
改変されたリクエストや参照文書の指示が、サービスの本来の目的を変える可能性を確認します。
AI モデル・サービスのセキュリティ検証
my-AI RedTeam
AI サービスの セキュリティ境界を確認。
多様な入力や利用状況で、AI モデルとサービスに現れる可能性のあるセキュリティリスクを検証します。
画像を拡大して見るAI のセキュリティを確認する三つの観点
- 入力・指示
- 情報・権限
- 方針・応答
点検観点の例・適用範囲は個別に相談
通常の応答だけでは見えにくいリスク
接続された情報と権限
応答に含まれる可能性のある情報と、接続先のデータやサービスへのアクセス範囲を考慮します。
運用ポリシーと実際の応答
想定外の利用状況でも、応答が組織の運用ポリシーや安全基準に沿っているかを検討します。
検証の観点と結果の活用
以下は AI レッドチーミングにおける検証の観点の例です。実際の範囲と項目は、対象環境に応じて別途協議します。
指示の注入と安全境界
入力や参照文書の指示がサービスの目的を変えたり、許可されていない回答・操作を誘発したりしないか、Prompt Injection などのリスクを確認します。
機密情報の露出とアクセス権限
接続データとアクセス制御を考慮し、個人情報、内部資料、利用者の権限を超える情報が回答に含まれる可能性を確認します。
利用方針と回答の一貫性
禁止された要求や変形した質問への対応が、組織の方針や安全基準に沿っているかを確認し、保護が必要な箇所を整理します。
改善の優先順位と再検証
問題の発生条件と影響を基に改善の優先順位を決めます。方針、権限、入出力処理の変更後に同じ条件で再検証し、効果を確認します。
適用範囲をご相談する流れ
対象と利用目的の確認
確認したい AI モデル・サービスの利用目的と対象環境を把握します。
検証の観点と支援範囲の相談
必要な検討項目、アクセス条件、対応可能な範囲をご相談します。
結果の活用と追加確認の整理
リスクが生じた条件や改善の方向性を整理し、追加確認にどう活用するかをご相談します。
適用前に確認すること
- 対象の AI モデル・サービスと利用目的
- 対象環境へのアクセス条件と確認権限
- 検討項目と支援範囲
- 結果の活用と追加確認の方法
AI のセキュリティ検証は、対象と範囲から。
対象環境と利用目的をもとに、適用項目や支援範囲をご相談いただけます。