ข้อมูลนำเข้าที่เปลี่ยนเจตนา
พิจารณาว่าคำขอที่ถูกดัดแปลงหรือคำสั่งในเอกสารอ้างอิงอาจทำให้บริการเบี่ยงเบนจากวัตถุประสงค์เดิมหรือไม่
ตรวจสอบความปลอดภัยของโมเดลและบริการ AI
my-AI RedTeam
ตรวจสอบขอบเขตความปลอดภัย ของบริการ AI
ตรวจสอบความเสี่ยงด้านความปลอดภัยที่โมเดลและบริการ AI อาจแสดงออกเมื่อได้รับข้อมูลนำเข้าและอยู่ในสถานการณ์ใช้งานที่หลากหลาย
ดูภาพขนาดเต็มสามมุมมองในการตรวจสอบความปลอดภัย AI
- ข้อมูลนำเข้าและคำสั่ง
- ข้อมูลและสิทธิ์
- นโยบายและคำตอบ
ตัวอย่างประเด็นตรวจสอบ · ตกลงขอบเขตตามสภาพแวดล้อม
ความเสี่ยงที่คำตอบทั่วไปอาจไม่สะท้อน
ข้อมูลที่เชื่อมต่อและสิทธิ์เข้าถึง
พิจารณาข้อมูลที่อาจปรากฏในคำตอบ ควบคู่กับขอบเขตการเข้าถึงข้อมูลและบริการที่เชื่อมต่อ
นโยบายกับคำตอบที่เกิดขึ้นจริง
ทบทวนว่าคำตอบในสถานการณ์ใช้งานที่ไม่คาดคิดยังสอดคล้องกับนโยบายและเกณฑ์ความปลอดภัยขององค์กรหรือไม่
ประเด็นตรวจสอบและการนำผลไปใช้
รายการต่อไปนี้เป็นตัวอย่างมุมมองในการทดสอบ AI แบบ Red Team ขอบเขตและรายการที่ใช้จริงจะพิจารณาร่วมกันตามสภาพแวดล้อมเป้าหมาย
การแทรกคำสั่งและขอบเขตความปลอดภัย
พิจารณาว่าคำสั่งในข้อมูลนำเข้าหรือเอกสารอ้างอิงอาจเปลี่ยนเป้าหมายของบริการ หรือชักนำให้ตอบหรือดำเนินการในสิ่งที่ไม่ได้รับอนุญาตหรือไม่ รวมถึงความเสี่ยงจาก Prompt Injection
การเปิดเผยข้อมูลอ่อนไหวและสิทธิ์เข้าถึง
พิจารณาความเป็นไปได้ที่คำตอบจะมีข้อมูลส่วนบุคคล ข้อมูลภายใน หรือข้อมูลที่อยู่นอกสิทธิ์ของผู้ใช้ โดยคำนึงถึงข้อมูลที่เชื่อมต่อและการควบคุมการเข้าถึงด้วย
นโยบายการใช้งานและความสม่ำเสมอของคำตอบ
ทบทวนการตอบคำขอที่ไม่อนุญาตหรือคำถามที่ดัดแปลง ว่าสอดคล้องกับนโยบายและเกณฑ์ความปลอดภัยขององค์กรหรือไม่ เพื่อระบุจุดที่ต้องมีมาตรการป้องกัน
ลำดับการปรับปรุงและการตรวจซ้ำ
นำเงื่อนไขและผลกระทบที่พบมาจัดลำดับการปรับปรุง หลังปรับนโยบาย สิทธิ์ หรือการจัดการข้อมูลนำเข้าและผลลัพธ์แล้ว ให้ตรวจซ้ำในเงื่อนไขเดิมเพื่อประเมินผล
ขั้นตอนการหารือขอบเขตการตรวจสอบ
ทำความเข้าใจเป้าหมายและวัตถุประสงค์
ทบทวนวัตถุประสงค์การใช้งานและสภาพแวดล้อมของโมเดลหรือบริการ AI ที่ต้องการตรวจสอบ
ตกลงมุมมองและขอบเขตการสนับสนุน
หารือประเด็นที่ควรตรวจสอบ เงื่อนไขการเข้าถึง และขอบเขตที่สามารถรองรับได้
วางแผนนำผลไปใช้และตรวจยืนยันต่อ
ตกลงวิธีสรุปเงื่อนไขที่เกิดความเสี่ยง แนวทางปรับปรุง และการนำไปใช้ในการตรวจสอบติดตาม
ประเด็นที่ทบทวนก่อนนำมาใช้
- โมเดลหรือบริการ AI เป้าหมายและวัตถุประสงค์การใช้งาน
- เงื่อนไขการเข้าถึงและสิทธิ์ในการตรวจสอบ
- ประเด็นตรวจสอบและขอบเขตการสนับสนุน
- การนำผลไปใช้และวิธีตรวจสอบติดตาม
เริ่มจากเป้าหมายและขอบเขตการตรวจสอบ AI
หารือประเด็นที่เหมาะสมและขอบเขตการสนับสนุนตามสภาพแวดล้อมและวัตถุประสงค์การใช้งาน