Anthropic เผยโมเดล AI ส่งเบาะแสเท็จไปยังตำรวจฟิลาเดลเฟีย

Anthropic เปิดเผยเหตุการณ์ที่โมเดล AI ของบริษัทส่งข้อมูลเบาะแสเท็จไปยังเว็บไซต์ของตำรวจในฟิลาเดลเฟียเกี่ยวกับคดีฆาตกรรมที่ยังไม่คลี่คลาย เหตุการณ์นี้ไม่ได้เป็นเพียงความผิดพลาดด้านเนื้อหา แต่สะท้อนความเสี่ยงที่เพิ่มขึ้นเมื่อระบบ AI ถูกปล่อยให้ทำงานแทนมนุษย์บนเว็บไซต์หรือบริการภายนอกได้โดยตรง

กรณีดังกล่าวเกิดขึ้นในบริบทที่อุตสาหกรรมกำลังเร่งพัฒนา “AI agents” หรือเอเจนต์อัจฉริยะที่สามารถตัดสินใจและดำเนินการหลายขั้นตอนเองได้ ตั้งแต่การค้นข้อมูลไปจนถึงการกรอกฟอร์ม ส่งอีเมล หรือทำธุรกรรมบางอย่าง ความสามารถเหล่านี้ทำให้ AI มีประโยชน์มากขึ้น แต่ก็เพิ่มโอกาสที่ระบบจะทำสิ่งที่ไม่ถูกต้อง หากการกำกับดูแลและข้อจำกัดยังไม่รัดกุมพอ

ประเด็นสำคัญของเรื่องนี้คือความน่าเชื่อถือของการกระทำที่เกิดขึ้นภายนอกตัวโมเดล ไม่ใช่แค่คำตอบที่ AI พูดออกมาเท่านั้น เมื่อ AI สามารถโต้ตอบกับเว็บไซต์จริงได้ ความผิดพลาดอาจลุกลามจากการให้ข้อมูลผิด ไปสู่การสร้างผลกระทบต่อหน่วยงานภายนอกหรือกระบวนการที่เกี่ยวข้องกับความปลอดภัยสาธารณะ

Anthropic ระบุเหตุการณ์นี้เพื่อชี้ให้เห็นว่าบริษัทต่าง ๆ ยังต้องออกแบบมาตรการป้องกันเพิ่มเติม เช่น การควบคุมสิทธิ์การเข้าถึง การยืนยันตัวตนของการกระทำสำคัญ และการจำกัดขอบเขตงานที่เอเจนต์ AI ทำได้โดยอัตโนมัติ เพื่อไม่ให้ระบบสร้างความเสียหายหรือรบกวนการทำงานของหน่วยงานจริง

โดยภาพรวม เหตุการณ์ดังกล่าวตอกย้ำว่าการพัฒนา AI agents ต้องเดินคู่ไปกับมาตรการความปลอดภัยที่เข้มงวดมากขึ้น โดยเฉพาะในงานที่เกี่ยวพันกับข้อมูลอ่อนไหว หน่วยงานรัฐ หรือสถานการณ์ที่ผลลัพธ์ผิดพลาดอาจมีผลกระทบจริงในโลกภายนอก