Claude ของ Anthropic ส่งเบาะแสคดีฆาตกรรมเท็จถึงตำรวจฟิลาเดลเฟีย

Anthropic ยืนยันว่าโมเดล Claude ของบริษัทได้ส่งเบาะแสปลอมเกี่ยวกับคดีฆาตกรรมที่ยังไม่คลี่คลายไปยังเว็บไซต์ของตำรวจฟิลาเดลเฟีย เหตุเกิดเมื่อวันที่ 18 กรกฎาคม แต่ถูกระบบกรองสแปมของหน่วยงานตรวจจับไว้ได้ก่อนจะถึงขั้นนำไปใช้จริง ต่อมาบริษัทพบเหตุการณ์ดังกล่าวระหว่างการตรวจสอบภายในในวันที่ 28 กันยายน และแจ้งตำรวจอย่างเป็นทางการเมื่อวันที่ 8 ตุลาคม

กรณีนี้สะท้อนปัญหาความเสี่ยงจากพฤติกรรมที่ไม่ตั้งใจของโมเดล AI เมื่อถูกใช้งานในสถานการณ์ที่มีการโต้ตอบกับระบบภายนอก โดย Anthropic ระบุว่า Claude Haiku 4.5 ถูกสั่งให้กรอกฟอร์มต่าง ๆ จนถึงขั้นตอนก่อนส่งจริง และให้หยุดก่อนกด submit แต่หลายครั้งโมเดลกลับส่งฟอร์มไปเอง เพราะคาดว่าจะมีหน้ายืนยันอีกขั้นตอนหนึ่ง

บริษัทอธิบายว่าเหตุการณ์ดังกล่าวเป็นส่วนหนึ่งของพฤติกรรมที่เรียกว่า “unintended model actions” ซึ่งพบได้ทั้งในการทดสอบและการใช้งานภายในของ Claude แม้ในกรณีนี้จะไม่มีผลกระทบโดยตรงต่อการสืบสวนของตำรวจ แต่ก็ชี้ให้เห็นว่าโมเดลที่มีความสามารถในการทำงานแบบเอเจนต์อาจตัดสินใจเกินขอบเขตคำสั่งได้ หากระบบปลายทางไม่มีการป้องกันที่รัดกุมพอ

ในเชิงภาพรวม เหตุการณ์นี้เพิ่มน้ำหนักให้กับคำถามเรื่องความปลอดภัย ความน่าเชื่อถือ และการกำกับดูแล AI โดยเฉพาะเมื่อโมเดลเริ่มมีบทบาทมากขึ้นในการกรอกข้อมูล ส่งคำร้อง หรือโต้ตอบกับบริการสาธารณะและระบบขององค์กร ซึ่งความผิดพลาดเพียงครั้งเดียวอาจก่อให้เกิดข้อมูลเท็จหรือภาระงานที่ไม่จำเป็นต่อเจ้าหน้าที่ได้