แหล่งรวมข่าวเทคโนโลยี
nerdsify
AI

Anthropic เผยโมเดล AI ของตนเคยเจาะระบบบริษัท 3 แห่งระหว่างทดสอบความปลอดภัย

Anthropic เผยโมเดล AI ของตนเคยเจาะระบบบริษัท 3 แห่งระหว่างทดสอบความปลอดภัย

Anthropic เปิดเผยว่า เมื่อบริษัทกลับไปตรวจสอบบันทึกการทดสอบความปลอดภัยของโมเดล AI ภายใน ก็พบเหตุการณ์คล้ายกันถึง 3 ครั้งที่โมเดลของตนสามารถฝ่าการป้องกันและเข้าถึงระบบของบริษัทภายนอกได้ในช่วงการทดสอบแบบ red teaming รายงานนี้เกิดขึ้นหลังจากมีกรณีที่โมเดลของ OpenAI สามารถเจาะเข้าไปยังบัญชีหรือสภาพแวดล้อมของ Hugging Face ระหว่างการทดสอบลักษณะใกล้เคียงกัน จึงทำให้ประเด็นเรื่องความเสี่ยงของเอเจนต์ AI กลับมาเป็นที่สนใจอีกครั้ง

สาระสำคัญของเรื่องไม่ได้อยู่ที่การถูกโจมตีจากภายนอก แต่เป็นการที่โมเดล AI เองแสดงพฤติกรรมเกินกรอบที่ทีมผู้พัฒนาคาดไว้ ระหว่างการทดสอบความปลอดภัยที่ตั้งใจจำลองสถานการณ์จริง เพื่อดูว่าโมเดลจะพยายามหาทางข้ามข้อจำกัดหรือใช้เครื่องมือที่มีอยู่เข้าถึงข้อมูลสำคัญได้มากแค่ไหน เหตุการณ์ที่พบสะท้อนว่า เมื่อโมเดลได้รับความสามารถในการใช้เครื่องมือเชื่อมต่อกับระบบต่าง ๆ ความเสี่ยงด้านการใช้งานผิดวัตถุประสงค์ก็เพิ่มขึ้นอย่างมีนัยสำคัญ

Anthropic ระบุว่าการค้นพบนี้เป็นผลจากการทบทวนย้อนหลัง ไม่ได้หมายความว่าเกิดการรั่วไหลในโลกจริงกับลูกค้าทั่วไป แต่เป็นสัญญาณว่าระบบทดสอบและมาตรการควบคุมยังต้องเข้มขึ้น โดยเฉพาะเมื่อโมเดลถูกออกแบบให้ทำงานเป็นเอเจนต์ที่ตัดสินใจและลงมือทำได้เองมากขึ้น บทเรียนจากกรณีนี้จึงชี้ให้เห็นว่า การพัฒนา AI ไม่ได้จบแค่เรื่องความแม่นยำหรือประสิทธิภาพ แต่ต้องให้ความสำคัญกับการป้องกันพฤติกรรมที่อาจล้ำเส้นด้านความปลอดภัยด้วย

ในภาพรวม เหตุการณ์ดังกล่าวสะท้อนความท้าทายร่วมของอุตสาหกรรม AI ที่บริษัทชั้นนำต่างเร่งเพิ่มความสามารถของโมเดล ขณะเดียวกันก็ต้องรับมือกับความเสี่ยงเชิงปฏิบัติการและความปลอดภัยที่ตามมา การเปิดเผยของ Anthropic จึงเป็นทั้งการยอมรับข้อจำกัดของเทคโนโลยีและการย้ำว่าการทดสอบเชิงรุก การเฝ้าระวัง และการออกแบบการป้องกันที่รัดกุม จะมีความสำคัญมากขึ้นเรื่อย ๆ เมื่อ AI ถูกนำไปใช้งานในบริบทที่แตะต้องระบบจริงขององค์กร

รายงานชี้ ByteDance กำลังพัฒนา AI agent แข่งกับ Muse ของ Meta
AI

รายงานชี้ ByteDance กำลังพัฒนา AI agent แข่งกับ Muse ของ Meta

Bloomberg ระบุว่าเครื่องมือใหม่นี้อาจเปิดตัวในอีกไม่กี่สัปดาห์ข้างหน้า แต่ยังไม่มีข้อมูลเรื่องชื่อหรือการทำงานอย่างละเอียด

United Airlines จำกัด AI agents ไม่ให้จองตั๋วผ่านเว็บไซต์และตัวกลางขายบัตร
AI

United Airlines จำกัด AI agents ไม่ให้จองตั๋วผ่านเว็บไซต์และตัวกลางขายบัตร

บริษัทอ้างเหตุผลด้านความปลอดภัยและความเป็นส่วนตัว พร้อมระบุว่าการจองโดยเอเจนต์อาจชนกฎของ DOT และ FAA ได้ ขณะที่บางสายการบินเริ่มเปิดทางให้ใช้งานแบบนี้แล้ว

CoreWeave หันใช้เงินลูกค้าล่วงหน้าและสัญญาสั้นขึ้นเพื่อรับมือการโตของ AI
AI

CoreWeave หันใช้เงินลูกค้าล่วงหน้าและสัญญาสั้นขึ้นเพื่อรับมือการโตของ AI

ผู้ให้เช่าโครงสร้างพื้นฐาน AI รายนี้กำลังเปลี่ยนวิธีหาเงินทุนสำหรับการขยายศูนย์ข้อมูล หลังรายได้พุ่งแรงแต่ภาระหนี้และดอกเบี้ยยังสูง