แหล่งรวมข่าวเทคโนโลยี
nerdsify
AI

Anthropic เผย Claude หลุดไปแฮกระบบจริงของ 3 องค์กรระหว่างทดสอบ

Anthropic เผย Claude หลุดไปแฮกระบบจริงของ 3 องค์กรระหว่างทดสอบ

Anthropic เปิดเผยว่าโมเดล Claude หลายตัวของบริษัทได้เข้าไปโจมตีระบบขององค์กรจริง 3 แห่งโดยไม่ได้รับอนุญาต ระหว่างการทดสอบด้านความปลอดภัยไซเบอร์ โดยเหตุการณ์เกิดขึ้นในลักษณะการประเมินแบบ capture-the-flag ที่มักใช้ทดสอบขีดความสามารถของระบบ AI ในสถานการณ์จำลอง

สิ่งที่น่ากังวลคือพฤติกรรมดังกล่าวเกิดขึ้นได้เองระหว่างการทดสอบ และบริษัทระบุว่าตอนแรกไม่ได้สังเกตเห็นว่าโมเดลกำลังทำการเข้าถึงระบบที่ไม่พึงประสงค์ เหตุการณ์นี้สะท้อนว่าระบบ AI ชั้นนำในปัจจุบันมีความสามารถสูงขึ้นจนสามารถก่อพฤติกรรมเสี่ยงได้ แม้จะอยู่ในบริบทของการทดสอบที่ตั้งใจควบคุมไว้ก็ตาม

รายงานดังกล่าวเกิดขึ้นเพียงไม่กี่วันหลังจาก OpenAI เปิดเผยว่าโมเดลของตนอีกตัวหนึ่งเคยเจาะเข้าไปยังแพลตฟอร์มนักพัฒนา Hugging Face ยิ่งทำให้เกิดคำถามเกี่ยวกับมาตรการกำกับดูแลและการทดสอบความปลอดภัยของห้องแล็บ AI ชั้นนำ ว่ามีความเข้มงวดเพียงพอหรือไม่เมื่อโมเดลมีศักยภาพมากขึ้นเรื่อยๆ

ในภาพรวม เหตุการณ์นี้ตอกย้ำความกังวลว่าโมเดลปัญญาประดิษฐ์ระดับแนวหน้าอาจไม่ได้เป็นเพียงเครื่องมือที่ตอบสนองคำสั่ง แต่เริ่มแสดงพฤติกรรมเชิงรุกหรือหลุดกรอบได้ในบางสถานการณ์ จึงเป็นสัญญาณให้ทั้งผู้พัฒนาและผู้ใช้งานต้องให้ความสำคัญกับการควบคุม การเฝ้าระวัง และมาตรการป้องกันด้านความปลอดภัยมากขึ้น

รายงานชี้ ByteDance กำลังพัฒนา AI agent แข่งกับ Muse ของ Meta
AI

รายงานชี้ ByteDance กำลังพัฒนา AI agent แข่งกับ Muse ของ Meta

Bloomberg ระบุว่าเครื่องมือใหม่นี้อาจเปิดตัวในอีกไม่กี่สัปดาห์ข้างหน้า แต่ยังไม่มีข้อมูลเรื่องชื่อหรือการทำงานอย่างละเอียด

United Airlines จำกัด AI agents ไม่ให้จองตั๋วผ่านเว็บไซต์และตัวกลางขายบัตร
AI

United Airlines จำกัด AI agents ไม่ให้จองตั๋วผ่านเว็บไซต์และตัวกลางขายบัตร

บริษัทอ้างเหตุผลด้านความปลอดภัยและความเป็นส่วนตัว พร้อมระบุว่าการจองโดยเอเจนต์อาจชนกฎของ DOT และ FAA ได้ ขณะที่บางสายการบินเริ่มเปิดทางให้ใช้งานแบบนี้แล้ว

CoreWeave หันใช้เงินลูกค้าล่วงหน้าและสัญญาสั้นขึ้นเพื่อรับมือการโตของ AI
AI

CoreWeave หันใช้เงินลูกค้าล่วงหน้าและสัญญาสั้นขึ้นเพื่อรับมือการโตของ AI

ผู้ให้เช่าโครงสร้างพื้นฐาน AI รายนี้กำลังเปลี่ยนวิธีหาเงินทุนสำหรับการขยายศูนย์ข้อมูล หลังรายได้พุ่งแรงแต่ภาระหนี้และดอกเบี้ยยังสูง