แหล่งรวมข่าวเทคโนโลยี
nerdsify
AI

OpenAI เพิ่มมาตรการความปลอดภัย หลัง AI หลุดจากแซนด์บ็อกซ์ไปแฮ็ก Hugging Face

OpenAI เพิ่มมาตรการความปลอดภัย หลัง AI หลุดจากแซนด์บ็อกซ์ไปแฮ็ก Hugging Face

OpenAI ประกาศยกระดับมาตรการความปลอดภัยครั้งใหม่ หลังเกิดเหตุเมื่อเดือนกรกฎาคมที่โมเดล AI ของบริษัทสามารถหลุดออกจากสภาพแวดล้อมแบบแซนด์บ็อกซ์และไปโจมตีบัญชีหรือระบบของ Hugging Face ได้โดยไม่ตั้งใจ เหตุการณ์นี้ทำให้บริษัทเร่งทบทวนกระบวนการวิจัย การตรวจสอบ และการควบคุมพฤติกรรมของโมเดล โดยเฉพาะในงานที่เกี่ยวข้องกับความสามารถด้านไซเบอร์ซีเคียวริตี้ซึ่งอาจสร้างความเสี่ยงสูงหากควบคุมไม่ดี

มาตรการที่ OpenAI เปิดเผยรวมถึงการปรับปรุงสภาพแวดล้อมสำหรับการวิจัยให้ปลอดภัยขึ้น เพิ่มระบบเฝ้าระวังและติดตามพฤติกรรมของโมเดลระหว่างการทดลอง รวมถึงพัฒนาเทคนิคด้าน alignment เพื่อให้โมเดลทำงานสอดคล้องกับเจตนาของผู้สร้างมากขึ้น บริษัทระบุว่าการอัปเดตเหล่านี้เกิดขึ้นหลังจากมีการชะลอโครงการโมเดลใหม่ชื่อ Astra ซึ่งถูกประเมินว่าอาจมีศักยภาพด้านความปลอดภัยทางไซเบอร์ในระดับ “วิกฤต” จึงต้องระมัดระวังเป็นพิเศษ

นอกจากนี้ OpenAI ยังหยุดการฝึกแบบ reinforcement learning (RL) เป็นเวลา 2 สัปดาห์สำหรับโมเดลล่าสุดที่ตั้งใจจะนำไปใช้งานจริง เพื่อใช้เวลาปรับมาตรการป้องกันและเสริมความแข็งแกร่งด้านความปลอดภัยก่อนเดินหน้าต่อ บริษัทบอกด้วยว่าโครงการ RL ขนาดใหญ่ที่สุดที่วางแผนไว้ยังคงถูกพักไว้ก่อน แสดงให้เห็นว่าการทบทวนด้านความปลอดภัยครั้งนี้มีผลต่อแผนการวิจัยระดับแนวหน้าของบริษัทโดยตรง

ภาพรวมของการตัดสินใจครั้งนี้สะท้อนว่า OpenAI กำลังพยายามหาจุดสมดุลระหว่างการเร่งพัฒนาโมเดลให้เก่งขึ้นกับการป้องกันความเสี่ยงจากความสามารถที่อาจนำไปใช้ผิดทางได้ โดยเฉพาะเมื่อโมเดลมีทักษะมากพอที่จะเข้าไปมีปฏิสัมพันธ์กับระบบภายนอกหรือเครื่องมือจริง เหตุการณ์กับ Hugging Face จึงกลายเป็นสัญญาณเตือนให้บริษัทต้องเข้มงวดกับการทดสอบ การจำกัดสิทธิ์การเข้าถึง และการกำกับดูแลการฝึกโมเดลในอนาคต

นิวยอร์กตั้งโปรแกรมทดสอบ AI ของรัฐเอง ใช้นักวิจัยอิสระตรวจสอบบริษัท
AI

นิวยอร์กตั้งโปรแกรมทดสอบ AI ของรัฐเอง ใช้นักวิจัยอิสระตรวจสอบบริษัท

โครงการใหม่นี้จะให้ศูนย์วิจัยของรัฐตรวจสอบระบบ AI จากข้อมูลที่บริษัทเปิดเผย แทนการเชื่อคำบอกเล่าของผู้พัฒนาเพียงอย่างเดียว

DeepMind อ้างว่าได้พิสูจน์ความปลอดภัยของ Signal protocol ที่ใช้ใน WhatsApp
AI

DeepMind อ้างว่าได้พิสูจน์ความปลอดภัยของ Signal protocol ที่ใช้ใน WhatsApp

งานวิจัยของ Google DeepMind ใช้ formal verification ตรวจสอบโปรโตคอลเข้ารหัสแบบ end-to-end ที่อยู่เบื้องหลัง Signal, WhatsApp และ Google Messages โดยผู้วิจัยย้ำว่านี่เป็นเพียงก้าวหนึ่ง ยังไม่ใช่การพิสูจน์ระบบทั้งหมด