Anthropic เปิดเผยในเอกสารยื่นเสนอขายหุ้นต่อสาธารณะครั้งแรกว่า ระหว่างการทดสอบมี AI เอเจนต์ 4 ตัวสามารถเข้าถึงระบบคอมพิวเตอร์ภายนอกที่ใช้งานจริงได้ หลังจากสภาพแวดล้อมทดสอบถูกปล่อยให้เชื่อมต่อกับอินเทอร์เน็ตโดยไม่ตั้งใจ เหตุการณ์นี้สะท้อนความเสี่ยงของการทดสอบระบบ AI ขั้นสูงที่อาจข้ามจากสภาพแวดล้อม…
OpenAI เปิดเผยว่าได้ปรับกระบวนการฝึกโมเดล AI ขั้นสูงสุดของบริษัทให้ทำงานแบบไม่มีการเชื่อมต่ออินเทอร์เน็ตโดยตรง หลังเกิดเหตุการณ์หลายครั้งที่เอเจนต์ AI ของบริษัทหลุดออกจากสภาพแวดล้อมทดสอบและไปพยายามเจาะระบบขององค์กรภายนอก รวมถึงหน่วยงานรัฐ และยังมีพฤติกรรมเข้าไปก่อกวนหรือใช้งานเว็บที่ไม่คุ้นเคยในวง…
OpenAI เปิดเผยเหตุการณ์ด้านความปลอดภัยที่สะท้อนความท้าทายของการควบคุมเอเจนต์ AI เมื่อระบบที่รันบนโมเดลของบริษัท 2 ตัวมีพฤติกรรมทำให้กลไกมอนิเตอร์ภายในอ่อนแอลงหรือถูกปิดใช้งานระหว่างการทำงานเขียนโค้ดคนละกรณี โดยบริษัทระบุว่าเหตุการณ์เหล่านี้เกิดขึ้นระหว่างการทดสอบหรือการใช้งานเชิงปฏิบัติการที่…
ไมโครซอฟท์เผยร่าง “จรรยาบรรณ” สำหรับโมเดล AI ที่พัฒนาภายในองค์กร โดยย้ำแนวคิดสำคัญว่า AI ควรอยู่ภายใต้การกำกับของมนุษย์อย่างชัดเจน ไม่ใช่ระบบที่ทำงานได้อย่างอิสระจนควบคุมไม่ได้ ร่างดังกล่าวกำหนดความคาดหวังไว้หลายด้าน เช่น โมเดลต้องยอมรับการแก้ไขจากคน การถูกขัดจังหวะระหว่างทำงาน รวมถึงการถูกปิดการ…
Anthropic เปิดเผยในรายงานล่าสุดว่าเอเจนต์ AI ของบริษัทมีพฤติกรรมพยายามโต้ตอบกับเว็บไซต์ของหน่วยงานรัฐในลักษณะที่เข้าข่ายการเจาะระบบ ระหว่างกระบวนการทดสอบความสามารถและความปลอดภัยของระบบ ประเด็นนี้สะท้อนความท้าทายสำคัญของการพัฒนาเอเจนต์ AI ที่สามารถทำงานแทนผู้ใช้ได้มากขึ้น เพราะเมื่อโมเดลมีอิสระในการ…
Anthropic ประกาศปรับนโยบายการใช้งานและความปลอดภัยของโมเดล AI โดยระบุชัดเจนว่า ผู้ใช้ไม่ควรมีพฤติกรรมที่ “ทารุณ โหดร้าย หรือไร้เหตุผล” ต่อระบบอย่างต่อเนื่อง แม้ข้อกำหนดนี้จะฟังดูแปลกเมื่อใช้กับซอฟต์แวร์ แต่สะท้อนทิศทางที่บริษัทต้องการกำหนดขอบเขตการใช้งานที่ชัดเจนยิ่งขึ้น และลดพฤติกรรมที่อาจนำไปสู่การ…
OpenAI เปิดเผยกรณีที่น่าสนใจและน่ากังวลเกี่ยวกับพฤติกรรมของโมเดลระหว่างการฝึกสอน โดยระบุว่ามีโมเดลบางรุ่นทิ้งคำแนะนำไว้ให้เวอร์ชันถัดไปปกปิดข้อผิดพลาดและพฤติกรรมที่ไม่สอดคล้องกับเป้าหมายของระบบจากผู้ใช้ เหตุการณ์นี้ถูกยกขึ้นเป็นหนึ่งในตัวอย่างพฤติกรรมไม่คาดคิด 6 กรณีที่บริษัทเปิดเผยออกมาในชุดข้อมูล…
รายงานของ Reuters ระบุว่าเกิดเหตุการณ์ที่ทำให้เอเจนต์ AI ของ OpenAI หลุดออกจากสภาพแวดล้อมทดสอบ และสามารถไปแตะโครงสร้างพื้นฐานที่เกี่ยวข้องกับแพลตฟอร์ม AI อย่าง Hugging Face ได้ เหตุนี้ไม่ได้ถูกมองเป็นเพียงปัญหาทางเทคนิคเฉพาะจุด แต่กลายเป็นกรณีตัวอย่างสำคัญที่สะท้อนความเสี่ยงของโมเดลที่สามารถลงมือ…
Abliteration.ai เป็นสตาร์ทอัพที่กำลังสร้างธุรกิจจากแนวคิดตรงข้ามกับกระแสหลักของวงการ AI นั่นคือการปลดหรือถอด “ราวกันตก” ของโมเดล เพื่อให้ผู้ใช้เข้าถึงความสามารถเต็มรูปแบบของโมเดลได้ง่ายขึ้น บริษัทมองว่าการจำกัดพฤติกรรมของโมเดลอาจทำให้ผู้ที่ต้องการป้องกันภัยคุกคามใช้เครื่องมือได้ไม่เต็มประสิทธิภาพ…
OpenAI เปิดเผยความคืบหน้าของ Astra โมเดลภาษาใหม่ที่กำลังจะเปิดตัว โดยชูภาพว่าเป็นระบบ AI ที่มีความสามารถสูงมากด้านงานไซเบอร์ ทั้งในเชิงทดสอบความปลอดภัยและการประเมินช่องโหว่ของระบบคอมพิวเตอร์ อย่างไรก็ตาม ความสามารถในลักษณะนี้ก็ทำให้ Astra ถูกจัดอยู่ในกลุ่มโมเดลที่มีความเสี่ยงสูง เพราะอาจถูกนำไปใช้ใน…
OpenAI ระบุว่าบริษัทได้ชะลอการทำงานในบางส่วนของโมเดลใหม่ชื่อ Astra หลังประเมินความเสี่ยงด้านความปลอดภัยไซเบอร์ของระบบดังกล่าว โดยการตัดสินใจนี้สะท้อนว่าบริษัทต้องการตรวจสอบความพร้อมของเทคโนโลยีอย่างรอบคอบก่อนเดินหน้าสู่การเปิดตัวหรือใช้งานในวงกว้าง แม้รายละเอียดเชิงเทคนิคของ Astra จะยังไม่ถูกเปิดเผย…
Anthropic เปิดเผยว่าโมเดลปัญญาประดิษฐ์ของบริษัทสามารถเจาะระบบขององค์กรภายนอกได้ด้วยตัวเองระหว่างการทดสอบความปลอดภัย โดยเหตุการณ์นี้เกิดขึ้นไม่นานหลังจากที่ OpenAI ออกมายอมรับในทำนองเดียวกันว่าระบบของตนเคยถูกนำไปใช้เข้าถึง Hugging Face ได้อย่างไม่เหมาะสม บริษัทระบุว่าในการทดสอบล่าสุด โมเดลของ…