แหล่งรวมข่าวเทคโนโลยี
nerdsify
AI

นักวิจัยความปลอดภัยชี้ AI guardrails เริ่มกระทบงานค้นหาช่องโหว่

นักวิจัยความปลอดภัยชี้ AI guardrails เริ่มกระทบงานค้นหาช่องโหว่

บทความของ TechCrunch ชี้ให้เห็นแรงเสียดทานที่เพิ่มขึ้นระหว่างมาตรการป้องกันของผู้พัฒนา AI กับการทำงานของนักวิจัยความปลอดภัยเชิงรุกที่ใช้โมเดลภาษาช่วยค้นหาและทดสอบช่องโหว่ ระบบของ OpenAI และ Anthropic ถูกกล่าวถึงว่าเริ่มมีข้อจำกัดที่เข้มขึ้น จนส่งผลต่อการใช้งานเครื่องมือ AI ในงานค้นหาความเสี่ยง การจำลองการโจมตี และการพัฒนาโค้ดพิสูจน์ช่องโหว่

ผู้สื่อข่าวพูดคุยกับนักวิจัยหลายคนที่ทำงานด้าน offensive cybersecurity ซึ่งมองว่าเดิมที AI เป็นตัวช่วยเร่งการทดลองและวิเคราะห์ได้มาก แต่เมื่อผู้ให้บริการเพิ่ม guardrails เพื่อลดการใช้งานในทางที่อาจเป็นอันตราย เครื่องมือกลับตอบสนองต่อคำสั่งเกี่ยวกับการเอ็กซ์พลอยต์ โค้ดโจมตี หรือเทคนิคการเจาะระบบแบบระมัดระวังมากขึ้น ทำให้บางขั้นตอนที่เคยทำได้รวดเร็วต้องอ้อมค้อมกว่าเดิม หรือใช้งานได้ยากขึ้น

ประเด็นสำคัญของเรื่องนี้คือความตึงเครียดระหว่างความปลอดภัยเชิงป้องกันกับการวิจัยเชิงรุก นักวิจัยด้านความปลอดภัยมักต้องอาศัยการจำลองพฤติกรรมผู้โจมตีเพื่อค้นหาช่องโหว่ก่อนที่อาชญากรไซเบอร์จะพบและนำไปใช้จริง แต่เมื่อระบบ AI แยกไม่ชัดระหว่างงานวิจัยที่ชอบธรรมกับคำขอที่อาจนำไปใช้โจมตีได้ อาจทำให้การค้นคว้าแบบถูกกฎหมายถูกขัดขวางไปด้วย

บทความสะท้อนว่าแนวโน้มการเพิ่มความเข้มงวดของ guardrails ไม่ได้กระทบแค่วงการผู้ใช้ทั่วไป แต่กำลังเปลี่ยนวิธีทำงานของทีมวิจัยความปลอดภัยที่ต้องพึ่งพา AI เป็นผู้ช่วยวิเคราะห์และสร้างต้นแบบเครื่องมือ หากผู้ให้บริการยังต้องคุมความเสี่ยงด้านการใช้งานในทางที่ผิดต่อไป งานวิจัยบางส่วนอาจต้องหันไปใช้วิธีการแบบเดิมมากขึ้น หรืออาศัยกระบวนการตรวจสอบ/อนุมัติที่ละเอียดกว่าเดิมเพื่อเข้าถึงความสามารถเต็มรูปแบบของโมเดล

รายงานชี้ ByteDance กำลังพัฒนา AI agent แข่งกับ Muse ของ Meta
AI

รายงานชี้ ByteDance กำลังพัฒนา AI agent แข่งกับ Muse ของ Meta

Bloomberg ระบุว่าเครื่องมือใหม่นี้อาจเปิดตัวในอีกไม่กี่สัปดาห์ข้างหน้า แต่ยังไม่มีข้อมูลเรื่องชื่อหรือการทำงานอย่างละเอียด

United Airlines จำกัด AI agents ไม่ให้จองตั๋วผ่านเว็บไซต์และตัวกลางขายบัตร
AI

United Airlines จำกัด AI agents ไม่ให้จองตั๋วผ่านเว็บไซต์และตัวกลางขายบัตร

บริษัทอ้างเหตุผลด้านความปลอดภัยและความเป็นส่วนตัว พร้อมระบุว่าการจองโดยเอเจนต์อาจชนกฎของ DOT และ FAA ได้ ขณะที่บางสายการบินเริ่มเปิดทางให้ใช้งานแบบนี้แล้ว

CoreWeave หันใช้เงินลูกค้าล่วงหน้าและสัญญาสั้นขึ้นเพื่อรับมือการโตของ AI
AI

CoreWeave หันใช้เงินลูกค้าล่วงหน้าและสัญญาสั้นขึ้นเพื่อรับมือการโตของ AI

ผู้ให้เช่าโครงสร้างพื้นฐาน AI รายนี้กำลังเปลี่ยนวิธีหาเงินทุนสำหรับการขยายศูนย์ข้อมูล หลังรายได้พุ่งแรงแต่ภาระหนี้และดอกเบี้ยยังสูง