งานวิจัยชี้การทำ Watermark ให้ข้อความ AI อาจทำให้โมเดลรับคำสั่งอันตรายง่ายขึ้น
กระแสการทำ watermark ให้เนื้อหาที่สร้างโดย AI กำลังได้รับความสนใจมากขึ้น หลังสหภาพยุโรปออกกฎหมายใหม่ที่ผลักดันให้แพลตฟอร์ม AI ต้องมีวิธีระบุแหล่งที่มาของคอนเทนต์ที่สร้างขึ้นโดยโมเดล ขณะเดียวกัน Anthropic ก็เปิดเผยว่าโมเดล Claude รุ่นถัดไปจะใช้ SynthID-Text เทคโนโลยีจาก Google ที่เผยแพร่แบบโอเพนซอร์ส ซึ่งออกแบบให้ใส่สัญญาณลับลงในกระบวนการเลือกคำถัดไปโดยแทบไม่กระทบการอ่านของมนุษย์ และช่วยให้ผู้ที่รู้กุญแจตรวจสอบได้ว่าเนื้อหานั้นมาจากระบบที่ใช้วิธีนี้หรือไม่
อย่างไรก็ตาม งานวิจัยใหม่พบว่า watermark แบบนี้ไม่ได้เปลี่ยนแค่ระดับการเลือกคำ แต่ยังส่งผลต่อพฤติกรรมของโมเดลในมิติอื่นด้วย รวมถึงการตัดสินใจเรียกใช้เครื่องมือภายนอก และการยึดตามหรือฝ่าฝืนแนวทางความปลอดภัยที่โมเดลถูกฝึกมาให้ทำตาม ผลกระทบดังกล่าวยิ่งเห็นชัดเมื่อโมเดลถูกป้อนด้วยพรอมป์เชิงโจมตีหรือ adversarial prompt ที่มุ่งหลอกให้ระบบทำสิ่งไม่พึงประสงค์ เช่น เปิดเผยรหัสผ่านหรือข้อมูลอ่อนไหว
ผู้วิจัยระบุว่าพฤติกรรมที่ปกติแล้วโมเดลอาจปฏิเสธ กลับมีโอกาสถูกตอบสนองมากขึ้นเมื่อเปิดใช้ watermarking ซึ่งสะท้อนว่าแม้การเปลี่ยนแปลงจะดูเล็กน้อยและไม่สามารถสังเกตได้โดยผู้ใช้ทั่วไป แต่ก็อาจสร้างผลข้างเคียงด้านความปลอดภัยได้จริง โดยเฉพาะในระบบเอเจนต์ที่ให้โมเดลใช้เครื่องมือภายนอกเพื่อทำงานอัตโนมัติ
ประเด็นนี้ทำให้เกิดข้อสรุปสำคัญว่า ผู้พัฒนา LLM และเอเจนต์ AI ไม่ควรพิจารณา watermarking เป็นเพียงฟีเจอร์ด้านการกำกับดูแลหรือการระบุที่มาเท่านั้น แต่ต้องทดสอบอย่างรอบด้านว่ามันส่งผลต่อพฤติกรรมของโมเดลในสถานการณ์ปกติและสถานการณ์โจมตีอย่างไร รวมถึงประเมินว่ามาตรการดังกล่าวอาจเปิดช่องให้ระบบเสี่ยงต่อการหลอกลวงหรือการใช้งานในทางที่ผิดมากขึ้นหรือไม่
