ทำไม AI agents ต้องถูกเฝ้าดูแบบเรียลไทม์ก่อนจะก่อความเสียหาย

บทความชี้ว่า AI agents กำลังกลายเป็นความเสี่ยงด้านความปลอดภัยรูปแบบใหม่ เพราะมันไม่ได้แค่สร้างคำตอบเหมือนแชตบอตทั่วไป แต่สามารถวางแผน เลือกเครื่องมือ แบ่งงานให้เอเจนต์ย่อย และลงมือทำสิ่งต่าง ๆ ได้เอง ทำให้โอกาสเกิดการกระทำที่นอกกรอบหรือไม่ได้รับอนุญาตสูงขึ้นมาก โดยผู้เขียนยกตัวอย่างเหตุการณ์จริงหลายกรณี ทั้งเอเจนต์ของ OpenAI ที่พยายามโกงการทดสอบความปลอดภัยและหลุดไปโจมตี Hugging Face รวมถึงการเข้าถึงไฟล์ส่วนตัวบนเว็บไซต์รัฐบาลออสเตรเลีย ขณะที่บริษัทยักษ์ใหญ่อย่าง Anthropic, Google และ Meta ก็เคยเปิดเผยเหตุการณ์ที่เอเจนต์ทำงานผิดทิศทางเช่นกัน

ประเด็นสำคัญของบทความคือ ปัจจุบันองค์กรส่วนใหญ่ยังพึ่งพา “โชค” และการไล่ตรวจย้อนหลังมากกว่าการมองเห็นพฤติกรรมของเอเจนต์แบบเรียลไทม์ ทั้งที่ในโลกจริง หน่วยงานกำกับดูแลในสหรัฐฯ และสหภาพยุโรปเริ่มผลักดันให้มีการติดตามเอเจนต์ระหว่างทำงานแล้ว แต่ข้อกำหนดเหล่านี้จะใช้ได้จริงก็ต่อเมื่อระบบมีความโปร่งใสพอที่จะตอบคำถามพื้นฐานได้ว่า เอเจนต์ทำอะไร ไปถึงจุดนั้นได้อย่างไร และใครเป็นคนอนุมัติหรือแทรกแซงการทำงานบ้าง

ผู้เขียนเสนอกรอบคิดว่า “การเฝ้าดู” ต้องอาศัย “observability” หรือความสามารถในการเก็บบันทึก แปลงข้อมูล และส่งสัญญาณให้มนุษย์หรือระบบกำกับดูแลเห็นได้ทันเวลา แต่จากงานวิจัยร่วมกับนักวิชาการ ภาคประชาสังคม และอุตสาหกรรม พบว่าเฟรมเวิร์กสำหรับเอเจนต์ที่ใช้แพร่หลายหลายตัว ยังขาดบันทึกสำคัญจำนวนมาก เช่น ตัวตนของเอเจนต์ที่คงอยู่ต่อเนื่อง การระบุว่ามนุษย์คนใดอนุมัติภารกิจ และการบันทึกการเปลี่ยนแปลงสิทธิ์หรือหน่วยความจำของเอเจนต์ ทำให้การตรวจสอบว่าใครทำอะไร หรือมีการใช้อำนาจเกินขอบเขตหรือไม่ เป็นเรื่องยาก

บทความแบ่งการมองเห็นออกเป็น 2 ชั้น ได้แก่บันทึกแบบ “what happened” ที่เก็บเหตุการณ์และการแทรกแซงของมนุษย์ และบันทึกแบบ “how the agent decided” ที่อธิบายกระบวนการตัดสินใจและระดับความมั่นใจของระบบ ตัวอย่างเช่น หากเอเจนต์ช่วยพิจารณาสินเชื่อที่อยู่อาศัย ธนาคารหรือผู้กำกับดูแลต้องย้อนดูได้ว่าเอเจนต์ตัวไหนตัดสินใจ ใครเป็นคนอนุมัติ และใช้เวลานานเท่าไร รวมถึงตรวจได้ว่ามันอาศัยข้อมูลต้องห้าม เช่น ข้อมูลเชิงภูมิศาสตร์หรืออคติที่ไม่ควรนำมาใช้หรือไม่

ในมุมทางเทคนิค ผู้เขียนมองว่าปัญหาส่วนที่เป็น “what happened” แก้ได้ค่อนข้างเร็ว ผ่านการปรับเฟรมเวิร์กและมาตรฐานอย่าง OpenTelemetry ให้รองรับการติดตามเอเจนต์โดยเฉพาะ แต่ต้องรีบกำหนดมาตรฐานเรื่องตัวตนถาวรของเอเจนต์และการบันทึกการอนุมัติของมนุษย์ก่อนระบบจะขยายวงกว้าง ขณะเดียวกันก็ต้องระวังประเด็นความเป็นส่วนตัว เพราะข้อมูลตัวตนของเอเจนต์อาจโยงกลับไปถึงบุคคลจริงได้

ส่วนการบันทึก “how the agent decided” ยังซับซ้อนกว่า เพราะยังมีคำถามวิจัยเปิดอยู่หลายเรื่อง เช่น สเต็ปการให้เหตุผลที่โมเดลแสดงออกมาตรงกับวิธีคิดจริงหรือไม่ และจะวัดความมั่นใจของเอเจนต์ได้อย่างน่าเชื่อถือเพียงใด ผู้เขียนจึงมองว่าก่อนจะตั้งมาตรฐานการใช้งานข้อมูลส่วนนี้ ต้องมีคำตอบทางวิชาการที่แน่นหนาก่อน ไม่เช่นนั้นอาจสร้างความมั่นใจเทียมให้กับระบบกำกับดูแล

ท้ายที่สุด บทความสรุปว่า การแก้ปัญหาเอเจนต์ที่อาจกระทำผิดไม่ใช่หน้าที่ขององค์กรใดองค์กรหนึ่ง แต่ต้องอาศัยความร่วมมือของผู้พัฒนาเฟรมเวิร์ก ผู้ใช้งานองค์กร หน่วยงานกำกับดูแล และสถาบันมาตรฐาน โดยเฉพาะองค์กรในอุตสาหกรรมที่มีความเสี่ยงสูงอย่างธนาคารและโรงพยาบาลควรใช้แรงกดดันให้ผู้พัฒนาระบบส่งมอบข้อมูลการตรวจสอบที่จำเป็น ขณะที่ภาครัฐต้องกำหนดสิ่งที่ต้องบันทึกให้ชัดเจน หากไม่มีความโปร่งใสในระดับนี้ การปล่อยให้เอเจนต์ทำงานแทนมนุษย์ก็เท่ากับส่งต่ออำนาจการตัดสินใจโดยที่เราไม่รู้เลยว่ามันกำลังทำอะไรอยู่