สตาร์ตอัป AI กำลังไล่ล่าเทคโนโลยีถัดไปเหนือ Transformer

บทความของ MIT Technology Review ชี้ว่าแม้สถาปัตยกรรม Transformer จะเป็นรากฐานของโมเดลภาษาขนาดใหญ่เกือบทั้งหมดในปัจจุบัน แต่เทคโนโลยีนี้เริ่มกลายเป็นคอขวดมากขึ้นเรื่อย ๆ เมื่อโมเดลต้องทำงานกับข้อมูลที่ยาวขึ้น ซับซ้อนขึ้น และต้องรองรับงานประเภท reasoning หรือเอเจนต์ที่เก็บบริบทจำนวนมหาศาลไว้พร้อมกัน ข้อจำกัดหลักคือ dense attention ซึ่งต้องคำนวณความสัมพันธ์ของทุกโทเคนกับทุกโทเคน ทำให้ต้นทุนการประมวลผลและการใช้พลังงานพุ่งสูง ขณะที่ความต้องการด้านคอมพิวต์ของอุตสาหกรรมก็เพิ่มขึ้นต่อเนื่องจนกลายเป็นประเด็นเชิงโครงสร้างของทั้งวงการ

บทความยกตัวเลขและบริบทว่าความต้องการคอมพิวต์ของผู้เล่นรายใหญ่สูงมาก เช่น OpenAI ที่คาดว่าจะใช้จ่ายด้านการประมวลผลระดับหลายหมื่นล้านดอลลาร์ในปีนี้ และแนวโน้มการใช้ไฟฟ้าของดาต้าเซ็นเตอร์ทั่วโลกที่มีโอกาสเพิ่มขึ้นอีกเท่าตัวภายในปี 2030 ประเด็นจึงไม่ใช่แค่ “ทำให้โมเดลฉลาดขึ้น” แต่ต้องทำให้มันประหยัดขึ้น ใช้หน่วยความจำน้อยลง และรับข้อมูลยาว ๆ ได้ดีขึ้น หาก LLM จะขยับจากแชตบอตไปสู่งานอย่างการวิเคราะห์เอกสารทั้งคลังโค้ด หรือการทำงานแบบ agent ที่ต้องต่อเนื่องเป็นเวลานาน

หนึ่งในแนวทางใหม่คือการรื้อระบบ attention โดยตรงให้เหลือเฉพาะส่วนที่จำเป็นจริง ๆ แทนที่จะคำนวณทุกความสัมพันธ์เหมือนเดิม Subquadratic สตาร์ตอัปในไมอามีอ้างว่าพัฒนา sparse attention แบบใหม่ที่สามารถแข่งขันกับโมเดลชั้นนำในบางงาน เช่น ค้นหาและเขียนโค้ดได้ โดยโมเดลจะเลือกแบบเรียลไทม์ว่าช่วงใดของข้อความมีความสำคัญและช่วงใดสามารถละทิ้งได้ แม้ข้อเสนอนี้จะยังมีเสียงสงสัยจากบางฝ่ายในอุตสาหกรรม แต่ก็สะท้อนความพยายามที่จะลดภาระคำนวณโดยไม่ทำให้คุณภาพตกลงมากเกินไป

อีกบริษัทคือ Manifest AI ที่เลือกเปลี่ยนจาก attention ไปสู่กลไกที่เรียกว่า power retention แทนแนวคิดนี้ไม่ได้เก็บทุกอย่างไว้ใน context window แต่สร้างสรุปแบบต่อเนื่องและค่อย ๆ ตัดข้อมูลที่ไม่สำคัญออก ทำให้โมเดลรับมือกับข้อมูลปริมาณมากได้โดยไม่ทำให้ภาระเพิ่มแบบทวีคูณ บริษัทอ้างว่าสามารถดัดแปลงโมเดลโอเพนซอร์สที่มีอยู่ให้ใช้ระบบนี้ได้ด้วยการฝึกเพิ่มไม่มากนัก และสาธิตผ่านโมเดลสำหรับเขียนโค้ดและโมเดลทั่วไปที่ตั้งเป้าแข่งกับโมเดลโอเพนซอร์สยอดนิยมบางตัว แนวคิดนี้ถูกนำเสนอว่าเหมาะกับงานที่ต้องอ่านวิดีโอยาว ๆ หรือให้เอเจนต์ทำงานต่อเนื่องเป็นสัปดาห์

ฝั่ง Liquid AI ซึ่งเป็นสปินออฟจาก MIT เดินคนละเส้นทาง โดยไม่ได้ทิ้ง Transformer ทั้งหมด แต่ผสมกับ liquid neural networks เพื่อสร้างสิ่งที่เรียกว่า liquid foundation models เป้าหมายคือทำให้โมเดลมีขนาดเล็กลง ประหยัดพลังงานขึ้น และเหมาะกับอุปกรณ์ปลายทางมากกว่าเดิม เช่น ชิปในรถยนต์หรือแม้แต่ Raspberry Pi บริษัทอ้างว่าระบบของตนมีขนาดเล็กและใช้พลังงานต่ำกว่ามาตรฐานตลาดมาก ขณะเดียวกันก็ได้รับความนิยมสูงในเชิงการดาวน์โหลดและการใช้งานจากองค์กรขนาดเล็ก

ภาพรวมของบทความคืออุตสาหกรรม LLM กำลังเข้าสู่ช่วง “หลังยุค Transformer” ในเชิงวิศวกรรม แม้โมเดลแบบนี้จะยังไม่หายไปไหน แต่ตลาดเริ่มมองหาสถาปัตยกรรมที่ทำงานได้เร็วกว่า ถูกกว่า และรองรับบริบทขนาดใหญ่ได้ดีกว่าเดิม ทั้งการเปลี่ยน attention ไปเป็นรูปแบบใหม่ การใช้กลไก retention หรือการสร้างโมเดลไฮบริดที่มีความยืดหยุ่นมากขึ้น ผู้เล่นหน้าใหม่อาจยังไม่มีข้อได้เปรียบเรื่องขนาดหรือส่วนแบ่งตลาด แต่มีโอกาสสูงที่จะกำหนดทิศทางถัดไปของ AI หากแนวคิดเหล่านี้พิสูจน์ตัวเองได้จริง