AMD เผยวิธีใช้โมเดลภาพสร้างแสงสะท้อนแบบเรียลไทม์ ลุ้นต่อยอด FSR รุ่นใหม่

AMD เปิดเผยงานวิจัยด้านเรนเดอร์ยุคใหม่ที่ใช้โมเดลสร้างภาพเพื่อแทนการคำนวณแสงทางอ้อมหรือ global illumination แบบเดิม โดยแนวคิดคือให้ระบบมองฉากที่มีแค่แสงตรงจากต้นกำเนิดแสงเป็น “ข้อมูลตั้งต้น” แล้วให้โมเดล diffusion สร้างภาพแสงสะท้อน แสงกระทบต่อเนื่อง และเงานุ่มที่สมจริงขึ้นมาในลักษณะทีละเฟรม งานนี้มีชื่อว่า “Temporally stable generative illumination with a one-step diffusion model” และเป็นอีกสัญญาณว่า AMD กำลังเดินหน้าแนวทาง neural rendering ที่จะเข้ามาเป็นส่วนหนึ่งของอนาคตกราฟิกบนการ์ด Radeon และคอนโซล

จุดเด่นของงานวิจัยนี้คือการใช้ diffusion model แบบก้าวเดียว ซึ่งต่างจากโมเดลสร้างภาพทั่วไปที่ต้องผ่านการลดสัญญาณรบกวนหลายรอบ ทำให้เหมาะกับงานที่ต้องการความเร็วมากพอสำหรับการประมวลผลแบบเรียลไทม์ AMD เลือกใช้ Stable Diffusion 2.1 Turbo เป็นแกนหลักของระบบ และป้อน “คำใบ้” ด้านแสงจากฉากเข้าไปเพื่อให้โมเดลเน้นสร้างเฉพาะเอฟเฟกต์แสง ไม่ได้พยายามสร้างรายละเอียดภาพทั้งฉากขึ้นใหม่ทั้งหมด

เพื่อให้โมเดลเรียนรู้รูปแบบแสงได้หลากหลาย ทีมวิจัยฝึกบนชุดข้อมูลสังเคราะห์ราว 31,000 เฟรมจากฉากภายในที่เรนเดอร์ด้วย Blender Cycles โดยมีการจัดแสงหลายแบบและวัตถุเคลื่อนไหวไปมา จากนั้นใช้ GPU ตระกูล Instinct MI210 ของ AMD ในการฝึกซ้ำหลายรอบ นอกจากนี้ยังใช้สัญญาณประกอบอย่าง sparse lighting, radiance, material และ geometry เพื่อช่วยให้ผลลัพธ์สอดคล้องกับโครงสร้างของฉากมากขึ้น ลดโอกาสที่โมเดลจะ “แต่งเติม” สิ่งที่ไม่ควรมีเข้าไปในภาพ

อีกปัญหาสำคัญของการสร้างภาพแบบเฟรมต่อเฟรมคือความสั่นไหวหรือความไม่ต่อเนื่องระหว่างเฟรม AMD จึงเพิ่ม temporal VAE หรือ TVAE เข้ามา โดยอาศัย motion vectors และข้อมูลจากเฟรมก่อนหน้าเพื่อช่วยล็อกความสม่ำเสมอของแสงและเงา วิธีนี้มีเป้าหมายเพื่อลดอาการภาพกระพริบหรือรายละเอียดเปลี่ยนไปมา ซึ่งเป็นจุดอ่อนสำคัญของเทคนิคเชิงกำเนิดเมื่อเอามาใช้กับเกมหรือกราฟิกแบบเวลาจริง

ผลลัพธ์สุดท้ายจะถูกผสานกลับเข้ากับภาพเดิมที่มีเฉพาะ direct lighting ทำให้ข้อผิดพลาดที่อาจเกิดจากโมเดลถูกกลบให้เบาลงบางส่วน AMD ระบุว่าวิธีนี้เหมาะกับงานเรนเดอร์แบบ real-time ที่ทำงานเป็นเฟรมต่อเฟรม และจากการเปรียบเทียบในงานวิจัย ทีมพัฒนามองว่าแนวทางของตนช่วยกู้คืนเงานุ่มและ bounce lighting ได้ดีกว่าบางวิธีคู่แข่งที่มีปัญหาสร้างสิ่งเกินจริงหรือบิดเบือนรูปทรงฉาก

แม้ผลลัพธ์จะน่าสนใจ แต่ประสิทธิภาพยังห่างจากการใช้งานจริงในเกมระดับสูงอยู่พอสมควร โดยโมเดลใช้เวลาประมวลผลราว 0.29 วินาทีต่อเฟรมที่ความละเอียด 512 x 512 หรือประมาณ 3.45 เฟรมต่อวินาที และต้องใช้ VRAM ประมาณ 8–9GB อีกทั้งนี่เป็นเพียงส่วนของ global illumination ใน pipeline ทั้งหมด ไม่ใช่การเรนเดอร์ทั้งเฟรมแบบสมบูรณ์

ภาพรวมของเรื่องนี้สะท้อนว่าคู่แข่งรายใหญ่ของ Nvidia ก็เร่งพัฒนาแนวทาง neural rendering อย่างจริงจังเช่นกัน และงานวิจัยล่าสุดของ AMD อาจเป็นหนึ่งในชิ้นส่วนสำคัญของ FSR รุ่นถัดไปหรือเทคโนโลยีกราฟิกใหม่อย่าง FSR Diamond ที่บริษัทเคยพูดถึงไว้ อย่างไรก็ดี ยังต้องจับตาว่า AMD จะสื่อสารและนำเทคโนโลยีลักษณะนี้ไปใช้งานจริงกับเกมเมอร์อย่างไร เพื่อหลีกเลี่ยงกระแสต่อต้านแบบที่วงการกำลังถกเถียงกันอยู่กับฝั่ง Nvidia ในประเด็น DLSS รุ่นใหม่