แหล่งรวมข่าวเทคโนโลยี
nerdsify
AI

คอลัมน์มองว่า Apple silicon และ MLX ทำให้ Mac กลายเป็นฐานรัน AI ในองค์กร

9to5Mac ชี้ว่า Apple ไม่ได้แข่งทำ frontier model โดยตรง แต่สร้างฮาร์ดแวร์และเฟรมเวิร์กที่รันโมเดลได้ดีพอสำหรับงานองค์กร ทั้งบน Mac Studio และ MacBook เครื่องเล็ก

คอลัมน์มองว่า Apple silicon และ MLX ทำให้ Mac กลายเป็นฐานรัน AI ในองค์กร

คอลัมน์ Apple @ Work ของ 9to5Mac มองว่า Apple กำลังมี “ทายาททางจิตวิญญาณ” ของ Xserve แล้ว แม้จะไม่ใช่เครื่องเซิร์ฟเวอร์แบบเดิมก็ตาม โดยแกนหลักคือ Apple silicon, unified memory และ MLX ที่ทำให้ Mac กลายเป็นเครื่องสำหรับรัน local AI model ในองค์กรได้จริง ข้อสังเกตนี้ยิ่งชัดขึ้นเมื่อ Meta นำ open-weight model ตัวใหม่มาปรับให้ทำงานบน Mac Studio และเมื่อแอปอย่าง Osaurus แสดงให้เห็นว่า MacBook ที่มีหน่วยความจำ 16GB ก็ยังรันโมเดลที่ใช้งานได้โดยไม่ต้องพึ่งเครือข่าย และบางโมเดลยังรันได้บนเครื่อง 8GB ด้วย

ผู้เขียนชี้ว่า ช่วงที่ผ่านมาเรื่องเล่าของวงการ AI คือ Apple ตามหลังเพราะไม่มี frontier model ของตัวเอง ขณะที่ Siri AI ถูกเลื่อนและ Apple Intelligence เปิดตัวได้ไม่ดีนัก แต่เขามองย้อนกลับไปว่า Apple อาจเลือกเส้นทางที่ถูกต้อง เพราะการแข่งขันทำโมเดลระดับแนวหน้ากลายเป็นสงครามเผาเงินที่ต้องใช้ GPU มหาศาลเพื่อรักษาความนำเพียงช่วงสั้น ๆ ขณะที่โมเดล open-weight ที่ “ดีพอ” เริ่มมาแทนที่ และสามารถรันบนฮาร์ดแวร์ที่มีอยู่แล้ว

บทความยกตัวอย่าง Muse Spark Open ซึ่งเป็นโมเดลขนาด 816 billion parameters, มี 42 billion active parameters และบริบทได้ 1 million-token โดย Apple ไม่ได้สร้างโมเดลนี้ แต่สร้างสถาปัตยกรรมที่รันมันได้ MLX คือเฟรมเวิร์กแมชชีนเลิร์นนิงของ Apple ที่ออกแบบมาสำหรับ unified memory ของ Apple silicon โดยตรง ใช้แนวคิดคล้าย NumPy และมีเครื่องมือระดับสูงสำหรับ neural networks, optimizers, automatic differentiation และ graph optimization พร้อมรองรับ Swift, C++ และ C ทำให้ขยายไปใช้งานบนแพลตฟอร์ม Apple ได้กว้าง

ตามข้อมูลของ Apple เอง งานวิจัยด้านแมชชีนเลิร์นนิงของบริษัทแสดงให้เห็นว่า Mac Studio ที่ใช้ M5 Ultra 4 เครื่องสามารถรัน Muse Spark Open ได้มากกว่า 36 tokens ต่อวินาที และใช้พลังงานสูงสุดราว 300 วัตต์ต่อเครื่อง ส่วน unified memory ช่วยให้ GPU ใน M5 Ultra เข้าถึงหน่วยความจำได้สูงสุด 512GB ต่อ Mac Studio ทำให้ 2 เครื่องสามารถเก็บโมเดลทั้งก้อนได้ ขณะที่แบนด์วิดท์หน่วยความจำ 1.2 TB/s ช่วยให้ข้อมูลที่ต้องอ่านต่อ token ไหลได้ทัน งานสาธิตที่ผู้เขียนทดสอบยังรวมถึงเวิร์กโฟลว์แบบ agentic บนอุปกรณ์ล้วน ๆ เช่น การแก้โค้ดใน Ice Cubes และการสั่ง DaVinci Resolve ให้ไล่ดูฟุตเทจทีละเฟรมเพื่อหาช่วงที่เด่นที่สุดแล้วครอปเป็นแนวตั้ง

อีกด้านหนึ่งที่สำคัญกับทีม IT มากกว่าคือการรันบนเครื่องปลายทางอย่าง MacBook ผู้เขียนอธิบายว่า Osaurus เป็นเครื่องมือ AI แบบฟรีและโอเพนซอร์สสำหรับ Mac ที่จัดการ local model แบบออฟไลน์ได้ แต่ก็เรียก frontier model ภายนอกเมื่อจำเป็น จุดเด่นคือมันสามารถใช้โมเดลขนาดเล็กตรวจจับชื่อ เบอร์โทรศัพท์ และเลขบัญชีในข้อความก่อน แล้วแทนด้วย placeholder ก่อนส่งต่อไปยัง Claude หรือ OpenAI อีกทั้งตัวแอปไม่มีเซิร์ฟเวอร์หรือฐานข้อมูลลูกค้า จึงยังใช้งานต่อได้แม้บริษัทหยุดทำงาน และยังมี paid tier สำหรับทีมที่ต้องการแชร์ agent ข้ามเครื่อง Mac ขององค์กรด้วย

ผู้ก่อตั้ง Osaurus บอกในพอดแคสต์ของ 9to5Mac ว่าเขาไม่แปลกใจหากอีกหนึ่งปีข้างหน้า local model จะทำได้ใกล้เคียงกับ frontier model ในปัจจุบัน และผู้เขียนเห็นด้วยว่าความหมายของ “good enough” จะขยับตามตลาดไปเรื่อย ๆ ทำให้สิ่งที่พนักงานส่วนใหญ่ต้องการไม่ใช่โมเดลที่ล้ำที่สุดเสมอไป แต่เป็นระบบที่ทำงานได้ดีพอในเครื่องที่มีอยู่แล้ว ตามมุมมองนี้ Apple ไม่ได้ไล่แข่งกับ OpenAI, Anthropic หรือ Nvidia โดยตรง แต่กำลังสร้างโครงสร้างพื้นฐานสำหรับยุคที่ AI ที่ใช้งานได้จริงจำนวนมากจะรันอยู่บน Mac แทนศูนย์ข้อมูลขนาดใหญ่

Palmer Luckey เตือนภัยโจมตีไซเบอร์ด้วย AI วิ่งนำระบบป้องกันที่ล้าหลัง
AI

Palmer Luckey เตือนภัยโจมตีไซเบอร์ด้วย AI วิ่งนำระบบป้องกันที่ล้าหลัง

ผู้ก่อตั้ง Oculus และผู้ร่วมก่อตั้ง Anduril ชี้ว่าศักยภาพของ AI กำลังทำให้การโจมตีไซเบอร์เกิดเร็วขึ้นกว่าการอัปเดตระบบป้องกันขององค์กรและหน่วยงานต่างๆ

MIT Technology Review ชี้แรงหนุน open-source AI หันมาหนุน Jensen Huang ท่ามกลางแรงกดดันจีน
AI

MIT Technology Review ชี้แรงหนุน open-source AI หันมาหนุน Jensen Huang ท่ามกลางแรงกดดันจีน

จดหมายเปิดผนึกเรียกร้องให้ดึง Jensen Huang กลับมาเป็น CEO ของ Nvidia มียอดลงชื่อเกิน 115,000 รายชื่อ โดยมีคนในแวดวง open-source AI อยู่จำนวนมาก ขณะเดียวกันข้อจำกัดใหม่ของสหรัฐและประเด็นชิปในจีนกำลังเพิ่มแรงกดดันต่อทั้ง Nvidia และขบวนการนี้

Osmo อ้างว่าโมเดล AI ดมกลิ่นเทียบชั้นมนุษย์ได้แล้ว
AI

Osmo อ้างว่าโมเดล AI ดมกลิ่นเทียบชั้นมนุษย์ได้แล้ว

สตาร์ทอัพจากอดีตทีม Google Brain ใช้ข้อมูลกลิ่นจำนวนมหาศาลฝึกโมเดล foundation model สำหรับ “กลิ่น” และเริ่มนำไปใช้ในอุตสาหกรรมน้ำหอมแล้ว แต่ยังมีเสียงตั้งข้อสงสัยเรื่องการพึ่งพามนุษย์ในการประเมินผล