Mark Zuckerberg ผู้ก่อตั้ง Meta เปิดเผยในสายประชุมผลประกอบการของบริษัทว่า Meta กำลังฝึกฝนโมเดล Llama 4 บนคลัสเตอร์ที่ใช้ GPU กว่า 100,000 ตัวจาก Nvidia รุ่น H100 ซึ่งเขากล่าวว่าใหญ่ที่สุดเท่าที่เคยเห็นในอุตสาหกรรม AI นอกจากนั้น Zuckerberg ยังบอกว่า Llama 4 จะมาพร้อมกับ “ความสามารถใหม่” “การให้เหตุผลที่แข็งแกร่งขึ้น” และ “ความเร็วที่มากขึ้น” ซึ่งเป็นจุดสำคัญในการแข่งขันกับยักษ์ใหญ่เทคโนโลยีอย่าง Microsoft, Google และ xAI ของ Elon Musk ในการพัฒนา AI ยุคถัดไป
Meta ไม่ใช่บริษัทแรกที่มีคลัสเตอร์ขนาดใหญ่ถึง 100,000 GPU โดยก่อนหน้านี้ Elon Musk ได้เปิดตัวคลัสเตอร์ขนาดใกล้เคียงกันในเดือนกรกฎาคม เรียกว่า ‘Gigafactory of Compute’ พร้อมแผนขยายเป็น 200,000 GPU ในอนาคต อย่างไรก็ตาม Meta คาดว่าจะมี GPU แบบ H100 จำนวนกว่าครึ่งล้านตัวภายในสิ้นปี 2024 ซึ่งเป็นการแสดงให้เห็นถึงความมุ่งมั่นในการผลักดัน Llama 4 อย่างเต็มกำลัง
ความพิเศษของ Llama 4 คือการที่ Meta เปิดให้ใช้งานได้ฟรีในลักษณะของ โอเพนซอร์ส ซึ่งนักวิจัยและบริษัทต่าง ๆ สามารถนำไปพัฒนาต่อได้ แตกต่างจาก OpenAI และ Google ที่จำกัดการใช้งานไว้เฉพาะ API แม้ Meta จะยังคงจำกัดบางส่วน เช่น การใช้เชิงพาณิชย์ แต่การเปิดกว้างนี้อาจช่วยให้ Llama 4 กลายเป็นโมเดลที่แข็งแกร่งในอนาคต โดยเราได้เห็นตัวอย่างจากการที่โมเดล AI ของจีนพัฒนาบนโอเพนซอร์สจนสามารถแข่งขันกับ GPT-4 และ Llama-3 ได้ในหลายด้าน
การใช้ GPU จำนวนมากขนาดนี้ต้องการพลังงานมหาศาล โดย GPU รุ่นใหม่ใช้พลังงานสูงสุดถึง 3.7 เมกะวัตต์ต่อชั่วโมงต่อปี ซึ่งหมายความว่าคลัสเตอร์ที่ใช้ 100,000 GPU จะต้องใช้พลังงานมากถึง 370 กิกะวัตต์ชั่วโมงต่อปี พอ ๆ กับที่ใช้เลี้ยงครัวเรือนกว่า 34 ล้านครัวเรือนในสหรัฐฯ ทำให้เกิดความกังวลเกี่ยวกับการจัดหาพลังงานให้เพียงพอต่อความต้องการนี้
ตัวอย่างเช่น Elon Musk ต้องใช้เครื่องกำเนิดไฟฟ้าขนาดใหญ่เพื่อจ่ายพลังงานให้คลัสเตอร์ของเขาใน Memphis และ Google เองก็ล้าหลังในการบรรลุเป้าหมายการลดการปล่อยก๊าซเรือนกระจกโดยเพิ่มขึ้นถึง 48% ตั้งแต่ปี 2019 ขณะเดียวกันก็มีการเสนอให้ใช้ AI ช่วยแก้ปัญหาสิ่งแวดล้อมในอนาคต
Meta เองยังไม่เปิดเผยว่ามีการจัดการด้านพลังงานอย่างไรในการรันคลัสเตอร์ขนาดใหญ่นี้ ในขณะที่คู่แข่งเช่น Microsoft, Google, Oracle และ Amazon กำลังหันมาลงทุนในพลังงานนิวเคลียร์ขนาดเล็กและการฟื้นฟูโรงไฟฟ้านิวเคลียร์เก่า เพื่อให้มีพลังงานเพียงพอในการพัฒนา AI ของตนต่อไป
การทุ่มลงทุนใน GPU ของ Meta แสดงให้เห็นถึงความมุ่งมั่นในการพัฒนา AI ที่จะเป็นอนาคตของวงการ แม้จะมีความท้าทายด้านพลังงานและทรัพยากร แต่การร่วมมือกับภาคพลังงานนิวเคลียร์อาจเป็นคำตอบที่จะทำให้การพัฒนา AI สามารถเติบโตอย่างยั่งยืนได้
