Last Updated on 11/01/2024 by rromruns
Mark Zuckerberg บอกว่า Meta ใช้ชิป GPU AI NVIDIA H100 จำนวนกว่า 100,000 ตัวในการฝึกระบบ AI Llama 4 ใหญ่ที่สุดเท่าที่เคยเห็นมา
Meta อาจจะไม่ใช่บริษัทแรกที่ฝึกระบบ AI ด้วยชิป NVIDIA H100 100,000 ตัว ก่อนหน้านี้ Elon Musk ก็มี Gigafactory of Compute ของตัวเองที่ใช้ชิป 100,000 ตัวด้วยเช่นเดียวกัน พร้อมแผนที่เตรียมขยายเพิ่มอีกเป็น 200,000 ตัว ส่วน Meta ก็มีแผนที่จะขยายให้ถึง 500,000 ตัวภายในสิ้นปี 2024
โมเดล AI Llama 4 ของ Meta นี้ถือว่ามีความแตกต่างโดดเด่นไม่เหมือนใคร เพราะว่าเปิดให้ใช้งานฟรี ไม่ว่าจะเป็นนักวิจัย บริษัทต่าง ๆ หรือองค์กรสามรถเอาไปใช้งานได้ แตกต่างจาก GPT-4o ของ OpenAI และ Gemini ของ Google ที่จะใช้งานได้ผ่าน API เท่านั้น
แต่ Meta ก็แผนที่จะจำกัดการใช้งานผ่าน license อนุญาตในอนาคต อย่างเช่นการจำกัดการใช้งานเชิงพาณิชย์ และจะไม่บอกข้อมูลใด ๆ ว่าใช้การฝึกด้วยรูปแบบไหน แต่ด้วยความเป็น open source ก็จะช่วยให้สามารถที่จะได้รับความนิยมในการใช้งานในอนาคตของวงการ AI อย่างแน่นอน
ส่วนอีกมุมของการฝึกระบบ AI ก็ต้องแลกมาด้วยการใช้พลังงานไฟฟ้ามหาศาล เพียงแค่ชิป GPU AI รุ่นใหม่ตัวเดียว ก็กินไฟกว่า 3.7MWh ต่อปีแล้ว เท่ากับว่า 100,000 ตัว จะต้องใช้ไฟอย่างน้อยถึง 370GWh ต่อปี มากพอสำหรับจ่ายให้บ้านกว่า 34 ล้านหลัง ซึ่งก็ถือว่าเป็นปัญหาที่น่ากังวลในอนาคต ว่าจะหาแหล่งพลังงานจากไหน ซึ่งตัว Mark Zuckerberg เองก็บอกว่านี่จะกลายเป็นปัญหาจำกัดการเติบโตของ AI ในอนาคต
หนึ่งในทางออกที่หลาย ๆ ฝ่ายมองกันไว้ก็คือการสร้างโรงงานไฟฟ้านิวเคลียร์ขนาดเล็ก เพื่อจ่ายไฟให้ data center ขนาดใหญ่นี้ได้เพียงพอ ไม่จำเป็นต้องพึ่งพาจากโรงงานไฟฟ้าที่อื่น
ที่มา ibit.ly/9fDsK
