Last Updated on 07/31/2024 by rromruns
เบื้องหลังการฝึกระบบ Apple AI ของ Apple ดูเหมือนว่าจะเลือกใช้ชิปของ Google มากกว่าที่จะเลือกใช้ชิปของ NVIDIA ที่เป็นเจ้าตลาดอยู่ในตอนนี้
Apple เผยข้อมูลตัวเลข parameter ของ Apple Foundation Model (AFM) ที่ระดับ 2.73 พันล้าน โดยใช้หน่วยประมวลผล tensor processing unit (TPU) cloud clusters v4 และ v5p โดย Alphabet Inc ที่เป็นบริษัทแม่ของ Google
สำหรับตัว AFM จะเป็นหัวใจหลักสำคัญของระบบ AI บน cloud ของ Apple ที่มีชื่อเรียกว่า Apple Cloud Compute ซึ่ง Apple มีการฝึกระบบตัวนี้ที่ระดับ 6.3 ล้านล้าน token ตั้งแต่ 0 บนชิป TPUv4 จำนวน 8192 ตัว
ตัวโมเดล AFM ที่ใช้ทั้งบนตัวเครื่องต่าง ๆ ของ Apple และบน cloud ได้รับการฝึกด้วยชิป TPUv4 และ v5p Cloud TPU clusters โดยตัวหลัง v5p นี้เป็นส่วนหนึ่งของ Cloud AI ‘Hypercomputer’ ของ Google ที่เพิ่งประกาศเปิดตัวออกมาเมื่อปีที่แล้ว
ในพอด v5p แต่ละพอดนั้น จะมีชิปจำนวน 8,960 ตัว ให้กำลัง floating point operations per second (FLOPS) มากเป็น 2 เท่า และมีหน่วยความจำมากเป็น 3 เท่าจจาก TPU v4 ช่วยให้ฝึกระบบ AI ได้เร็วขึ้นถึง 3 เท่า
ชุดเด่นอีกอย่างที่ AFM server นั้นเหนือกว่าเจ้าอื่น ๆ คือเรื่องของการปล่อยข้อมูลที่เป็นอันตรายออกมาน้อยที่สุด อยู่ที่ 6.3% เทียบกับ GPT-4 ของ OpenAI ที่มีตัวเลขอยู่ที่ 28.8% หรือตัวเวอร์ชันสำหรับใช้ภายในเครื่องไม่ออก cloud ก็ยังมีต่ำที่ 7.5% ในขณะที่ Llama-3-8B ที่ฝึกโดย Meta ของ Facebook ก็ยังสูงกว่าที่ 21.8%
ด้านตัวเลขความพึงพอใจในการทำงานกับ อีเมล ข้อความ และการสรุปการแจ้งเตือน AFM บนตัวเครื่องก็ได้ตัวเลขที่สูง 71.3%, 63% และ 74.9% ตามลำดับ ซึ่งทำได้ดีกว่าโมเดลอื่น ๆ ทั้ง Llama, Gemma และ Phi-3
ที่มา ibit.ly/nBGC4
