Last Updated on 10/31/2024 by rromruns
ชิป AMD Ryzen AI 9 375 ทำประสิทธิภาพความแรง AI LLM ได้มากกว่า Intel Lunar Lake สร้าง token ได้เร็วกว่าสูงสุด 27% ใน LM Studio
เป็นการทดสอบจาก AMD เอง โดยใช้ชิป Ryzen AI 9 HX 375 วัดกับ Core Ultra 7 258V ใช้ทั้งโมเดล Meta’s Llama 3.2 แบบ 1b และ 3b, Microsoft Phi 3.1 4k Mini Instruct 3b, Google Gemma 2 9b และ Mistral Nemo 2407 12b
ซึ่ง AMD ก็สามารถทำได้เร็วกว่าในทุกโมเดลอิงจากกราฟที่โชว์ให้ดู ซึ่งแรมที่ใช้นั้น ในฝั่งของ AMD ก็ใช้แรมที่ช้ากว่าด้วย เป็น 7500 MT/s ในขณะที่ฝั่งของ Intel ใช้ 8533 MT/s ซึ่งเป็นอีกตัวแปรที่มีผลต่อความเร็วของ LLM
แต่จุดนึงที่ต้องคำนึงถึงคือการเอา 2 รุ่นมาวัดกันไม่ค่อยจะแฟร์เท่าไหร่นัก เพราะชิปของ Intel ตัวนี้เป็นรุ่นระดับกลาง ในขณะที่ของ AMD นั้นเป็นรุ่นที่สูงกว่า
นอกจากนั้น AMD ก็ยังโชว์ฟีเจอร์เพิ่มโดยใช้ GPU acceleration มาช่วยเร่งประสิทธิภาพ เทียบกันกับชิปของตัวเองระหว่างการเปิดฟีเจอร์และไม่เปิด ซึ่งทำให้ได้ความเร็วเพิ่มขึ้นมาอีก 20%
ที่มา ibit.ly/gxyez
