لسنوات عديدة، تخلفت AMD تاريخيًا عن Nvidia في معظم أحمال العمل المرتبطة بالذكاء الاصطناعي. لقد كانت Nvidia دائمًا تقريبًا الخيار الأكثر أداءً، حتى لو كان ذلك بسعر أعلى، وهو ما لا يزال صحيحًا جزئيًا حتى يومنا هذا.
لحسن الحظ، يبدو أن AMD قد لحقت (في الغالب) بشركة Nvidia ومجموعة برامج Radeon Open Compute (ROCm)، وهي تجربة ممتعة بشكل مدهش على Linux.
ساعدت أيضًا إصدارات الأجهزة الحديثة مثل سلسلة Ryzen AI، ولاختبار ذلك، قمت باستخدام جهاز ROG Flow Z13 الموثوق به – والذي يحتوي على ذاكرة مشتركة بسعة 32 جيجابايت ويعمل على مجموعة شرائح AMD Ryzen AI Max 390. إنها نعمة ونقمة في نفس الوقت، حيث أن AI Max “يشارك” مجموعة الذاكرة لكل من VRAM وذاكرة الوصول العشوائي للنظام، مما يعقد الأمور قليلاً.
تشغيل كل شيء على نظام Arch Linux
وإلقاء نظرة على نظام الاختبار
كان تثبيت Ollama على Arch Linux أمرًا بسيطًا للغاية. كل ما كان علي فعله على نظامي هو تشغيل الجهاز الطرفي وتنزيل أحدث إصدار من AUR باستخدام Pacman.
نظرًا لأن هذا كان نظامًا يعتمد بالكامل على AMD، فقد اضطررت إلى اختيار الحزم بعناية. الخياران اللذان اخترتهما هما ollama-vulkan وolla-rocm، متبوعًا بتمكين خدمة الخدمة على مستوى النظام.
sudo pacman -S ollama ollama-vulkan ollama-rocm rocm-hip-sdk rocm-opencl-sdk
sudo systemctl enable --now ollamaمن الممكن أيضًا تثبيت Ollama بالكامل باستخدام البرنامج النصي لتثبيت الويب، لكنني اخترت عدم القيام بذلك عمدًا. السبب وراء ذلك هو اختيار التحديثات المركزية، بدلاً من الاعتماد على Ollama للحصول على التحديثات بشكل منفصل.
بعد إعداد شركة Ollama، حان الوقت أخيرًا لنشر بعض النماذج:
-
جيما2:9ب
-
ميسترال: 7 ب
-
فاي4:14ب
-
Deepseek-r1:8b
-
Deepseek-r1:14b
-
اللافا:7 ب
-
اللافا:13ب
علينا أيضًا أن نأخذ في الاعتبار حدود الأجهزة. يستخدم الطراز الخاص بي من Flow Z13 مجموعة شرائح AI Max 390 ذات المواصفات المنخفضة، مع Radeon 8050S iGPU الذي يحتوي على 8 وحدات CU أقل من 8060S الرائد.
كما أنه يحتوي أيضًا على 32 جيجابايت فقط من الذاكرة المشتركة بين النظام وiGPU، مما سيحد من عدد النماذج التي يمكننا تشغيلها. ومع ذلك، من الممكن تخصيص ما يصل إلى 24 جيجابايت من VRAM من داخل BIOS، والتي يجب أن تكون على قدم المساواة مع معظم وحدات معالجة الرسومات الاستهلاكية المتطورة.
ومع ذلك، هذه نصف القصة فقط – ما زلنا بحاجة إلى أخذ النطاق الترددي للذاكرة في الاعتبار، والذي يبلغ حوالي 256 جيجابايت/ثانية بالنسبة لـ AI Max. قارن هذا بـ RX 9070 (640 جيجابايت/ثانية)، والذي يعد واحدًا من أفضل العروض المطلقة من AMD، ومن الواضح تمامًا أن هذا قد لا يكون مثيرًا للإعجاب، على الأقل للوهلة الأولى.
تشغيل المعايير
بعض النتائج المفاجئة إلى حد ما لـROCm مقابل Vulkan
من أجل قياس الأداء، استخدمت مجموعة llm-benchmark، التي تسحب التبعيات الضرورية تلقائيًا.
sudo pacman -S python-pip python-pipx
pipx install llm-benchmark
llm_benchmark runبالتبديل بين الواجهات الخلفية لـ Vulkan وROCm، قمت بتشغيل سلسلة من المعايير التي استغرقت بعض الوقت حتى تكتمل. تم دفع الماكينة إلى الحد الأقصى المطلق، مع وجود الحد الأقصى لـ TDP في مكانه.
من الرسوم البيانية، كان من المفاجئ جدًا مدى قرب ROCm وVulkan من حيث الأداء. بالنسبة للجزء الأكبر، كان أداؤهم هو نفسه إلى حد كبير. ومع ذلك، فقد واجهت أخطاء “نفاد الذاكرة” في ROCm بشكل متكرر. على هذا النحو، أنا متردد في التوصية بـ ROCm في الوقت الحالي – التزم بـ Vulkan للحصول على تجربة أكثر استقرارًا.
يعمل الطراز 32 CU Radeon 8050S بشكل مثير للإعجاب نظرًا لعامل الشكل الصغير وانخفاض TDP، حيث يقترب من Nvidia RTX 4060 Mobile، وهو عبارة عن وحدة معالجة رسومات متوسطة المدى أكثر استهلاكًا للطاقة. في حين أن RX 4060 Mobile لديه قوة أكبر، فإنه سيواجه حتمًا اختناقات بفضل ذاكرة VRAM التي تبلغ سعتها 8 جيجابايت.
في المقابل، يتمتع Strix Halo بإمكانية الوصول إلى ذاكرة الوصول العشوائي (RAM) الكاملة البالغة 32 جيجابايت، مما يجعله خيارًا واضحًا لطلاب LLM الأثقل. هذا هو النمط مع AMD الذي ستعتاد عليه.
من ناحية أخرى، يتمتع جهاز الكمبيوتر المكتبي RX 9070 XT بأفضل حالة استخدام تبلغ 95 توك / ثانية على طرازات 7B، وهو ما يمثل تقريبًا زيادة بمقدار 2x عن 8050S. كما أن لديها قيمة أفضل بكثير مقابل المال وعرض النطاق الترددي للذاكرة، مما يجعلها اختيارًا سهلاً لمعظم الناس.
ومع ذلك، عند مقارنتها بـ RTX 5090 من Nvidia، فإن جميع عروض AMD أقل من التوقعات بشكل مثير للضحك. تعد بطاقة 5090 ببساطة بطاقة أفضل بكثير للذكاء الاصطناعي المحلي، ولكنها أيضًا باهظة الثمن بشكل غير معقول بالنسبة لمعظم الناس. تعد AMD مجرد اختيار أكثر عقلانية ويصادف أيضًا أنها أخف كثيرًا على محفظتك، وتوفر أداءً تنافسيًا مقابل سعرها.
الأداء جيد إلى حد معقول، ولكن القيمة هي المكان الذي تتألق فيه AMD حقًا
على الرغم من أنني لا أستطيع أن أنكر أن Nvidia تقدم حاليًا الأفضل على الإطلاق لمجالات LLM، إلا أن AMD قامت بعمل جيد للحاق بالركب في السنوات الأخيرة. لقد شهد كل من ROCm وVulkan تحسينات كبيرة، وأصبحت AMD الآن بديلاً تنافسيًا بشكل مدهش.
لا يوجد سبب كبير لدفع مبالغ إضافية مقابل بطاقة Nvidia – خاصة عندما نأخذ في الاعتبار مدى خطورة تأثرها باستخدام VRAM.
