DeepSeek: التشغيل محليًا — دليل مكون من 4 خطوات (لا حاجة لأي خبرة)

قم بتثبيت Ollama على نظامك. Ollama هو البرنامج الخلفي الذي يشغل نماذج اللغات الكبيرة؛ ولا يحتوي على واجهة مستخدم رسومية (أي الصفحة التي تتفاعل معها عبر الويب). ستأتي هذه الواجهة لاحقًا.

قم بالتثبيت عبر الرابط التالي:

https://ollama.com/download/windows

بعد الانتهاء، اختبر أن البرنامج يعمل بشكل صحيح:

• افتح موجه الأوامر (اكتب "cmd" في شريط البحث لفتح موجه الأوامر)
• في موجه الأوامر، اكتب "ollama" ثم اضغط على Enter
  • يجب أن تظهر قائمة بالأوامر؛ وهذا يعني أن Ollama يعمل بشكل صحيح. يمكنك إغلاق نافذة موجه الأوامر؛ فالبرنامج يعمل في الخلفية:
  • إذا ظهرت الرسالة "'ollama' is not recognized as an internal or external command, operable program or batch file"، فهذا يعني أن عملية التثبيت فشلت. حاول مرة أخرى.

C:\Users\you>ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  run         Run a model
  pull        Pull a model from a registry
  list        List models
  ps          List running models
  rm          Remove a model
  ...

يُعتبر هذا الخطوة مكتملة عندما: يمكنك تشغيل Ollama من موجه الأوامر

إذا لم يكن لديك Docker بالفعل، فقم بإعداده وفقًا للتعليمات التالية (لا داعي لإجراء أي تعديلات؛ نفذها كما هي):

https://docs.docker.com/desktop/setup/install/windows-install

يُعتبر هذا الخطوة مكتملة عندما: يمكنك فتح Docker على جهازك:

Open WebUI هو مجرد واجهة تتيح لك التفاعل مع Ollama. هناك عدة واجهات متاحة؛ وهذه هي التي أستخدمها أنا.

اتبع التعليمات الموجودة في صفحة البدء السريع:

https://docs.openwebui.com/getting-started/quick-start

• في وقت كتابة هذه التعليمات، كل ما كان مطلوبًا هو تنفيذ الأمرين التاليين (ملاحظة: هذا لأن لدي بطاقة رسومية من Nvidia):
  • docker pull ghcr.io/open-webui/open-webui:main
  • docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda
    • هذا الأمر الثاني يعمل فقط مع من يمتلكون بطاقات رسومية من Nvidia (CUDA مخصص لبطاقات Nvidia فقط)
    • توجد تعليمات أخرى في الرابط المذكور أعلاه

بعد الانتهاء، يجب أن ترى حاوية جديدة في برنامج Docker الخاص بك:

انقر على المنفذ لفتح واجهة المستخدم الرسومية.

• بعد ظهور الواجهة، قم بإنشاء حساب تسجيل دخول
  • البرنامج يعمل محليًا، لذا فإن هذه الخطوة مجرد طريقة للتحقق من هويتك على جهازك؛ ولا يتم إنشاء أي حساب عبر الإنترنت.
  • إليك وثائق Open WebUI المتعلقة بإنشاء الحسابات: الرابط

يُعتبر هذا الخطوة مكتملة عندما: يمكنك فتح واجهة المستخدم الرسومية (بالنقر على "Port(s)" في حاوية Docker) وتسجيل الدخول إلى Open WebUI

ملاحظة: لا ينبغي أن يكون هناك أي نموذج لغوي مُحمَّل بعد.

المعاملات هي مؤشر على حجم النموذج؛ فهناك نماذج بـ ٧ مليارات، ١٤ مليار، ٣٢ مليار معامل، وهكذا. بدون تكميم، يحتاج كل مليار معامل إلى حوالي ١ جيجابايت من ذاكرة الفيديو؛ لذا فإن بطاقة رسوميات بسعة ٨ جيجابايت يمكنها تشغيل نموذج مكون من ٧ مليارات معامل بمستوى تكميم كامل. وينطبق الأمر نفسه على حجم الملفات: نموذج بـ ٧ مليارات معامل يبلغ حجمه حوالي ٧ جيجابايت، بينما النموذج الذي يحتوي على ٤٠ مليار معامل يبلغ حجمه حوالي ٤٠ جيجابايت. كلما كان النموذج أكبر، كان أكثر ذكاءً؛ فالنموذج الذي يحتوي على ٧ مليارات معامل قد يبدو بطيئًا في الاستجابة، بينما النسخة التي تحتوي على ٤٠ مليار معامل تبدو وكأنها بشرية في استجاباتها.

التكميم هو عملية ضغط البيانات، ويُقاس بعدد البتات المستخدمة؛ وعادةً ما يكون ذلك ١٦، ٨، ٦، أو ٤ بت. كلما قل عدد البتات، كان حجم الملف أصغر لكن مع بعض فقدان في الجودة؛ فعلى سبيل المثال، عند استخدام ١٦ بت، يحتاج مليار معامل إلى حوالي ١ جيجابايت من الذاكرة، بينما عند استخدام ٤ بت، يصبح الحجم حوالي ٠.٦ جيجابايت فقط. كقاعدة عامة، فإن مستويات التكميم ١٦/٨/٦ بت تحافظ على ذكاء النموذج وحجمه الكامل؛ أما مستويات ٥ أو ٤ بت فهي مناسبة للنماذج متوسطة الحجم وتعمل بسرعة؛ بينما مستويات ٢ أو ٣ بت تنتج ملفات صغيرة جدًا لكن قد لا تحافظ على تماسك النموذج. إذا كنت ترغب في معرفة المزيد، هنا دليل بصري رائع حول التكميم.

على نظام ويندوز، اضغط على Ctrl + Shift + Esc لفتح مدير المهام، ثم انقر على علامة التبويب Performance، وبعد ذلك على قسم GPU. ستجد أن القيمة المشار إليها بـ Dedicated GPU Memory هي كمية ذاكرة الفيديو المتاحة لديك؛ فهذا هو الإجمالي، بينما الكمية المتبقية هي ما يمكنك استخدامه بعد خصم ما يتم استخدامه حالياً. على سبيل المثال، إذا كان الإجمالي ٢٤ جيجابايت وتم استخدام ١.٢ جيجابايت، فإن الكمية المتاحة لك هي حوالي ٢٢.٨ جيجابايت. وإذا كان لديك أكثر من بطاقة رسوميات (مثلي)، فقم بجمع كميات ذاكرة الفيديو الخاصة بكل منها للحصول على الإجمالي.