StudioForge: خادم نماذج اللغوية يعمل فقط على وحدات معالجة الرسومات، وقد حل محل LM Studio.
- تاريخ النشر
- 23 أغسطس 2026
- تاريخ التحديث
- 19 أكتوبر 2026
- بقلم
- جاكوب لويد — كُتب بمساعدة الذكاء الاصطناعي بعد إنجاز المشروع
- مدة القراءة
- قراءة 9 دقيقة
بعبارة مبسطة: برنامج للكمبيوتر يتحكم في بطاقات الرسوميات لديك. تطلب التطبيقات منه إجابات ذكاء اصطناعي؛ فهو يحدد أي البطاقات يمكنها تشغيل النموذج المطلوب، ثم يشغلها ويحافظ عليها جاهزة أثناء الاستخدام، ويُغلقها عندما لا تكون قيد الاستعمال. إما أن يتناسب النموج مع جميع بطاقات الرسوميات أو يتم رفضه؛ فلا يُسمح أبدًا بتشغيله جزئيًا على المعالج البطيء. يتطلب البرنامج بطاقات NVIDIA، ويُفضل اختباره على نظام ويندوز. تستخدمه تطبيقات الدردشة ومساعدي الكود والبرامج الخاصة بك عن طريق تغيير عنوان واحد فقط. البرنامج مجاني ومفتوح المصدر (رخصة MIT).
StudioForge هو خادم النماذج المحلية الذي طورناه ليحل محل LM Studio على جهازنا المزود ببطاقة رسوميات من نوع NVIDIA. يقوم هذا الخادم بإدارة llama.cpp، ويتواصل مع واجهة برمجة التطبيقات الخاصة بـ OpenAI عبر المنفذ 1234 (وهو نفس منفذ LM Studio عمداً)، كما يضم لوحة تحكم قابلة للاستخدام عبر المتصفح ونظام استرداد تلقائي؛ بالإضافة إلى ذلك، يعرض واجهة إدارته عبر بروتوكول MCP حتى يتمكن أي وكيل على جهاز آخر من التحكم فيه دون الحاجة إلى استخدام واجهة سطر الأوامر.
الكود المصدري الكامل على GitHub أو قم بتنزيل ملف zip
طورنا هذا الخادم بعد مواجهة العديد من المشاكل مع LM Studio: ظهور أخطاء مثل 200 في حالات المسارات غير الصحيحة، وعدم وجود طريقة لمعرفة النموذج الذي تم تحميله فعلياً، بالإضافة إلى نماذج التفكير التي تتجاوز حد الـ 8,192 رمزاً المسموح به في إعدادات العميل. من الأمور المكلفة أيضاً وجود نماذج لا يمكن تقليص حجمها، فتُرفض تلقائياً. تشير وثائق LM Studio إلى أنه “يقوم تلقائياً بتقليص حجم البيانات المحملة على بطاقة الرسوميات… ويحفظ الباقي في ذاكرة النظام”، لكن هذا الإجراء يتم بسرعة ذاكرة النظام فقط، ورغم ذلك يُبلغ عن نجاح العملية.
إذا قرأتم المقالة المتعلقة بـ dsh، فإن كتلة المزود التي تحمل اسم “جهاز GPU المحلي” تمثل هذا الخادم بالضبط. وهو أيضاً ما يستخدمه نظام الوكلاء المحلي لدينا Local Agent Stack، بالإضافة إلى DisPatch وMailForge وInfoForge للحصول على النماذج اللازمة.
خلاصة مختصرة
- ما هو: خادم متوافق مع واجهة OpenAI يعمل فقط على بطاقات الرسوميات، ويستند إلى
llama-serverضمن llama.cpp. الإصدار الحالي هو 0.2.0، وقد تم اختباره مع بنية llama.cpp رقمb10425باستخدام CUDA 13.3. المنفذ الرئيسي هو1234، ولوحة التحكم متاحة على8080، بينما يوجد نظام مراقبة على1235؛ كما يتم تشغيل عملية منفصلة لكل نموذج محمل ضمن النطاق18100–18200. - ما يفعله: يقوم بتحميل النموذج عند أول استخدام، مع اختيار حجم السياق ونوع ذاكرة KV وتوزيعها على بطاقات الرسوميات بناءً على كمية الذاكرة المتاحة. يوقف تشغيل النماذج غير المستخدمة ويحافظ على النماذج المطلوبة محملة دائماً، كما يمكنه تخصيص بطاقة رسوميات كاملة لنموذج واحد عند الطلب؛ بالإضافة إلى ذلك، يوفر الإصدار 0.2.0 29 أداة MCP (19 للإدارة و10 لعمليات الاسترداد).
- ما لا يفعله أبداً: لا ينقل أي بيانات إلى وحدة المعالجة المركزية؛ فإذا لم يتسع النموذج في ذاكرة الرسوميات، يتم رفضه فوراً. كما لا يقوم بأي اتصالات خارجية إلا مع Hugging Face للحصول على النماذج، ومع GitHub للتحديثات واختبار الإصدارات الجديدة، بالإضافة إلى تحميل الصور التي يطلبها المستخدم.
- ما تحتاجه: بطاقات رسوميات من NVIDIA مع برامج تشغيل من سلسلة 580 أو أحدث، وPython 3.12+، بالإضافة إلى أداة uv ومجلد يحتوي على ملفات GGUF. إذا لم تكن قد جربت تشغيل النماذج محلياً من قبل، ابدأ هنا.
- القيود: مخصص لبطاقات NVIDIA فقط؛ ويُعتبر نظام ويندوز هو المنصة المرجعية. يدعم لينكس أيضاً ويتم اختباره ضمن أنظمة CI، لكننا لم نختبر تجميع الكود على لينكس بشكل كامل بأنفسنا. البرنامج مرخص بموجب رخصة MIT، مع وجود تبعية واحدة تحت رخصة LGPL يتم شرحها في قسم القيود.
وما ليس كذلك:
- ليس نموذجاً ولا محركاً. فالعمليات الحسابية يقوم بها llama.cpp، بينما يتولى StudioForge تحديد أي عملية ستعمل بأي إعدادات وعلى أي بطاقة رسوميات.
- ليس تطبيق دردشة. يوجد تبويب “الدردشة” فقط للتأكد من أن مسار الطلبات الفعلي يعمل بشكل صحيح.
- ليس خادماً لوحدة المعالجة المركزية. حيث أن قيمة
--n-gpu-layersمضبوطة دائماً على999في كافة أجزاء الكود. - ليس واجهة برمجة تطبيقات ثانية. لا يوجد أي منفذ لـ Ollama أو KoboldCpp؛ بل يتم توفير واجهة OpenAI الأصلية، بالإضافة إلى نسخة مشابهة لواجهة LM Studio على
/api/v0، وواجهة إدارة REST على/api.
كيفية المقارنة
| LM Studio 0.4.21 | StudioForge 0.2.0 | |
|---|---|---|
| المحرك | إصدارات خاصة من llama.cpp بالإضافة إلى MLX على أجهزة Apple | يستخدم إصداراً محدداً من llama-server، وهو الإصدار b10425 المدعوم بـ CUDA 13.3؛ تم اختباره قبل الاستخدام |
| المسارات غير الموجودة | يُرجع الرمز 200 مع رسالة خطأ؛ ويسجل في السجلات Returning 200 anyway | يُرجع الرمز 404 مع بيانات JSON، وتظهر بيانات JSON في جميع حالات الاستجابة |
| الأخطاء | رسائل نصية يمكن للعملاء مطابقتها عبر التعبيرات النمطية | يوجد رمز خطأ ثابت هو error.code، وتوجد معلومات تشخيصية تحت مسار error.studioforge |
| تحميل الإعدادات | يتم تجاهل قيمة context_length في أحد مساري التحميل؛ كما يتم تجاهل قيمة repetition_penalty دون أي تنبيه | مسار تحميل واحد فقط، حيث تُطبق جميع الإعدادات ويتم إرجاع القيم الفعلية المستخدمة |
| عندما لا تتوفر موارد كافية | "يقوم البرنامج تلقائياً بتقليل حجم البيانات المُحمَّلة على وحدة معالجة الرسومات … ويستخدم ذاكرة النظام للباقي" | يظهر الخطأ 507 insufficient_vram والذي يوضح كمية الذاكرة المطلوبة والمتاحة، بالإضافة إلى أقصى حجم سياق يمكن تحميله واقتراحات لحل المشكلة |
| دعم عدة وحدات معالجة رسومات | يمكن تحديد الأولوية أو تقسيم الحمل بين وحدات المعالجة؛ كما يدعم التوازي في الحسابات منذ الإصدار 0.4.15 | يحتوي على أداة تخطيط تحدد حجم السياق ونوع KV والعدد المناسب من وحدات المعالجة لكل مهمة |
| مدة الخمول قبل إلغاء التحميل | 60 دقيقة؛ يقوم النظام تلقائياً بإلغاء تحميل النموذج إلا إذا كان هناك نموذج واحد فقط محملاً | القيمة الافتراضية هي 1,800 ثانية (30 دقيقة)، لكن على أجهزتنا تكون 900 ثانية (15 دقيقة)؛ يتم مسح النماذج كل 15 ثانية، ويمكن تحميل عدد غير محدود من النماذج طالما تتوفر الذاكرة الكافية |
| الإدارة عن بُعد | /api/v1 للتحميل/الإلغاء/التنزيل؛ كما يوجد أداة LM Link في مرحلة الاختبار | /api لواجهة REST، بالإضافة إلى واجهة سطر الأوامر sfctl، و29 أداة MCP؛ يمكن استخدامها عبر الشبكة المحلية أو شبكة VPN خاصة |
| دعم بروتوكول MCP | يعمل كمضيف فقط (يستخدم خوادم MCP) | يعمل كخادم MCP لإدارة نفسه، بالإضافة إلى وجود خادم آخر للمراقبة والإشراف |
| المصدر البرمجي | مغلق؛ متاح مجاناً للاستخدام الشخصي وللشركات | مفتوح المصدر، تحت رخصة MIT |
تم التحقق من بيانات إصدار LM Studio مقابل سجل التغييرات والوثائق وأداة تتبع الأخطاء في 23 أغسطس 2026 (الإصدار 0.4.21، الصادر في 12 أغسطس 2026). البيانات المتعلقة بالصف الثاني موجودة في أداة تتبع الأخطاء العامة. أما الصفوف الثالث والرابع فهي ما اضطر عميلنا للتعامل معه عند استخدام واجهة API الخاصة بالإصدار 0.3.x؛ لم نعيد اختبارها على الإصدار 0.4.21، لذا يجب اعتبارها جزءاً من التاريخ المسجل فقط.
يُعد LM Studio التطبيق المكتبي الأفضل: واجهة مستخدم أنيقة، دعم MLX على أجهزة Apple Silicon، توافق مع واجهات Anthropic، تطبيق جوال مصاحب، بالإضافة إلى إصدارات متكررة. لكن الفرق الحقيقي يكمن في السلوك الافتراضي للبرنامجين؛ فـ LM Studio يحاول تشغيل النموذج بأي طريقة ممكنة، بينما StudioForge يرفض ذلك ويوضح الأسباب. وعندما يتخذ وكيل ذكاء اصطناعي قراراً بشأن ما يتم تحميله، فإن ذلك يصبح مهماً للغاية؛ لأن أي نظام لاحق لا يمكنه التمييز بين تحميل سريع وتحميل معيب دون إجراء قياسات محددة.
| الخادم · المحرك · الرخصة | التبديل الساخن / مدة الخمول | توزيع الاستخدام على عدة وحدات معالجة رسومية | منع استخدام وحدة المعالجة المركزية كاحتياطي | الإدارة عن بُعد / MCP |
|---|---|---|---|---|
| StudioForge 0.2.0 llama.cpp، إصدار محدد؛ رخصة MIT | ✅ التنفيذ الفوري؛ مدة الخمول 1,800 ثانية، مع تنظيف كل 15 ثانية | يتم التخطيط حسب النموذج؛ دعم استخدام بطاقات رسومية مختلفة، بالإضافة إلى آليات التثبيت والتخصيص | ✅ -ngl 999 + --fit off؛ يدعم 507 نموذجًا | ✅ واجهة REST بالإضافة إلى 29 أداة MCP |
| LM Studio 0.4.21 يستخدم llama.cpp الخاص به بالإضافة إلى MLX؛ رخصة مغلقة المصدر | ✅ التنفيذ الفوري؛ مدة الخمول 60 دقيقة، مع إخلاء الموارد تلقائيًا بعد ذلك | توزيع الأولوية أو التوزيع المتساوي للمهام، بالإضافة إلى دعم التوازي في المعالجة | ❌ يقلل من استخدام وحدة المعالجة المركزية كاحتياطي؛ تبقى البيانات في الذاكرة العشوائية | واجهة REST فقط؛ يدعم MCP كمضيف فقط |
| Ollama 0.32.15 يستخدم llama.cpp/GGML؛ يدعم MLX على أجهزة Apple؛ رخصة MIT | ✅ keep_alive لمدة 5 دقائق؛ يمكن تشغيل 3 نماذج لكل وحدة معالجة رسومية | يتم توزيع النماذج تلقائيًا على بطاقات الرسوميات المختلفة | ❌ يستخدم وحدة المعالجة المركزية كاحتياطي؛ يمكن مراقبة نسبة استخدامها عبر ollama ps | واجهة غنية عبر /api/*؛ لا يدعم خادم MCP |
| llama-server router (الإصدار b105xx، أغسطس 2026) يستند إلى llama.cpp؛ رخصة MIT | ✅ يُنشأ برنامج فرعي لكل نموذج؛ يدعم --sleep-idle-seconds بالإضافة إلى آلية LRU لتنظيف الموارد | يتم التحكم يدويًا عبر -sm / -ts / -dev | ❌ تفعيل خيار --fit on قد يقلل من كفاءة النظام | /models/load|unload |
| llama-swap الإصدار v251 بروكسي يقوم بتشغيل خوادم أخرى؛ رخصة MIT | ✅ يدعم تحديد مدة الخمول لكل نموذج/مجموعة عبر ttl | ❌ يعتمد على ما تحدده في الأمر cmd | لا ينطبق (فهو بروكسي فقط) | /ui بالإضافة إلى إمكانية توجيه الطلبات للخوادم الأخرى |
| vLLM 0.27.1 يستخدم تقنية PagedAttention الخاصة به؛ رخصة Apache-2.0 | ❌ لا يمكن تشغيل أكثر من نموذج في نفس العملية | يدعم التوازي على مستوى الموترات أو المسارات الوظيفية | دعم جزئي فقط (لا يوجد خيار لنقل الحسابات إلى وحدة المعالجة المركزية) | يدعم تقنية LoRA فقط؛ مخصص للتطوير المحلي |
| KoboldCpp 1.119 نسخة معدلة من llama.cpp تدعم الصور والصوت؛ رخصة AGPL-3.0 | ✅ يدعم --admin و --routermode | يمكن التحكم يدويًا عبر --tensor_split | ❌ يستخدم وحدة المعالجة المركزية كاحتياطي | /api/admin/*؛ يدعم عميل MCP فقط |
| TextGen (سابقًا oobabooga) الإصدار 4.9 يدعم أكثر من 5 محركات تشغيل، منها ExLlamaV3 و TRT-LLM؛ رخصة AGPL-3.0 | ✅ يمكن التبديل بين المحركات دون إعادة التشغيل؛ مدة الخمول غير معروفة | يمكن التحكم يدويًا عبر --tensor-split | ❌ يستخدم وحدة المعالجة المركزية كاحتياطي | /v1/internal/model/*؛ يدعم عميل MCP فقط |
| TabbyAPI (الإصدار المتجدد) يدعم ExLlamaV3 فقط؛ لا يدعم تنسيق GGUF؛ رخصة AGPL-3.0 | ✅ يدعم التحميل الفوري وإدارة الإعدادات عبر واجهة الإدارة؛ مدة الخمول غير معروفة | خيار gpu_split_auto مفعّل بشكل افتراضي | ✅ لا يستخدم وحدة المعالجة المركزية كاحتياطي (نظرًا لطبيعة ExLlama) | يمكن التحكم عبر المفتاح الإداري في /v1/model/load |
| Jan 0.8.4 يعمل بوضعية الراوتر باستخدام llama.cpp؛ رخصة Apache-2.0 | ✅ يدعم التشغيل عبر واجهة الراوتر؛ مدة الخمول غير معروفة | يتبع إعدادات llama.cpp نفسه | ❌ يستخدم وحدة المعالجة المركزية كاحتياطي | /v1/orchestrations؛ يدعم عميل MCP فقط |
| LocalAI 4.9.0 يدعم أكثر من 60 محركًا كصور حاوية؛ رخصة MIT | ✅ يدعم التحميل عند الطلب؛ يُحدد مدة الخمول عبر WATCHDOG_IDLE_TIMEOUT | يتم توزيع الموارد على بطاقات الرسوميات تلقائيًا | ❌ يدعي أنه لا يحتاج إلى وحدة معالجة رسومية، لكن ذلك غير صحيح | واجهة REST بالإضافة إلى واجهة مستخدم؛ يدعم عميل MCP فقط |
| GPUStack 2.2.3 يدعم vLLM و SGLang و MindIE و VoxBox؛ رخصة Apache-2.0 | دعم جزئي فقط (في حالات النشر على مجموعات الخوادم) | يقوم بتوزيع المهام تلقائيًا، سواء على مستوى البطاقات أو العقد المتعددة | غير معروف | يوفر واجهة إدارة كاملة للخوادم في الشبكة |
تم التحقق من المعلومات من المصادر الأصلية بتاريخ 2026-08-23. علامة الاستفهام تعني أن المعلومة غير معروفة، وليست “لا يوجد”. عمال GPUStack يعملون فقط على نظام لينكس؛ بينما لا يدعم vLLM نظام ويندوز بشكل أصلي.
- آلية التحميل الفوري ووقت الانتظار الخامل ليستا أمرين جديدين. فبرامج مثل LM Studio وOllama وllama-swap وLocalAI تدعمان كلاهما، كما أن إعدادات llama-swap المتعلقة بكل مجموعة من النماذج —
swap/exclusive/persistent— تشكل محرك سياسات رائعًا. - هناك ثلاثة أمور نادرة الحدوث: عدم القدرة على نقل البيانات إلى وحدة المعالجة المركزية (فقط TabbyAPI يدعم ذلك، لأن ExLlama لا يحتوي على مسار معالجة للبيانات على وحدة المعالجة المركزية)، بالإضافة إلى وجود خطة تخطيطية تقوم بتحديد حجم السياق والمساحة المتاحة بناءً على البطاقات المتوفرة، وأخيرًا وجود أدوات إدارة تُنشر كأدوات MCP؛ وهذه الأخيرة لم نجدها في أي مكان آخر ضمن هذه الفئة.
- أقرب منافس هو جهاز التوجيه الخاص ببرنامج llama.cpp. فهو يقوم بتشغيل عدة نماذج مع عزل العمليات، وهو مجاني بالإضافة إلى أنه مدمج بالفعل في الملف التنفيذي. لكنه يفتقر إلى آلية إخلاء الذاكرة بناءً على المحتوى (فهو يقوم بالإخلاء حسب العدد فقط)، كما يفتقر إلى خاصية التثبيت الدائم للنماذج أو عقود الإيجار، بالإضافة إلى عدم قدرته على رفض الطلبات التي تتضمن أرقامًا محددة.
كانت التوافقية مع برنامج LM Studio شرطًا تصميميًا أساسيًا. يقوم StudioForge بنسخ منفذ /v1/models الخاص بـ LM Studio، بالإضافة إلى قائمة النماذج المحملة، وآلية التحميل الفوري، ووقت الانتظار الخامل، وكذلك خاصية ttl المطبقة على كل طلب. كما يقوم StudioForge بنسخ هيكل المجلدات publisher/repo/ (الذي يُستخدم لكي يشارك كلا البرنامجين في نفس المكتبة)، بالإضافة إلى النسخة المرآتية /api/v0/models والرابط العميق lmstudio://open_from_hf. لذا فإن نقل أي عميل إلى StudioForge يتطلب تغيير اسم المضيف فقط. لكن لا يمكن لكلا البرنامجين استخدام المنفذ 1234 في نفس الوقت؛ لذا يجب إغلاق برنامج LM Studio أو تغيير قيمة server.port.
ما الذي يعمل أين
أي برنامج يتواصل بالفعل مع نقطة نهاية من طراز OpenAI يحتاج إلى عنوان URL أساسي ومعرف نموذج: واجهات الدردشة مثل SillyTavern (خيار Chat Completion → Custom)، وOpen WebUI، وLibreChat؛ ومساعدات البرمجة مثل Continue، وCline، وaider، وdsh؛ بالإضافة إلى مكتبة openai SDK بأي لغة برمجة؛ وأدوات الأتمتة التي تسمح بكتابة عنوان النقطة النهائية يدويًا. فقط الجهاز المزود بوحدة معالجة الرسومات يقوم بعملية التثبيت.
| العنصر | الموقع | وظيفته |
|---|---|---|
| البوابة | على مضيف GPU، في عملية واحدة، 1234 | /v1، /mcp (19 أداة)، /api. تحتوي على السجل والمنسق والمشرف. |
| لوحة التحكم | في نفس العملية، عبر خادم uvicorn ثاني، 8080 | لوحة المعلومات، الإعدادات، النماذج، التنزيل، الدردشة، الخادم، السجلات. |
| برنامج المراقبة | عملية منفصلة، 1235 | يحتوي على خادم MCP خاص به و10 أدوات استعادة. يستمر في العمل حتى إذا توقفت البوابة عن العمل. |
عمليات llama-server الفرعية | 18100–18200، للاستخدام داخليًا فقط | عملية واحدة لكل نموذج تم تحميله. في حال تعطل إحدى العمليات، يتأثر النموذج المرتبط بها فقط، ولا تتأثر البوابة أبدًا. وبما أن هذه العمليات تتصل فقط عبر 127.0.0.1، فإن البوابة هي الواجهة العامة الوحيدة. |
العنصر المصاحب sfctl | جهاز الوكيل | عميل HTTP بحت (يتطلب Python 3.11+، ولا يتطلب CUDA) بالإضافة إلى وصلة MCP القائمة على stdio. |
| مكتبة GGUF | models.dir، حيث توجد بالفعل | تم فهرستها في مكانها؛ لا يلزم نسخ أي شيء. |
كيف يتدفق الطلب؟
يتم التحقق من كل ما قد يخطئ فيه العميل قبل إرسال أي بيانات. فإذا كان معرف النموذج غير صحيح، يتم إرجاع رمز الخطأ 404 مع محتوى JSON؛ وذلك لأن العملاء يتعاملون مع هذا الرمز بشكل جيد، بينما يسيئون التعامل مع إطار الخطأ المضمن داخل تدفق SSE الذي يحمل رمز 200. من مثال على طلب GET /health في نظامنا (بعد التحرير):
{"status": "ok", "boot": {"phase": "ready", "ready": true},
"engine": {"ok": true, "tag": "b10425", "variant": "cuda", "smoke_tested": true},
"gpu_count": 4, "models_indexed": 34, "can_serve": true}
can_serveهو الحقل الذي يجب مراقبته.statusيُشير فقط إلى أن العملية قيد التشغيل؛ أماcan_serveفهو يظل بقيمة false خلال مرحلة مسح المكتبة الأولي. أما طلبGET /health?deep=trueفيقوم بتشغيل عملية توليد نص مكون من 8 رموز لكل نموذج محمل؛ وإذا لم يكن هناك أي نماذج، فإنه يرد بقيمةno_models_loadedبدلاً من إرجاع استجابة ناجحة.local-modelيعمل بشكل صحيح. كل منlocal-model، وdefault، وauto، وcurrentيتم توجيهها جميعاً إلىmodels.default_model؛ لأن عملاء LM Studio يعتمدون على هذه القيمة النصية بالضبط.- عملية التحميل الأولي لا تبدو وكأنها توقف في التنفيذ. فالتدفق المفتوح يرسل رسالة
: loading <model id> (5s)كل خمس ثوانٍ، ثم رسالة: prefilling …حتى ظهور أول رمز نصي. هذه الرسائل هي مجرد تعليقات في تدفق SSE يتم تجاهلها من قبل المحللين، وهي تمنع حدوث مهلة قراءة من جانب العميل. - يتم تحميل نموذج واحد فقط في كل مرة على مستوى الجهاز بأكمله. فإذا تم تحديد تحميل نموذجين في نفس الوقت، فإنهما يتصادمان على نفس وحدات المعالجة، مما يؤدي إلى فشل أحدهما بسبب نفاد الذاكرة.
- قيمة
ttlالمحددة في الطلب تؤثر فقط على عداد الخمول. وهي لا يمكنها أبداً تثبيت أو إلغاء تثبيت النموذج.
مخطط توزيع ذاكرة VRAM
هذا هو الجزء الذي تتجاهله معظم الخوادم المحلية. core/planner.py (يحتوي على 3,188 سطرًا في الإصدار 0.2.0) يجيب على سؤال واحد قبل بدء تشغيل النموذج: بالنظر إلى كمية ذاكرة VRAM المتاحة حاليًا على كل بطاقة، ما هو أكبر حجم نافذة يمكن استخدامه، وأفضل جودة للذاكرة المؤقتة، وعدد الفتحات المناسب لهذا النموذج؟ وإذا لم يتوفر أي خيار مناسب، فما هي الرسالة التي يجب إظهارها كرفض للطلب؟
سلم السياق
في التشغيل الأول، يقوم tune_for_hardware برفع القيمة الأدنى إلى 16,384 عندما تحتوي أصغر بطاقة رسومات على 24 جيجابايت أو أكثر من الذاكرة. ولا يقترح المخطط أبدًا نطاقًا يتجاوز طول النموذج المدرب، لأن ذلك يتطلب توسيع مقياس RoPE ويؤثر سلبًا على جودة النتائج.
وجود المرحلة الثانية يعود إلى وجود حمل زائد واحد فقط. كان هناك 79,832 ميجابايت متاحة، بالإضافة إلى 19,423 ميجابايت مشغولة بواسطة نموذج خامل. في حدود هذه المساحة التخزينية، كان من الممكن تخزين 262,144 رمزًا في ذاكرة التخزين المؤقت من نوع q4_0 باستهلاك 96,004 ميجابايت، بينما يمكن تخزين 65,536 رمزًا باستخدام تنسيق f16 باستهلاك 95,236 ميجابايت. لكن ما تم تحميله فعليًا هو 8,192 رمزًا باستخدام تنسيق f16، مع استهلاك 89,860 ميجابايت. الكود القديم كان يسمح فقط بإخراج أقل كمية ممكنة من البيانات من الذاكرة، لذا دفع النموذج تكلفة إضافية مقابل ذلك، ومع ذلك حصل على أصغر نافذة تخزينية ممكنة.
يتم اختيار جودة ذاكرة التخزين المؤقت في كل مرحلة من المراحل: f16/f16 → q8_0/q8_0 → q8_0 K + q4_0 V. أما تنسيق q4_0 فقد اختفى من جميع المسارات التلقائية. عند استخدام ذاكرة تخزين مؤقت من نوع q4_0 K، استطاع نموذج Qwen2.5-7B إعادة إنتاج 11.7% فقط من الرموز التي ينتجها في حالة استخدام تنسيق f16؛ بينما أظهر استخدام زوج q8_0/q8_0 قيمة انحراف كلّي (KL divergence) تبلغ 0.0018.
حجم ذاكرة التخزين المؤقت KV يعتمد على البنية الهندسية
تقوم معظم أدوات حساب استهلاك ذاكرة VRAM بحساب حجم ذاكرة التخزين المؤقت KV وفقًا للمعادلة: عدد الطبقات × عدد الرؤوس الانتباهية × أبعاد كل رأس × 2 × عدد البايتات × طول النافذة الزمنية. هذه المعادلة صحيحة بالنسبة لنموذج Llama، لكنها خاطئة تمامًا بالنسبة لنموذجي Gemma وQwen. ففي نموذجي Gemma 3 و4، يتم توزيع النافذة المنزلقة على خمس طبقات بدلاً من طبقة واحدة، مع تقليل أبعاد الرؤوس الانتباهية إلى النصف. أما في نماذج Qwen3.5 و3.6 و3.8، فقد تم تحديد full_attention_interval = 4، أي أن طبقة واحدة فقط من كل أربع طبقات تحتوي على ذاكرة KV، بينما تكون باقي الطبقات طبقات متكررة ذات حالة ثابتة.
الخطأ في هذا الحساب يؤدي إلى نتائج مكلفة للغاية. قبل التصحيح، قدر المخطط أن استهلاك ذاكرة KV وحدها سيبلغ 480 جيجابايت بالنسبة لنموذج Gemma-4 الذي يحتوي على 31 مليار معلمة وعند استخدام نافذة زمنية طولها 262,144 رمزًا، مما أدى إلى تحديد سقف لحجم النموذج عند 65,536 رمزًا فقط. ولفترة أسابيع، سجلت سجلات المعايرة تقديرات باستهلاك يبلغ 95,615 ميجابايت، بينما كان الاستهلاك الفعلي 40,037 ميجابايت فقط. بعد التصحيح، أصبح التقدير الفعلي لحجم الذاكرة المطلوبة (الأوزان + ذاكرة KV) هو حوالي 38 جيجابايت عند استخدام نافذة زمنية طولها 262,144 رمزًا على بطاقتي رسوميات من نوع 5090. وهذا يعني زيادة في حجم النافذة الزمنية تصل إلى أربعة أضعاف، وقد استفادت جميع نماذج Gemma-4 من ذلك. كما أن فرض تكلفة ذاكرة KV على كل طبقة في نماذج Qwen3.5 كان خطأً مشابهًا؛ حيث أدى ذلك إلى مبالغة في التقديرات بنسبة 4 أضعاف.
إذا كنت تكتب مُقدِّرًا خاصًا بك، فقم بنسخ صيغة حساب الخلايا باستخدام النافذة المنزلقة من llama.cpp بدقة. إن استخدام مضاعف ثابت قيمته 1.25× يؤدي إلى تقدير أقل بنسبة 3.6× عند استخدام أربع فجوات، وهو ما يتسبب في تجاوز سعة الذاكرة أثناء التحميل.
ما قمنا بقياسه على أربع بطاقات رسومية مختلفة
يتكون النظام من بطاقتين من نوع RTX 5090 وبطاقتين من نوع RTX 3090؛ ويُقدّر الحجم الإجمالي للذاكرة بـ 111.7 جيجابايت، وذلك باستخدام برنامج التشغيل رقم 610.88 (CUDA 13.3). يحاول النظام استخدام بطاقة واحدة أولاً، لأن تقسيم المهام بين البطاقات عبر ناقل PCIe دون استخدام NVLink يؤدي إلى بطء الأداء، ويجعل العملية تتم وفق سرعة أبطأ بطاقة.
| الإعدادات المستخدمة (نموذج 1.5B Q4_K_M، سياق 8k، متوسط من 3 تجارب) | سرعة التوليد | سرعة معالجة المدخلات |
|---|---|---|
| بطاقة RTX 3090 واحدة | 352.5 رمز/ثانية | 2,803.6 رمز/ثانية |
بطاقتا RTX 3090، وضع -sm layer | 344.4 رمز/ثانية | 2,722.5 رمز/ثانية |
بطاقتا RTX 3090، وضع -sm tensor | 294.3 رمز/ثانية | 1,182.0 رمز/ثانية |
بطاقتا RTX 3090، وضع -sm row | فشل التشغيل: device CUDA2 does not support split buffers | |
استخدام بطاقة واحدة أفضل من استخدام بطاقتين. في هذا النموذج الصغير، يستهلك وضع تقسيم المهام عبر التنسورات 17% من سرعة التوليد و58% من سرعة معالجة المدخلات؛ لذلك فإن هذا الوضع اختياري، ولا يتم تفعيله إلا في حالات القياسات المعيارية. كما أن وضع -sm row يتم قبوله من قبل النظام لكنه يفشل عند تشغيله عبر CUDA، لذا يقوم StudioForge بحظره قبل بدء التشغيل.
عدد الخطوط المتوازية التي يستحسن تشغيلها هو سؤال منفصل. يجب ملاحظة أن خيار --ctx-size في برنامج llama.cpp يمثل الحجم الإجمالي لذاكرة KV المشتركة بين جميع الخطوط، وليس الحجم المخصص لكل خط. فعلى سبيل المثال، عند استخدام --ctx-size 4096 دون تحديد عدد الخطوط عبر --parallel، يتم الإبلاغ عن total_slots: 4، أي أن كل خط يمكنه معالجة 1,024 رمزًا فقط. يقوم StudioForge بإطلاق الخطوط بناءً على القيمة ctx_per_slot × parallel.
| عدد الخطوط المتوازية | سرعة كل خط | السرعة الإجمالية | زمن الاستجابة p50 | زمن الاستجابة p95 | حجم الدفعة المحققة |
|---|---|---|---|---|---|
| 1 | 302.8 رمز/ثانية | 302.8 رمز/ثانية | 0.41 ثانية | 0.41 ثانية | 1.00 |
| 2 | 225.3 رمز/ثانية | 425.3 رمز/ثانية | 0.46 ثانية | 0.49 ثانية | 1.84 |
| 4 | 134.5 رمز/ثانية | 436.0 رمز/ثانية | 0.83 ثانية | 1.00 ثانية | 3.46 |
| 8 | 83.3 رمز/ثانية | 576.9 رمز/ثانية | 1.57 ثانية | 1.77 ثانية | 6.03 |
نموذج Qwen2.5-1.5B-Instruct Q4_K_M، بطاقة RTX 3090 واحدة، سياق 8,192 رمز لكل خط، ذاكرة KV من نوع f16؛ تم تشغيل ثمانية خطوط، مع مدخلات مكونة من 512 رمزًا ونتائج مكونة من 192 رمزًا؛ التاريخ: 19 أغسطس 2026. تم تكرار التجربة ثلاث مرات مع انحراف لا يتجاوز 2%.
لماذا تبلغ سرعة الخط الواحد هنا 302.8 رمز/ثانية، بينما يُظهر جدول الإعدادات سرعة 352.5 رمز/ثانية لنفس النموذج وبطاقة الرسوميات نفسها؟ لأن هذه تجارب قياسية مختلفة بإعدادات مختلفة؛ ففي هذه التجربة تم تشغيل ثمانية خطوط، واستخدمت مدخلات ونتائج ذات أطوال محددة. يجب المقارنة بين الصفوف داخل الجدول نفسه، وليس بين جدولين مختلفين.
- أفاد التقدير بضرورة تشغيل 8 خطوط؛ لكن القياسات أظهرت أن 2 خط فقط كافٍ. عند استخدام أربعة خطوط، تنخفض سرعة كل خط إلى 44% من سرعته الفردية. تختار الأداة أكبر عدد من الخيارات المتاحة (1، 2، 4 أو 8) الذي يحافظ على سرعة كل خط فوق 65% من سرعته الفردية مع زيادة إجمالية في الأداء بنسبة 15%.
- السرعة الإجمالية تزداد بينما تتباطأ سرعة كل مستخدم. عند تشغيل ثمانية خطوط، يتم معالجة 1.9 مرة أكثر من الرموز مقارنة بالخط الواحد، لكن كل محادثة تتم بسرعة تعادل 27% فقط من سرعة الخط الفردي. لو تم اختيار الخيار الذي يزيد السرعة الإجمالية فقط، لكانت النتيجة أن كل محادثة تصبح ثلاث مرات أبطأ.
- التجميع المتعدد الخطوط حقيقي بالفعل. ارتفاع قيمة “حجم الدفعة المحققة” من 1.00 إلى 6.03 يؤكد وجود خطوات فك التشفير المشتركة بين الخطوط، وليس مجرد طابور انتظار.
هناك علامتان إضافيتان قمنا بقياسهما قبل الاعتماد عليهما:
- فك التشفير التخميني يفيد الخط الواحد فقط. في تجربة على نموذج Qwen3.8-27B Q5_K_S مع استخدام رأس MTP على بطاقة RTX 3090 واحدة، تم استخدام أربعة مدخلات مختلفة؛ كانت السرعة بدون هذا الوضع 37.75 رمز/ثانية، بينما بلغت 50.70 رمز/ثانية (+34.3%) عند تفعيل وضع
draft-mtpبعمق 3. أما عند إعادة استخدام نفس المدخل، فكانت الزيادة في السرعة 751%، وهذا يعود إلى استخدام ذاكرة التخزين المؤقت للمدخلات وليس لتأثير الوضع التخميني. عند تشغيل أكثر من أربعة خطوط، يتم إيقاف هذا الوضع تلقائيًا عبر خيارauto. - استخدام دفعات أكبر يزيد سرعة التحضير مقابل استهلاك ذاكرة VRAM أكثر. في تجربة على مدخل مكون من 5,166 رمزًا، كان أداء الخيار
-ub 2048أسرع بنسبة 18.6% مقارنة بالقيمة الافتراضية 512، لكنه استهلك 210 ميجابايت إضافية من الذاكرة. يحسب النظام حجم هذه الذاكرة المطلوبة ويزيد قيمة-ubتلقائيًا فقط عند تشغيل أكثر من أربعة خطوط.
الرفض، مع الأرقام
كل عملية تشغيل تمر عبر --fit off و --n-gpu-layers 999. هذا مهم لأن إصدار llama.cpp رقم b10425 يضبط خيار --fit ليكون بشكل افتراضي مفعلاً، بالإضافة إلى خيار --n-gpu-layers auto (كلاهما من خلال طلب السحب رقم #16653، ديسمبر 2025). معاً، يشكلان مسار تشغيل جزئي يُنقل بعض العمليات إلى وحدة المعالجة الرسومية، وهو إعداد افتراضي منطقي للخوادم بشكل عام؛ لكن هذا المشروع يرفضه تماماً. عندما لا يتسع أي شيء، يتم إرجاع رمز HTTP 507. وفيما يلي نسخة مختصرة منه:
HTTP 507 {"error": {"code": "insufficient_vram", "message":
"Cannot load '…/gemma-4-31B-it-QAT-Q4_0' entirely in VRAM: needs 29.09 GiB,
20.90 GiB usable. … Suggestions: set KV cache type to q8_0 …;
VRAM is held by other processes: …",
"studioforge": {
"required_bytes": 31235974510, "available_bytes": 22438368871,
"per_gpu_free": {"3": 22438368871},
"max_ctx_that_fits": null,
"notes": ["wanted up to 262144 tokens of context but not even the 128000 floor
fits in the VRAM available right now"],
"estimate_mb": {"weights_bytes": 16818.2, "kv_bytes": 8575.0,
"compute_bytes": 2438.6, …, "total": 29788.9},
"retry_after_s": null }}}
كانت تلك محاولة تحميل نموذج بحجم 31 مليار معلمة على بطاقة RTX 3090 واحدة. الرسالة المُعروضة موجهة للبشر؛ أما error.studioforge فهو مخصص للبرامج. عندما يمكن تحميل النموذج في نافذة أصغر، فإن القيمة max_ctx_that_fits تحدد ذلك. أما قيمة retry_after_s فتُضبط فقط عندما يكون السبب في المشكلة هو انشغال النموذج، لأن إعادة المحاولة في غير هذه الحالة لن تجدي نفعاً.
التثبيت، مدة الخمول والإيجارات
يتم تحميل النموذج عند أول طلب، ويتم إلغاء تحميله بعد انقضاء مدة الخمول المحددة له (models.default_ttl_s؛ يتم تحديث هذه القيمة كل 15 ثانية).
التثبيت يمثل حالة مرغوبة للنموذج. النموذج المثبت لا يخضع لعداد الخمول ولا يتم إلغاء تحميله أبدًا. في حال تعطله أو فشله أثناء التشغيل، يقوم نظام المصالحة بإعادة تحميله، مع تأخير يتراوح بين 60 ثانية و900 ثانية. لكن أمر إلغاء التحميل الصريح يظل ساريًا، ويبقي النموذج غير محمل حتى يتم تحميله أو تثبيته مرة أخرى.
الإيجارة تمنح بطاقة رسوميات لنموذج معين. البطاقة المستأجرة تصبح غير متاحة لأي نموذج آخر، ويُجبر النموذج المالك على استخدام تلك البطاقات فقط. طلب بطاقة مُستأجرة بالفعل يؤدي إلى رد برمز الخطأ 409 conflict، دون أي محاولة للاستيلاء عليها. يمكن للإيجارة أيضًا تخصيص بطاقات لبرامج خارجية عن الخادم؛ فمثلاً: reserve_gpus(devices=[3], reason="ComfyUI render") هو الأمر الذي استخدمناه لمنع برامج توليد الصور والنماذج اللغوية من التنافس على بطاقة رسوميات واحدة.
لا يؤثر عملية الإلغاء أبدًا على النموذج المثبت، أو النموذج الذي يعالج طلبًا حاليًا، أو النموذج الذي لا يزال قيد التحميل، أو البطاقة المستأجرة. قد يقوم نظام إعادة التوزيع الخلفي بنقل نموذج خامل إلى موقع أفضل، لكن ذلك يحدث مرة واحدة فقط لكل نموذج كل 30 دقيقة؛ لأن عملية النقل تؤدي إلى مسح ذاكرة التخزين المؤقت للطلبات. في محادثاتنا الطويلة، غطت هذه الذاكرة المؤقتة 93% من طلب يتكون من 98 ألف رمز.
عندما تتعطل الأمور
ذاكرة VRAM تُفقد مع العملية التي استخدمتها. في نظام ويندوز، تنتمي العمليات الفرعية إلى كائن مهام مجهول تم إنشاؤه باستخدام JOB_OBJECT_LIMIT_KILL_ON_JOB_CLOSE، لذا يقوم النواة بإنهاء هذه العمليات بغض النظر عن كيفية انتهاء العملية الأم. أما في لينكس، فيتم استخدام PR_SET_PDEATHSIG، وهو حل غير مضمون؛ لذا يتم إجراء فحص دوري باستخدام reclaim_orphan_engines للتعامل مع أي عمليات متبقية.
لماذا يوجد هذا الفحص الدوري: في تاريخ 2026-08-18، كان هناك حوالي 25 جيجابايت من ذاكرة VRAM قيد الاستخدام رغم أن “كل شيء كان متوقفًا”. وكانت هذه الذاكرة مملوكة لثلاث عمليات فرعية من نوع llama-server.exe تركها خلفه أحد برامج البرمجة بعد أن بدأ تشغيلها ثم تخلى عنها. الآن، يتم تصنيف كل عملية تستخدم ذاكرة VRAM على أنها ours أو child-of-live-process أو orphan أو other-instance أو foreign، وفقط العمليات من نوع orphan هي التي يتم إنهاؤها فعلاً.
رموز الخروج لها معاني محددة. رمز الخروج 2 يشير إلى خطأ في التكوين؛ أما 3 فيدل على وجود تعارض في المنافذ: حيث ينتظر البرنامج الرئيسي العملية التي تستخدم الذاكرة بدلاً من إعادة تشغيلها. بينما يعني الرمز 75 أن طلب إعادة التشغيل قد ورد؛ فيتم عندها إيقاف الخادم ثم إعادة تشغيله دون اعتبار ذلك عطلًا. وقد تم فصل هذه الحالات لأن إعادة التشغيل من خلال واجهة المستخدم الرسومية تسببت مرة في تشغيل خادمين في نفس الوقت على المنفذ 1234، مما أدى إلى توقف البرنامج الرئيسي عند حالة “تعطل” رغم أن الخادم كان يعمل بشكل طبيعي.
عندما يتعطل البوابة بشكل جزئي وليس كليًا، يمكن استخدام أداة المراقبة الموجودة على المنفذ 1235. هذه الأداة عبارة عن عملية منفصلة تم إنشاؤها باستخدام مكتبات argparse واللوجينج القياسية في بايثون، لذا فهي تعمل حتى في حال تلف ملف config.yaml. تتضمن أدوات هذه الأداة العشرة ما يلي: health وget_config وset_config وrestart_server وkill_model وnuke_all_models وreclaim_orphan_engines وtail_logs وgpu_status وrollback_update. وهذه الأداة لا تقوم باستيراد أي كود تقوم بإصلاحه.
لوحة التحكم
لوحة التحكم الموجودة على 8080 تعمل ضمن نفس العملية ولا تستخدم أي عناوين URL مطلقة، لذا فهي تعمل عبر بروتوكول HTTP العادي أو خلف بروكسي HTTPS. على نظام ويندوز، يوجد أيضًا أيقونة في شريط المهام.




sfctl، فلا حاجة لإدخال رمز الاقتران يدويًا في ملف الإعدادات.استخدامه كخلفية لإدارة الأنظمة (Harness Backend)
يتم التعامل مع عمليات الاستنتاج والإدارة عبر مسارات منفصلة. يمكن لأي عميل استخدام /v1 دون الحاجة إلى تثبيت أي شيء. فقط الوكيل الذي يتولى مهمة إدارة النظام هو الذي يحتاج إلى أدوات MCP.
أي عميل من عملاء OpenAI
server.api_key يكون null بشكل افتراضي، لذا فإن أي مفتاح غير فارغ يعمل. معظم عملاء OpenAI يرفضون التشغيل إذا كان المفتاح فارغًا.
export OPENAI_BASE_URL=http://my-gpu-rig:1234/v1
export OPENAI_API_KEY=not-required # any non-empty string while server.api_key is unset
curl http://my-gpu-rig:1234/v1/chat/completions -H "Content-Type: application/json" \
-d '{"model": "<id from /v1/models>", "messages": [{"role": "user", "content": "hello"}]}'
GET /v1/models يقوم بسرد جميع النماذج التي تم تنزيلها، على طريقة LM Studio، كما يضيف state؛ بالنسبة للنماذج المحملة، يضيف أيضًا ctx_per_slot وmax_parallel. تتطابق المعرفات إما مع المسار الكامل publisher/repo/file، أو اسم الملف فقط، أو publisher/name، وذلك بغض النظر عن حالة الأحرف.
يختلف اسم إعداد عنوان URL الأساسي في كل عميل، وهو ما يستهلك الكثير من الوقت والجهد؛ فعلى سبيل المثال: Open WebUI يستخدم OPENAI_API_BASE_URL؛ أما LibreChat فيستخدم نقطة نهاية custom مع خاصيتي baseURL وmodels.fetch: true؛ وبرنامج aider يستخدم OPENAI_API_BASE ثم --model openai/<id>؛ كما أن Continue يستخدم provider: openai بالإضافة إلى apiBase. أما برنامج dsh فيستخدم نفس إعدادات مزود الخدمة من OpenAI مثل أي خادم آخر (baseURL، apiKeyEnv)؛ ويوجد النموذج الدقيق بصيغة YAML في وثائق dsh. حتى الخادم الذي لا يتطلب مفتاحًا يظل بحاجة إلى إعدادات مصادقة معينة، لأن العميل يشترط وجود رمز وصول (bearer token).
تشغيل OpenClaw على جهاز آخر
يقوم جهاز الوكيل بتثبيت حزمة صغيرة واحدة، وهي sfctl. تتطلب هذه الحزمة تواجد Python 3.11، ولا تعتمد على حزمة الخادم؛ لذا لا يتطلب الأمر استخدام CUDA أو خطة التشغيل (planner).
sfctl servers add rig http://my-gpu-rig:1234 --api-key <PIN> --use
openclaw mcp add studioforge --command sfctl --arg mcp
إذا قمت بتعديل الإعدادات يدويًا، فلاحظ أن مفتاح OpenClaw هو mcp.servers، وهو موجود ضمن mcp. أما الخريطة المسطحة mcpServers فهي مخصصة لبرامج Claude Code وCline وLibreChat، ولا يتعرف عليها نموذج OpenClaw. يتم تحديد إعدادات الاستدلال ضمن models.providers، والمفتاح المستخدم هو baseUrl مع استخدام قيمة صغيرة الحروف وهي rl.
// ~/.openclaw/openclaw.json
{ "mcp": { "servers": {
"studioforge": { "command": "sfctl", "args": ["mcp"] } } },
"models": { "providers": {
"studioforge": {
"baseUrl": "http://my-gpu-rig:1234/v1",
"apiKey": "not-required",
"api": "openai-completions",
"models": [ { "id": "<id from /v1/models>", "name": "Rig 27B", "contextWindow": 131072 } ] } } } }
في الإصدار 0.2.0، يرى الوكيل قائمة موحدة تضم 29 أداة: 19 أداة من بوابة الخادم بالإضافة إلى 10 أدوات من أداة المراقبة (watchdog). تم تغيير أسماء ثلاث أدوات من أداة المراقبة إلى recovery_* لتجنب التضارب؛ بينما يحتفظ restart_server باسمه لأن رسائل الخطأ تطلب من الوكيل استدعاءه. في حال تعطل الخادم الرئيسي، فإن الجسر لا يزال يعرض أدوات الإدارة مع ملاحظة توضح وجودها، حتى يعرف الوكيل ذلك. وإليكم دورة العمل التي يقوم بها الوكيل:
list_models(limit=N): قائمة النماذج المتاحة، مرتبة حسب تاريخ التحميل الأحدث أولاً؛ يُنصح بقراءة الصف الموصى به.load_model(**row["load_args"]): يتم تمرير البيانات كما هي دون أي تغيير.load_recommended(model_id, ctx_size=N)يُستخدم عند معرفة حجم السياق المطلوب؛ حيث يرفض هذا الأمر أي محاولة لتقليل حجم السياق.- يجب إجراء عمليات الاستدلال عبر بروتوكول HTTP وليس MCP. تسمية نموذج غير محمل يؤدي إلى تحميله باستخدام الإعدادات الافتراضية لخطة التشغيل، وليس البيانات المحددة في القائمة.
model_options(model_id)يُستخدم لتحديد خيارات كل نموذج حسب مستوى السياق، مع ذكر سرعات الاستجابة.search_models→repo_details→download_modelتُستخدم للحصول على نموذج جديد.pin_modelيُستخدم لتثبيت نموذج معين بحيث يظل متاحًا دائمًا؛ أماreserve_gpusوrelease_gpusفهما لتخصيص بطاقات الرسوميات.server_statusوconnection_info: تُظهر النماذج المحملة، وأي أجهزة تستخدم ذاكرة VRAM، بالإضافة إلى جميع العناوين التي يستجيب عليها الخادم.
كما يتلقى كل عميل ملاحظة عند الاتصال بالخادم:
INFERENCE IS NOT HERE. This server exposes no chat/completion/generation tool
by design. To actually run a prompt, use the OpenAI-compatible HTTP API on the
gateway port (POST /v1/chat/completions, /v1/embeddings; GET /v1/models).
Naming an unloaded model in a request just-in-time loads it, so you usually do
not need load_model at all -- reach for it only to pre-warm a model or to load
one with non-default context/quantization settings.
لا يمكن لبرنامج Claude Code استخدام هذا الخادم لعمليات الاستدلال الخاصة به. حيث تستخدم بروتوكولات بوابة الخادم الخاصة به أنظمة Anthropic Messages وBedrock وVertex، وليس /v1/chat/completions. ومع ذلك، يمكنه استخدام أدوات الإدارة؛ عبر الأمر التالي: claude mcp add studioforge -- sfctl mcp (ويجب استخدام المعلمة --).
يجب على أدوات الاختبار أن تحصل على إذن استخدام عبر POST /api/leases، ثم انتظار النماذج المتاحة قبل إعادة تحميل ما تم استبداله. أما البرنامج القديم لدينا فكان يستخدم الأمر pkill -f llama-server، وهو ما يؤدي إلى إيقاف جميع خوادم المعالجة.
ما الذي يختاره الوكيل؟
كل صف في الكتالوج يمثل استدعاءً فعليًا لبرنامج التخطيط: هل النموذج يتناسب مع سعة الذاكرة المتاحة حاليًا، وعلى أي الأجهزة، وكم عدد المساحات المطلوبة لتشغيله، وهل يمكن تشغيله إذا كانت وحدات معالجة الرسومات خاملة (حتى يعرف الوكيل متى يكون التفريغ مفيدًا). يقوم repo_details بقراءة رأس ملف GGUF عن بُعد عبر طلبات HTTP من نوع Range (حجم الملف يتراوح بين 2 و15 ميجابايت، ويتم تخزينه مؤقتًا) بدلاً من تنزيل ملف بحجم 20 جيجابايت، ثم يعيد مصفوفة تشير إلى مدى توافق النموذج مع موارد الأجهزة:
| نوع التكميم | 1× RTX 5090 | 2× RTX 5090 | جميع البطاقات الأربع |
|---|---|---|---|
| BF16 (51.8 جيجابايت) | الأوزان لا تتناسب مع الذاكرة | 32 ألف عند استخدام q8_0 | 256 ألف |
| Q8_0 (27.9 جيجابايت) | لا يتناسب مع الذاكرة | 256 ألف | 256 ألف |
| Q5_K_M (19.3 جيجابايت) | 128 ألف عند استخدام q8_0 | 256 ألف | 256 ألف |
| IQ2_M (10.5 جيجابايت) | 256 ألف | 256 ألف | 256 ألف |
unsloth/Qwen3.8-27B-GGUF، تم حساب هذه الأرقام على أجهزتنا. وهي تمثل أكبر حجم نافذة يمكن معالجتها باستخدام ذاكرة من نوع f16؛ وتظهر عبارة “عند استخدام q8_0” فقط في الحالات التي يسمح فيها التكميم بتوسيع النافذة المعالجة.
نوع التكميم هو العامل الأكثر تأثيرًا على حجم النافذة المعالجة أكثر من عدد بطاقات الرسومات؛ فعلى سبيل المثال، تحول طريقة التكميم من BF16 إلى Q5_K_M الحالة “لا يتناسب مع الذاكرة” إلى إمكانية معالجة 128 ألف عنصر على بطاقة واحدة. لضبط النموذج بشكل مثالي، يجب إجراء اختبارات قياس الأداء، ثم تشغيل benchmark_parallel على الخيار الأفضل، وأخيرًا استخدام reserve_gpus.
التثبيت
ويندوز (المنصة المرجعية):
- قم بتثبيت Git، وPython 3.12+، وuv بالإضافة إلى أحدث برنامج تشغيل NVIDIA.
- قم بتنزيل المستودع أو فك ضغط الملف المحمل.
- انقر مرتين على
launchers\Update StudioForge.bat. رغم الاسم، فإن هذه الخطوة تُستخدم للمرة الأولى؛ حيث تقوم بإنشاء بيئة افتراضية وتثبيت أحدث إصدار من llama.cpp المتوافق مع برنامج التشغيل الخاص بك وإجراء اختبارات سريعة عليه (من المحتمل أن تحصل على إصدار أحدث منb10425). - شغّل
launchers\Start StudioForge.bat، أوlaunchers\StudioForge Tray.batلظهور أيقونة البرنامج في منطقة الإشعارات. سيُفتح اللوحة الإعدادية على العنوانhttp://127.0.0.1:8080، حيث يقوم خيار “Detect LM Studio library” بالبحث عن مجلد النماذج الموجود لديك.
أما على لينكس، فإنك ستحتاج أيضًا إلى cmake بالإضافة إلى أدوات CUDA التي يحتوي برنامجها nvcc على إصدار متوافق مع برنامج التشغيل الخاص بك؛ وذلك لأن المطورين لا يوفرون إصدارات CUDA مخصصة للينكس، ويتم تجميع المحرك مرة واحدة لكل إصدار. كما ذُكر سابقًا، لم نقم باختبار مسار التثبيت هذا بشكل كامل بأنفسنا.
git clone https://github.com/LaserLloyd/StudioForge.git && cd StudioForge
uv venv --python 3.12 .venv
uv pip install --python .venv/bin/python -e ".[dev]"
.venv/bin/studioforge serve --open # first run builds the engine
بالنسبة للخوادم التي لا تحتوي على واجهة رسومية، يحتوي مجلد deploy/ على وحدتين من نوع systemd مخصصتين للمستخدم، وذلك لأن الخادم يجب أن يعمل باسم المستخدم الذي يملك مكتبة النماذج وبيئة التشغيل الافتراضية وأجهزة الرسوميات. تستخدم وحدة المراقبة خيار Restart=always ولا ترتبط بوحدة البوابة، مما يضمن استمرار عملها حتى في حال تعطل البوابة. قم بتنفيذ الأمر sudo loginctl enable-linger "$USER" لكي تبدأ هذه الوحدات عملها دون الحاجة إلى تسجيل الدخول.
| الخدمة | المنفذ الافتراضي | مفتاح الإعداد |
|---|---|---|
بوابة الخدمة (/v1، /api، /mcp) | 1234 | server.port |
| لوحة التحكم الرسومية | 8080 | gui.port |
| وحدة المراقبة والاستعادة | 1235 | watchdog.port |
llama-server والعمليات التابعة له (للاستخدام داخل الجهاز فقط) | 18100–18200 | gateway.child_port_start / _end |
يقوم نظام التحقق من الإعدادات برفض أي منفذ خدمة يتعارض مع نطاق المنافذ المخصصة للعمليات الفرعية. يتم تحديد مسار مجلد البيانات أولاً عبر متغير SF_DATA_DIR، ثم من خلال ملف الإعدادات --config، وأخيرًا إلى المسار <repo>/data؛ ويمكن الاطلاع على التفاصيل في ملف docs/SETUP.md. كل نسخة من البرنامج تمتلك مجلد بيانات خاصًا بها، حيث يتم تأمينه عبر قفل نظامي لمنع التداخل بين النسخ المختلفة.
الأمان
القاعدة هي: عمليات القراءة والاستنتاج والتحميل تظل متاحة؛ أما تغيير الإعدادات فيتطلب بيانات اعتماد. عندما لا يتم تعيين قيمة لـ server.api_key، فإن أي طلب يهدف إلى تغيير الإعدادات أو إعادة تشغيل المحركات أو التحديثات أو استرداد ذاكرة VRAM أو التنزيلات أو الإلغاءات يتم قبوله فقط من نفس الجهاز، أو إذا تم تضمين رمز MCP في X-MCP-Pin أو كرمز وصول (bearer token). أي طلب آخر يؤدي إلى رد بـ 403 remote_admin_requires_credential.
- رمز PIN يحمي فقط نظام MCP. إنه رمز توثيق يظهر في شاشة التشغيل، وليس مفتاح API.
server.api_keyهو بيانات الاعتماد الحقيقية، وهو غير مُعيّن بشكل افتراضي. بعد تعيينه، يصبح ساريًا على/v1و/apiو/mcpبالإضافة إلى نظام المراقبة.- جميع المستمعين الثلاثة يستخدمون
0.0.0.0كعنوان افتراضي. عند تفعيل أي منهم دون تعيين مفتاح، يتحول لون خانة “Network exposure” في علامة التبويب Setup إلى اللون الأصفر. يجب تعيين مفتاح قبل تفعيل أي مستمع. - طلبات المتصفح القادمة من مصدر خارجي لا تُعتبر محلية، حتى لو كانت تستخدم عنوان loopback. وإلا فإن أي صفحة ويب يمكنها إرسال طلب
PATCH /api/configإلى127.0.0.1:1234. تتضمن عملية التحقق من المصدر رقم المنفذ، وتعتبر قيمةOrigin: nullمصدرًا خارجيًا؛ كما أن المتصفحات البعيدة لا يمكنها رؤية رمز PIN أبدًا. - يتم جلب عناوين URL الخاصة بالصور عبر آلية حماية SSRF التي تمنع الوصول إلى عناوين loopback وlink-local والخاصة وULA وCGNAT (
100.64/10، حيث تتواجد أجهزة شبكة mesh-VPN)، ثم يتم الاتصال بالعنوان الذي تم التحقق منه.
هناك قيدان رئيسيان: أولاً، عملية التحقق من أن الطلب قادم من نفس الجهاز تثق بأي طلب يستخدم عنوان loopback، وهو في حالة استخدام بروكسي عكسي يعني البروكسي نفسه؛ لذا يجب وضع البروكسي خلف server.api_key. ثانيًا، هناك مفتاح واحد مشترك فقط، ولا توجد حسابات أو حدود للطلبات. لذا يجب استخدامه فقط على شبكة loopback خلف بروكسي توثيقي أو ضمن شبكة mesh VPN، وعدم استخدامه أبدًا على الإنترنت المفتوح.
القيود
- نظام ويندوز هو المنصة المرجعية. تم تطوير قائمة التشغيل، ونظام حماية ذاكرة الفيديو، بالإضافة إلى عدادات استخدام GPU لكل عملية على نظام ويندوز. يعمل النظام على لينكس في بيئة الاختبارات الآلية (انظر التثبيت). أما نظام ماك أوإس فغير مدعوم (لا يوجد دعم لـ CUDA).
- نظام NVIDIA فقط. يقوم المخطط بالقراءة من واجهة NVML، والمحرك الخاص بالبرنامج مبني باستخدام تقنية CUDA.
- قيمة ذاكرة الفيديو هي تقديرية فقط. حجم الأوزان يقع ضمن نطاق 2% من حجم الملف، وقيمة KV دقيقة بناءً على تخطيط الطبقات؛ لكن حجم ذاكرة الحسابات هو قيمة مقدرة تُضبط ضمن النطاق من 0.03 إلى 0.15، وتُحفظ في الذاكرة ثم تُعاد تعيينها عند إعادة التشغيل.
- توزيع العمل بين بطاقات GPU المتعددة يتم بشكل نسبي وليس بناءً على قياسات فعلية. لا يتم أخذ عرض النطاق الترددي للاتصال بين البطاقات في الاعتبار، وأي بطاقات من أجيال مختلفة تعمل جميعها بنفس سرعة أبطأ بطاقة.
- تقديرات السرعة تستند إلى بيانات الشركة المصنعة وليس قياسات فعلية. على جهازنا، سجل نموذج بحجم 31 مليار معلمة سرعة 39.4 رمز/ثانية، مقابل تقدير كان 36.1؛ أما النموذج الأكبر بحجم 122 مليار معلمة فسجل سرعة 37.3 رمز/ثانية مقابل تقدير 47.4.
- تخصيص بطاقة GPU لبرنامج آخر يؤثر فقط على عمل مخططنا. لا يوجد ما يمنع ذلك البرنامج أو أي برنامج آخر من استخدام ذاكرة الفيديو المتاحة.
- تفاصيل الترخيص. ترخيص StudioForge هو MIT. أما مكتبة pystray المستخدمة لعرض أيقونة النظام في ويندوز فترخيصها هو LGPL-3.0. عند التثبيت كحزمة منفصلة، يكفي الالتزام بشروط الترخيص؛ أما إذا تم دمج كل المكونات في ملف تنفيذي واحد، فيجب تضمين مصدر المكتبة أو الاحتفاظ بها كوحدة منفصلة.
- لم يقم أحد آخر بمراجعة الكود. كل ما ورد أعلاه هو وصفنا لكودنا الخاص، لذا يُنصح بفحص المصدر قبل الاعتماد عليه في أي مهام حساسة.
تم اجتياز 2,503 اختبارات وحدة، بينما تم تخطي 17 اختبارًا في غضون 327 ثانية على جهازنا؛ تقوم بيئة الاختبارات الآلية بتشغيل هذه الاختبارات على ويندوز وأوبونتو باستخدام محاكي GPU. هناك مجموعة اختبارات أخرى تستخدم نماذج حقيقية على بطاقات GPU فعلية؛ هذه المجموعة غير مفعلة بشكل افتراضي وتتطلب إعداد متغير بيئي لتشغيلها، وذلك بسبب المشكلة التي ذُكرت سابقًا.
تحديث — 2026-10-19 (الإصدار 2.0.1)
كل ما ورد أعلاه يخص الإصدار 0.2.0. أما الآن، فإن StudioForge في إصدار 2.0.1 على main (الالتزام البرمجي 34f4b03؛ لم يتم إصدار أي نسخة مُعلنة أو صورة حاوية حتى الآن)، وقد تغير نموذج الأمان بشكل كبير لدرجة أننا كتبنا عنه بشكل منفصل: StudioForge 2.0: الحسابات ومفاتيح API المحددة النطاق وطريقة الترقية الآمنة. فيما يلي ملخص ذلك:
- الربط على العنوان Loopback بشكل افتراضي. يتم ربط البوابة واللوحة الإدارية وبرنامج المراقبة على العنوان
127.0.0.1. أي إعداد يحدد العنوان0.0.0.0سيؤدي إلى فشل بدء التشغيل (auth_required_for_remote_bind، مع رمز خروج 4) ما لم يكن هناك حساب مالك أو مفتاح إداري. - مفاتيح API لكل عميل. تُعرف هذه المفاتيح بنطاقات
readوinferenceوadmin، كما يمكن تحديد تاريخ انتهاء صلاحيتها والحد الأقصى للاستخدام؛ وتُخزن هذه المفاتيح بعد تشفيرها. إنشاء أول مفتاح API يفعّل نظام المصادقة لجميع المستخدمين، بما في ذلك البرامج التي تعمل على نفس الجهاز. أما العملاء الذين لا يملكون مفاتيح فسيحصلون على رمز الخطأ401؛ لذا يجب إنشاء مفتاح لكل عميل قبل البدء باستخدام الإصدار الجديد. - تم إهمال استخدام
server.api_keyوmcp.pin. لا يزال المفتاح القديم يعمل كمفتاح إداريlegacy. ولإلغاء استخدام رمز PIN، يجب تعيينmcp.pin_required: falseبالإضافة إلىmcp.pin: null؛ وإلا سيتم توليد رمز PIN جديد عند بدء التشغيل. - يستخدم المستأجرون مفاتيح من نوع
inferenceفي الإصدار 2.0.1. يمكن للبرامج الأخرى التي تستخدم وحدات معالجة الرسومات الحصول على تراخيص استخدام وإطلاقها دون الحاجة لمفتاح إداري؛ حيث يرتبط كل ترخيص بالمفتاح الذي حصل عليه. - جديد أيضًا: صفحة تسجيل الدخول ودليل إعداد مكون من ثماني خطوات ضمن اللوحة الإدارية، بالإضافة إلى سجل تدقيق، ودعم بروتوكول TLS اختياريًا، وفحص مصدر الطلبات على نقاط اتصال MCP. كما تم إضافة أداة
studioforge doctorوأداة إنشاء حزمة الدعمsupport-bundle. يدعم LM Studio واجهة برمجة التطبيقات REST على المسار/api/v1، بالإضافة إلى واجهات مشابهة لما تقدمه شركة Anthropic على المسار/v1/messagesوOpenAI على المسار/v1/responses. تم أيضًا إضافة أدوات للكشف عن دعم ROCm/Vulkan/Metal (ولم يتم اختبارها فعليًا على أجهزة AMD أو Apple). كما يتوفر ملف Docker يحتوي على نسخ مخصصة لـ CUDA وROCm وVulkan؛ لكن حاليًا، لم يتم تشغيل أي نموذج إلا عبر مسار CUDA. يمكن الاطلاع على كيفية تشغيل المكونات كافة داخل حاوية Docker من خلال الرابط كل الوحدات في Docker. - قسم الأمان أعلاه قديم. فهو يصف إعدادات الربط على العنوان
0.0.0.0الخاصة بالإصدار 0.2.0، بالإضافة إلى استخدام رمز PIN كبيانات مصادقة للمشرفين عن بُعد.
نقاط يجب الانتباه إليها
- أغلق برنامج LM Studio قبل البدء. كلا البرنامجين يحتاجان إلى المنفذ رقم 1234؛ يحدد الـ Preflight اسم المضيف، بينما يتم توجيه StudioForge عبر المعلمة
server.port. لا بأس في مشاركة مجلد النماذج بين البرنامجين. - المعلمة
--ctx-sizeتحدد الحجم الإجمالي لسياق النموذج، وليس لكل فتحة على حدة؛ كما أن الخيار--fitمفعّل بشكل افتراضي. إذا كنت تستخدم الأمرllama-serverمباشرة، فعليك تحديد حجم السياق لكل فتحة يدويًا عبر استخدام--fit off. - قد تُرجع نماذج التفكير ردًا فارغًا عند استخدام الإعداد
--reasoning-format auto. في نفس الطلب، يكون طول النص المُرجع بواسطةcontentصفرًا، بينما يبلغ طول محتوى التفكيرreasoning_content316 حرفًا عند استخدام الإعدادauto؛ أما عند استخدامnoneفيصبح طول النصcontent323 حرفًا. لاحظ أن الحقلreasoning_contentغير موجود في مواصفات OpenAI، لذا لن يراه أي عميل قياسي؛ استخدم إذًاnoneإلا إذا كان عميلك يدعم قراءة هذا الحقل. - لا تقم بإنهاء عملية التطبيق من خلال أوامر قتل العمليات. في حالة استخدام أداة venv للتشغيل، يكون برنامج المراقبة ضمن نفس شجرة العمليات؛ وقد أدى إيقاف البرنامج بهذه الطريقة إلى توقف كل من الخادم وبرنامج المراقبة عن العمل. يُفضل استخدام قائمة التطبيق، أو اللوحة الرئيسية، أو الأمر
sfctl recover --restart. - استخدام الأمر
pkill -f llama-serverمن أداة أخرى سيؤدي إلى إيقاف جميع خوادم النماذج. يُفضل استخدام طرق تأجير موارد GPU بدلاً من ذلك. - رقم الحافلة في NVML، المحدد بواسطة
busId، يأتي على شكل قيمة سداسية عشرية. فعلى سبيل المثال، القيمة"00000000:42:00.0"تمثل الحافلة رقم 66؛ وإذا تم تفسير هذه القيمة كعدد عشري، فسيتم تخصيص ذاكرة VRAM للبطاقة الخاطئة دون ظهور أي خطأ. - تكرار نفس الطلب في اختبارات التشفير التنبؤي يقيس حجم ذاكرة التخزين المؤقت للطلبات. لذا يجب استخدام طلبات مختلفة؛ كما أن المسار
/propsيُظهر قيمةspeculative.types: "none"أثناء عملية التشفير، لذا يجب الاطلاع على القيمةtimings.draft_nمن نتائج الإكمال الفعلية. - لا تستفيد نماذج الرؤية من ميزة تخزين الطلبات مؤقتًا. فبرنامج llama.cpp يمنع إعادة استخدام ذاكرة التخزين المؤقت للنماذج متعددة الوسائط، ويخصص بشكل افتراضي 1,024 رمزًا لكل صورة؛ مما يعني أن نافذة الإدخال التي تتسع لـ 8 آلاف رمز ستملأ بسرعة.
احصل عليه
يحتوي GitHub دائمًا على أحدث الإصدارات، مع الاختبارات والوثائق وأدوات التشغيل ووحدات systemd:
github.com/LaserLloyd/StudioForge
git clone https://github.com/LaserLloyd/StudioForge.git
الملف المضغوط هو الإصدار 0.2.0: main عند الالتزام d7e5d26 (تاريخ 25 أغسطس 2026)، بالإضافة إلى ملفات التثبيت الجاهزة وحزم المصدر لكلا الحزمتين في مجلد dist/. كل ما ورد في هذا المقال (29 أداة، اللوحات، ومخطط العمل) يخص ذلك الإصدار. أما على GitHub main فقد تم التحديث إلى الإصدار 2.0.1 (انظر التحديث أعلاه)، والذي يتضمن 33 أداة من نوع MCP، ومن ضمنها plan_load وcheck_loaded_model بالإضافة إلى أدوات الإدارة. قيمة SHA-256 للملف المضغوط هي:
72e3b44487645e7790ba8497e029868e07ca340f67c92f1834345d4e50839f6d studioforge-2026-08.zip
يحتوي فقط على الملفات التي تم تتبعها (لا يوجد config.yaml، ولا data/). الرخصة: MIT: يمكنك استخدامه أو تعديله أو توزيعه أو بيعه، شريطة الاحتفاظ بإشعار حقوق النشر؛ لا يوجد أي ضمان.
هل وجدت خطأ ما؟ بريدنا الإلكتروني موجود في صفحة “حولنا”. الأجزاء المفيدة هي error.code، والأرقام الناتجة عن الخطأ 507، بالإضافة إلى آخر عشرين سطرًا من ملف logs/models/<model>.log. يرجى عدم ذكر رمز PIN أو أي مفاتيح سرية. نرحب كثيرًا بأي طلبات دمج للكود المتعلقة بمخطط توزيع الحمولات، أو إعدادات أخذ العينات، أو مسار AMD القابل للتشغيل.
ما الذي يترتب على ذلك؟
اتضح أن معظم هذا المشروع يتعلق بالقياسات وليس بالكتابة البرمجية. فالخوارزمية المستخدمة هي مجرد عمليات حسابية يمكن لأي شخص كتابتها. لكنها أصبحت موثوقة فقط بعد أن درسنا تخطيط الذاكرة الفعلي في llama.cpp، وقمنا بقياس القيمة المثلى للمعاملات لتكون 2، رغم أن تقديراتنا كانت تشير إلى 8. إذا كنت تستخدم بالفعل LM Studio على 1234، فإن تجربة هذا الحل تتطلب نسخة من البرنامج، بالإضافة إلى ملف دفعي واحد، وتوجيه models.dir إلى المجلد الذي لديك بالفعل. وإذا لم يثبت هذا الحل فعاليته خلال فترة قصيرة، فإن إعداداتك القديمة ستظل كما هي.
مرتبط بما يلي: DeepSeek Harness (dsh) (الأداة التي تستخدم هذا الخادم كمزود خدمات من نوع OpenAI)، bench-llm / CrucibleForge (أداة القياس التي تستخدم الآن موارد وحدات معالجة الرسومات)، إعدادات OpenClaw الخاصة بي (المقالة التي حددت المشكلة لأول مرة)، وDisPatch (تطبيق الدردشة الذي يعمل أمام هذا النظام).
التنزيلات
مجاني للاستخدام الشخصي. إذا وفّر لك عصرًا كاملًا من الوقت، فزر القهوة قريب منك.