DeepSeek Harness (dsh) : Installation, Exécutions sans interface graphique, Benchmark avec 3 modèles
- Catégorie
- IA et LLM locaux
- Publié
- 18 août 2026
- Mis à jour
- 16 septembre 2026
- Par
- Jacob Lloyd — rédigé avec l'aide de l'IA, une fois le projet terminé
- Temps de lecture
- 19 min de lecture
En clair : DeepSeek a sorti un « agent de codage » gratuit et open source : un programme qui analyse votre projet, modifie des fichiers et exécute des commandes à votre place, tout comme Claude Code. Cet article détaille comment je l’ai installé sur mon PC sous Linux, comment je l’ai configuré pour qu’il démarre automatiquement, comment je l’ai orienté vers les modèles cloud de DeepSeek ainsi que vers un modèle hébergé sur ma propre machine, et enfin comment je l’ai testé sur 5 petites tâches de programmation réelles. Les 15 exécutions ont toutes réussi ; l’utilisation des modèles cloud n’a coûté que quelques centimes. Toutefois, certains aspects de l’outil restent perfectibles.
Six secondes : le fichier est créé, le programme s’exécute, la réponse est affichée, et le code de sortie est 0. C’est ce que DeepSeek Harness (dsh) a fait avec la première tâche que je lui ai confiée. DeepSeek l’a publié le 13 août 2026 en tant qu’agent de programmation sous licence MIT, fondé sur une idée simple : tout est un plugin, y compris l’adaptateur de modèle, les outils, l’environnement de test et la boucle d’exécution de l’agent lui-même. Je l’ai installé la même semaine, je l’ai configuré pour qu’il utilise les modèles cloud de DeepSeek ainsi qu’un modèle sur mon propre matériel GPU, puis je l’ai soumis à une petite série de tests. Voici ce que cela a demandé, le coût engendré, et les points faibles rencontrés.
Résumé
- Qu’est-ce que c’est ? Un agent comparable à Claude Code (il lit et modifie des fichiers, exécute des commandes shell, tient un plan d’action, crée des sous-agents) distribué en tant que paquet npm. Il propose une interface web sur
127.0.0.1:3080ainsi qu’un mode sans interface qui affiche simplement la réponse et se termine ; ce dernier mode est conçu pour être utilisé dans des scripts. - Quel en est le coût ? Le logiciel est gratuit. Mon test composé de 5 tâches m’a coûté environ 3 centimes sur V4-Flash et environ 7 centimes sur V4-Pro aux tarifs en vigueur, tandis qu’aucun frais n’a été appliqué pour le modèle exécuté localement.
- Résultat obtenu : 15/15 succès sur V4-Flash, V4-Pro ainsi que sur un modèle Gemma-4-26B installé en local, avec la version 0.1.0-rc.7. L’ensemble des tests s’est effectué en 43 à 56 secondes. Sur une tâche plus concrète (construction et vérification d’un site web de 290 pages), l’outil a même remarqué, sans que je le demande, que mon guide d’utilisation était obsolète.
- Prérequis : Node.js, ainsi qu’une clé API DeepSeek ou tout serveur compatible OpenAI. J’ai utilisé les deux.
- Point négatif : il s’agit d’une version de prévisualisation destinée aux développeurs. Le README prévient que certaines fonctionnalités pourraient ne plus fonctionner lors des mises à jour ; il convient donc de verrouiller la version utilisée et de retester après chaque mise à jour.
Mise à jour du 16/09/2026 : les tests mentionnés ci-dessus ont été réalisés en août avec la version 0.1.0-rc.7. Depuis, j’ai mis à jour mon installation vers la version 0.1.5-rc.1 ; son README énumère également les profils SDK et ACP. J’ai également retiré Reasonix, l’autre agent de programmation que cet article mettait en comparaison, de mon environnement le 09/09/2026 ; cette comparaison n’apparaît désormais plus que sous forme de brève note historique à la fin de ce texte.
La procédure, du niveau de base à l’avancé
Les étapes 1 à 3 vous permettent d’obtenir un agent fonctionnel en une dizaine de minutes. Les étapes 4 et 5 permettent ensuite à d’autres logiciels d’appeler cet agent.
Résultat final
La fonctionnalité que j’utilise réellement est le mode headless. Depuis un dossier de projet :
$ cd ~/scratch/dsh-demo
$ dsh --profile headless "Create fizz.py that prints FizzBuzz for 1..15 and run it; reply with the program output only."
1
2
Fizz
4
Buzz
…
FizzBuzz
$ echo $?
0
Les triples guillemets inversés sont propres à dsh : il a encapsulé sa réponse dans un bloc de code Markdown. Il ne génère rien en dehors du dossier où vous l’avez lancé (mode de permission par défaut : workspace-write). Il n’affiche que le message final sur stdout, et il sauvegarde chaque exécution afin que vous puissiez la rouvrir ultérieurement dans l’interface web pour visualiser chaque appel d’outil ainsi que le nombre de tokens utilisés.
La meilleure preuve fut une tâche réelle, pas un simple exercice. J’ai pointé dsh vers le dossier source de ce site web et lui ai demandé de lire le manuel d’utilisation du projet, d’exécuter les commandes de compilation et de vérification des liens, puis de faire un rapport, sans aucune modification ni publication. En 53 secondes, il a lu le manuel, exécuté les commandes appropriées et affiché les résultats du vérificateur : 290 pages, 1 752 images, aucun lien cassé, ainsi que le temps de compilation. Ensuite, sans que je le lui demande, il a remarqué que le manuel indiquait encore « 288 pages » et a signalé cette divergence. C’est ce genre de tâche sans enjeu majeur que je confie désormais à dsh sans hésiter.
L’interface web présente la disposition classique de 2026 : les sessions à gauche, la discussion au milieu, et une page de paramétrage pour les modèles. Une bonne pratique : copiez la clé API dans cette page de réglages, et non dans un fichier de configuration.

Étape 1 : installation (deux minutes)
Il s’agit d’un seul package npm. Je conserve un préfixe Node privé pour les outils d’agent, afin qu’aucun fichier ne se retrouve dans l’arborescence système ; sur un poste de travail Fedora immuable comme le mien, c’est le seul endroit approprié pour cela. L’installation globale classique utilise la même commande :
npm install -g @deepseek-ai/dsh
dsh --version # 0.1.0-rc.7 when I benchmarked it
dsh web # starts the UI, prints http://127.0.0.1:3080
Ouvrez l’URL, allez dans Settings → Models, collez votre clé DeepSeek et enregistrez. Cela crée le fichier ~/.dsh/.credentials.yaml (mode 0600), et le modèle fonctionne immédiatement, sans besoin de redémarrage. Si vous souhaitez automatiser cela, le fichier est un simple mapping YAML (DEEPSEEK_API_KEY: sk-…). J’ai généré le mien à partir du fichier d’environnement que mes autres services lisent déjà ; ainsi, la clé n’apparaît jamais dans l’historique du shell ni dans un fichier de configuration.
Deux points importants à savoir avant de continuer :
- Le télémétrage est désactivé par défaut. Sans que la variable
DSH_TELEMETRY_MODEsoit définie, il reste désactivé. J’ai vérifié le fichier de configuration fourni, pas les descriptions marketing : l’exporteur OTLP existe bien, mais n’est pas activé. - L’environnement sandbox est réel mais restreint. En mode par défaut, les opérations d’écriture sont limitées au dossier depuis lequel vous lancez l’outil. Les lectures ne sont pas restreintes, et la documentation le précise clairement. Ne lancez pas l’outil depuis votre répertoire personnel pour des tâches importantes, et ne le dirigez pas vers des dossiers contenant des secrets.
Étape 2 : exécuter le service
L’interface web est un processus Node qui s’exécute en continu. Je voulais qu’il démarre automatiquement à la connexion, sans nécessiter de terminal, et qu’il ne soit accessible qu’en local via le loopback. Une unité systemd --user permet de réaliser cela :
# ~/.config/systemd/user/dsh-web.service
[Unit]
Description=DeepSeek Harness web UI (dsh web) on 127.0.0.1:3080
After=network.target
[Service]
WorkingDirectory=%h
Environment=DSH_HOME=%h/.dsh
# Use the path from `which dsh`. systemd does not allow comments at the end of a line.
ExecStart=/usr/local/bin/dsh web --host 127.0.0.1 --port 3080
Restart=on-failure
RestartSec=3
[Install]
WantedBy=default.target
systemctl --user daemon-reload
systemctl --user enable --now dsh-web.service
curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:3080/ # 200
WorkingDirectory définit le répertoire de travail par défaut de l’interface, mais celle-ci vous demande tout de même de choisir un espace de travail avant de pouvoir taper quoi que ce soit. C’est un bon choix par défaut. La CLI refuse également --host 0.0.0.0 ; les développeurs indiquent que le liage à toutes les interfaces réseau “n’est pas encore supporté intentionnellement”. L’interface ne dispose d’aucun mécanisme de connexion, donc je suis d’accord avec cette décision. Si vous avez besoin d’y accéder depuis un autre ordinateur, mettez en place un proxy inverse avec authentification, ou utilisez le navigateur de la machine hôte via le bureau à distance – c’est ce que je fais.
Étape 3 : plusieurs modèles dans un seul fichier YAML, rechargement à chaud
~/.dsh/settings.yaml contient le modèle par défaut ainsi que tous les fournisseurs supplémentaires. dsh le relit avant la prochaine requête, donc aucun redémarrage ni nouvelle connexion n’est nécessaire. Le mien ressemble à ceci :
agent-default-model:
provider: deepseek-official
model: deepseek-v4-flash # or deepseek-v4-pro
llm-deepseek:
reasoningEffort: high # off | low | high | max
# A local OpenAI-compatible server (mine is llama.cpp-based on a GPU rig).
llm-pi-ai:
providers:
local-rig:
displayName: Local GPU rig
apiKeyEnv: LOCAL_RIG_PLACEHOLDER_KEY # a reference, not a value
api: openai-completions
baseURL: http://my-gpu-rig:1234/v1 # your server's address
defaultContextWindow: 65536
models:
- id: unsloth/gemma-4-26B-A4B-it-qat-GGUF/gemma-4-26B-A4B-it-qat-UD-Q4_K_XL
name: Gemma 4 26B-A4B (rig)
Deux détails m’ont coûté dix minutes chacun :
apiKeyEnvest une référence, jamais une valeur littérale. dsh la résout à partir de.credentials.yamlou de l’environnement. Même un serveur local sans clé nécessite une référence de credential, car le client compatible OpenAI exige impérativement un jeton bearer. Indiquez donc n’importe quelle valeur fictive sous ce nom dans.credentials.yaml.- L’identifiant du fournisseur (
local-rigci-dessus) est permanent dès que des sessions le référencent. Pour le renommer, il faut ajouter un nouveau fournisseur.
Comme ce fichier constitue l’ensemble de l’interface, « passer dsh sur le modèle local » ne nécessite qu’une modification de deux lignes, que n’importe quel script ou agent peut effectuer. J’en profite pour envoyer les tâches simples à un modèle local gratuit et les problèmes complexes au V4-Pro, sans toucher à quoi que ce soit d’autre.
Étape 4 : l’appeler depuis votre propre logiciel
Le package officiel ne dispose pas d’interface utilisateur en terminal (TUI). Il existait des plugins TUI tiers sur npm, mais en août, ils n’avaient que quatre jours d’existence et comportaient des dépendances workspace:* défectueuses. Je ne souhaite pas exécuter un package non vérifié ayant accès au shell sur un serveur familial. C’est pourquoi, en intégrant dsh dans mon propre application de chat, j’ai utilisé ce que le package officiel met à disposition :
- Exécuter des tâches headless avec une liste d’arguments fixe. Mon serveur lance
dsh --profile headless "…"en passant la tâche en tant qu’unique élément de la liste d’arguments, sans shell. Ainsi, une tâche contenant; rm -rf /n’est considérée que comme du texte. Une seule tâche est exécutée à la fois, et un historique succinct des réponses finales est conservé. - Changer de modèle en modifiant simplement
agent-default-modeldans le fichiersettings.yaml. Aucun redémarrage n’est nécessaire. - Intégrer l’interface web dans un iframe si vous le souhaitez ; celle-ci ne renvoie aucun en-tête bloquant les cadres.
Une seule règle mérite d’être suivie : placer tout cela derrière le système de connexion administrateur de votre application. Une exécution headless équivaut à l’exécution de code arbitraire ; traitez donc la fonction « exécuter une tâche » exactement comme vous traiteriez un accès au shell.
Le benchmark : 5 tâches, 3 modèles, 15/15
Ceci n’est pas une expérience scientifique : il s’agit de cinq petites tâches que je confierais vraiment à un agent de programmation. Chaque tâche se déroule dans un dossier temporaire distinct, puis est vérifiée par un script : le fichier existe-t-il et peut-il s’exécuter ? Les tests passent-ils sans que le fichier de test soit modifié ? Le renommage a-t-il éliminé toute référence au nom d’origine ? Le temps total mesuré inclut l’envoi du prompt système, qui compte environ 7 500 tokens. Les chiffres relatifs aux tokens proviennent des journaux de session du dsh.
| Tâche | V4-Flash | V4-Pro | Gemma-4-26B (local, sur le rig) |
|---|---|---|---|
| Répondre « PONG » (démarrage + un appel) | ✅ 2,1 s | ✅ 2,8 s | ✅ 13,2 s* |
| Écrire et exécuter FizzBuzz | ✅ 5,3 s · 2 outils | ✅ 8,4 s · 2 outils | ✅ 4,9 s · 2 outils |
| Corriger 2 bugs afin que les tests unitaires passent (sans toucher aux tests) | ✅ 11,7 s · 8 outils | ✅ 15,8 s · 7 outils | ✅ 10,4 s · 8 outils |
| Résumer un code composé de 6 modules (moins de 150 mots) | ✅ 8,9 s · 9 outils | ✅ 10,9 s · 7 outils | ✅ 12,1 s · 7 outils |
| Renommer une fonction dans 3 fichiers + tests, vérifier que tout fonctionne | ✅ 15,1 s · 14 outils | ✅ 18,2 s · 12 outils | ✅ 12,2 s · 11 outils |
| Temps total | 43 s | 56 s | 53 s |
| Tokens (manquants en entrée / lus depuis le cache / sortie) | 42,6 k / 136 k / 4,5 k | 41,4 k / 107 k / 3,2 k | 40,5 k / 237 k / 5,6 k |
| Coût aux tarifs de pointe (en dehors des heures de pointe, le prix est divisé par deux) | ≈ 0,027 $ | ≈ 0,072 $ | 0 $ (seulement la consommation électrique) |
*Premier appel après que le modèle a été chargé sur le rig ; les tâches suivantes montrent une vitesse accrue grâce au cache. Version 0.1.0-rc.7, 18 août 2026. Les prix proviennent de la page tarifaire de DeepSeek ce jour-là : Flash à 0,014 $ / 0,44 $ / 1,32 $ par million de tokens (cache hit / miss / sortie), Pro à 0,044 $ / 1,32 $ / 3,96 $. Le script de benchmark était temporaire et a été supprimé ; je ne peux donc pas confirmer si le contrôle du résumé comptait bien les mots.
Ce que le tableau indique :
- Le cache des prompts représente la majeure partie du coût. Chaque tâche nécessite l’envoi d’environ 7 500 tokens de prompt système, mais après la première étape, presque tout provient du cache, à un prix équivalent à 3 % du tarif normal pour les tokens manquants. Les tâches multi-étapes restent donc peu coûteuses grâce au fait que le script conserve ce préfixe constant.
- Le modèle V4-Pro a utilisé moins d’appels aux outils pour obtenir le même résultat (12 contre 14 lors du renommage). Sur cette série de tâches, Flash s’est avéré plus rapide et trois fois moins cher ; c’est donc lui que j’ai gardé comme modèle par défaut.
- Le modèle local s’en est plutôt bien sorti. Gemma-4-26B (un modèle mixture-of-experts avec 4 milliards de paramètres actifs, quantifié en Q4, exécuté via llama.cpp sur deux cartes RTX 5090) a réussi toutes les tâches. Il a lu davantage de contexte en cache (237 000 tokens contre 136 000 pour Flash), mais son temps total est resté compétitif. C’est la première fois qu’un modèle local s’avère une option viable pour ce type de tâches, et non simplement un gadget. Toutefois, cinq petites tâches ne suffisent pas à prédire ses performances sur un projet impliquant 40 fichiers.
Règle de décision que j’ai finalement adoptée : utiliser Flash pour les tâches courantes et automatisées, V4-Pro lorsque la tâche exige moins d’étapes et de meilleure qualité, et le modèle local quand le travail peut être refait à moindre coût sans avoir besoin de quitter l’environnement local.
Le test amusant : créez-moi un jouet
Je voulais également voir comment il se comporterait face à un brief créatif ouvert : « créez une version pixel-art interactive du logo de ce site. Utilisez du JavaScript vanilla, le widget doit pouvoir être intégré n’importe où ; au survol de la souris, quelque chose doit se produire physiquement, un clic doit déclencher un effet sympa. Aucune dépendance requise. Testez-le vous-même. » Voici ce qu’il a créé – le widget est d’ailleurs en ligne (il a ensuite été mis en compétition avec deux autres réalisations générées par Kimi dans le concours des widgets pixel-art) :
prefers-reduced-motion.
Détails du processus :
- Première tentative (V4-Flash) : boucle infinie pendant 10 minutes, sans aucun fichier généré. Le brief autorisait soit un dessin manuel, soit une génération procédurale de bitmap. Il a choisi de dessiner manuellement un bitmap de 40×40 dans ses raisonnements, puis s’est mis en boucle : les logs de session contenaient des centaines de lignes de
################et...., jusqu’à ce que le timeout mette fin à la session. Coût total : environ 2¢. Leçon à retenir : ne jamais laisser un modèle dessiner des pixels mentalement. - Deuxième tentative (V4-Flash, brief modifié en « générer un raster à partir de formes géométriques, pas de bitmap ») : 25 minutes, tout a été produit. Le modèle a effectué 100 étapes de raisonnement, 201 appels aux outils, généré 172k tokens de sortie (dont 123k pour les raisonnements) et lu 16,3M tokens en cache ; le coût s’est élevé à environ 49¢ au tarif le plus élevé. Il a écrit un fichier
ll-pixel-logo.jsde 399 lignes, doté d’une API unique et d’options via attributsdata-; il a aussi créé une page de démonstration, un README, un test unitaire Node pour le rasteriseur, ainsi qu’un script Playwright qui prend des captures d’écran du widget à trois tailles – sans que je le demande. Il a atteint le seuil de 25 minutes juste en peaufinant le README ; le code de sortie indiquait donc un timeout, alors que le travail était déjà terminé. Les codes de sortie peuvent être trompeurs dans les deux sens. - Le design final : le cercle et les deux L inclinés rappellent le logo d’origine, mais sont plus épais et plus « en Z » que l’original. J’aurais besoin de dix minutes pour ajuster les constantes de cisaillement avant toute utilisation réelle ; je ne l’ai pas fait – ce que vous voyez ici est donc tel quel.
- L’intégration sur ce site n’a nécessité qu’une seule ligne de code, car la politique CSP du site autorise uniquement
script-src 'self', et le widget ne fait aucune requête réseau. Le brief exigeait d’ailleurs cela, et il s’y est conformé. - Coût supplémentaire : dsh a créé ses fichiers avec les permissions 0600. Mon script de déploiement a reproduit ces permissions sur le serveur web ; du coup, le widget renvoyait une erreur 403 en production jusqu’à ce que j’exécute
chmod 644. Il faut toujours corriger les permissions des fichiers extraits d’un espace de travail dsh.
Pièges à éviter
- Il s’agit d’une préversion pour développeurs ; le README le précise d’ailleurs. J’ai installé
0.1.0-rc.7, trois jours après la version rc.6. Les profils, les clés de configuration ainsi que la structure des plugins peuvent évoluer. Verrouillez donc la version dans tout script d’automatisation et exécutez à nouveau un test de base après chaque mise à jour. - Le mode headless ne produit aucune sortie tant qu’il n’est pas terminé. Rien n’est affiché sur stdout, donc une tâche longue peut sembler bloquée. Consultez le journal de session (
~/.dsh/sessions/…/session.jsonl.zstd, au format JSONL compressé avec zstd) ou suivez-le via l’interface web. Un code de sortie 0 signifie simplement que « le tour s’est achevé », pas que « la tâche a réussi » ; vérifiez donc le résultat. - Il n’y a pas d’option
--modelen mode headless. Le modèle utilisé par défaut provient desettings.yaml; modifiez-le là-bas (la configuration se rechargera à chaud) ou via l’interface web. - Les serveurs locaux sans authentification nécessitent un identifiant temporaire, et les identifiants des fournisseurs sont permanents. Consultez l’Étape 3 pour plus de détails.
- L’interface web utilise des chemins absolus (
/assets/…,/api) ; vous ne pouvez donc pas la placer sous un chemin spécifique via votre propre reverse proxy sans effectuer de redirection. Il est préférable de l’intégrer directement ou de lui attribuer son propre nom d’hôte. - La langue de l’interface suit celle de votre navigateur. Le fichier index.html fourni indique
lang="zh-CN", et la première chose que vous voyez est une boîte de dialogue « Avis de test interne ». Cliquez sur « Continuer » ; par la suite, l’interface s’est affichée en anglais pour moi. - L’installation exécute des scripts postinstall (node-pty, koffi, protobufjs), ce qui déclenche des avertissements de npm. Je n’ai rien détecté de malveillant, mais il s’agit de code natif compilé dans votre répertoire d’installation. C’est une raison supplémentaire d’utiliser un répertoire privé plutôt que celui du système.
- Version de Node requise : la version rc.7 nécessitait Node 22.19+ ou 24 ; les anciennes versions LTS ne permettaient pas son exécution. Vérifiez le README de la version que vous installez.
Note historique : dsh à côté de Reasonix
En août, j’ai utilisé dsh en parallèle avec Reasonix, un agent terminal développé par un tiers. La distinction était simple : Reasonix était une interface TUI que j’ouvrais lorsque je voulais interagir directement avec l’agent, tandis que dsh était utilisé par mes autres logiciels. J’ai retiré Reasonix de mon environnement de travail le 9 septembre 2026 ; désormais, dsh est mon principal agent de codage. Si vous hésitez entre les deux, la différence majeure réside dans le fait que dsh propose un mode headless où une seule commande produit une seule réponse et un seul code de sortie, ce qui facilite le scripting ; en revanche, une interface TUI suppose qu’il y a un humain au clavier.
Où cela me mène
Le mode headless est la configuration idéale pour un agent de programmation appelé par d’autres logiciels : une commande, une réponse, un code de sortie, et un journal d’activité que l’on peut auditer. Le principe « modèle via YAML » permet au script appelant de choisir le modèle le plus adapté à la tâche. Si vous exécutez déjà un serveur de modèles local, essayez les mêmes cinq tâches. Il ne vous en coûtera que dix cents en crédits API et l’utilisation d’un simple dossier temporaire.
Voir aussi : DeepSeek Everywhere (intégration de DeepSeek dans Claude Code et un stack d’agents), Kimi K3 en tant qu’agent de programmation (les mêmes cinq tâches, re-testées avec dsh en septembre), bench-llm et son successeur CrucibleForge (des outils de benchmark pour modèles locaux plus poussés que ceux utilisés ici), ainsi que Reasonix (l’agent terminal que j’utilisais avant dsh, désormais retiré du service).