DeepSeek en local : un guide en 4 étapes (aucune expérience requise)

Installez Ollama sur votre système. Ollama est le moteur qui fait tourner les LLM — il n'inclut pas d'interface graphique (GUI, autrement dit la page web avec laquelle vous interagissez). Ça viendra plus tard.

Installez-le via le lien suivant :

https://ollama.com/download/windows

Une fois l'installation terminée, vérifiez que tout fonctionne :

• Ouvrez une invite de commande (tapez « cmd » dans la barre de recherche pour ouvrir l'invite de commandes)
• Dans l'invite de commande, tapez « ollama » et appuyez sur Entrée
  • Une liste de commandes doit s'afficher — cela signifie qu'Ollama fonctionne. Vous pouvez fermer la fenêtre de l'invite de commande ; Ollama continue de tourner en arrière-plan :
  • Si la réponse est « 'ollama' is not recognized as an internal or external command, operable program or batch file », alors l'installation a échoué. Réessayez.

C:\Users\you>ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  run         Run a model
  pull        Pull a model from a registry
  list        List models
  ps          List running models
  rm          Remove a model
  ...

Cette étape est terminée quand : vous pouvez ouvrir Ollama depuis votre invite de commande

Si vous n'avez pas encore Docker, installez-le en suivant les instructions ci-dessous (aucune modification nécessaire, exécutez-les telles quelles) :

https://docs.docker.com/desktop/setup/install/windows-install

Cette étape est terminée quand : vous pouvez ouvrir Docker sur votre ordinateur :

Open WebUI est simplement une interface qui vous permet de parler à Ollama. Il en existe plusieurs sur le marché ; celle-ci est celle que j'utilise.

Suivez les instructions du site de démarrage rapide :

https://docs.openwebui.com/getting-started/quick-start

• Au moment de la rédaction de cet article, il suffisait d'exécuter ce qui suit (remarque : c'est parce que j'ai un GPU Nvidia) :
  • docker pull ghcr.io/open-webui/open-webui:main
  • docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda
    • Cette seconde commande ne fonctionne que pour les personnes avec un GPU Nvidia (CUDA est propre à Nvidia)
    • D'autres instructions sont disponibles sur le lien ci-dessus

Une fois terminé, vous devriez voir un nouveau conteneur dans votre programme Docker :

Cliquez sur le port pour lancer l'interface web.

• Une fois qu'elle s'affiche, créez un identifiant
  • Comme tout tourne en local, c'est juste un moyen de vous authentifier sur votre propre machine. Cela ne crée pas de compte en ligne.
  • Voici la documentation d'Open WebUI sur la création d'un compte : Lien

Cette étape est terminée quand : vous pouvez ouvrir l'interface (en cliquant sur « Port(s) » dans le conteneur Docker) et accéder à Open WebUI

Remarque : à ce stade, aucun modèle ne devrait encore être chargé

Les paramètres représentent la taille du modèle — 7 milliards, 14 milliards, 32 milliards, et ainsi de suite. Non compressé, chaque milliard de paramètres occupe environ 1 Go de vRAM, donc une carte de 8 Go peut faire tourner à peu près un modèle 7B en pleine quantification. La taille du fichier suit la même logique : un modèle 7B pèse environ 7 Go, un modèle 40B environ 40 Go. Plus gros veut aussi dire plus intelligent — un modèle 7B peut sembler limité là où la version 40B du même modèle peut sembler presque humaine.

La quantification est une compression, mesurée en bits — typiquement 16, 8, 6 ou 4. Moins de bits signifie un fichier plus petit avec une certaine perte de qualité : en 16 bits, 1 milliard de paramètres pèse environ 1 Go ; en 4 bits, environ 0,6 Go. En règle générale, 16/8/6 bits garde le modèle intelligent en pleine taille ; 5 ou 4 bits est suffisant, de taille moyenne, et rapide ; 2 ou 3 bits est très petit mais peut manquer de cohérence. Pour aller plus loin, voici un excellent guide visuel sur la quantification.

Sous Windows, appuyez sur Ctrl + Maj + Échap pour ouvrir le Gestionnaire des tâches, cliquez sur Performance, puis sur votre GPU. Votre vRAM correspond au chiffre Mémoire GPU dédiée — le total est ce que vous possédez, et votre vRAM disponible est ce total moins ce qui est actuellement utilisé. Donc si le total est de 24 Go et l'utilisation de 1,2 Go, vous avez environ 22,8 Go disponibles. Si vous avez plusieurs cartes graphiques (comme moi), additionnez leur vRAM pour obtenir votre total.