DeepSeek lokal betreiben: eine Anleitung in 4 Schritten (keine Vorkenntnisse nötig)

Installiere Ollama auf deinem System. Ollama ist das Backend, das LLMs betreibt — es enthält keine grafische Benutzeroberfläche (GUI, im Grunde die Webseite, mit der du interagierst). Die kommt später.

Installation über folgenden Link:

https://ollama.com/download/windows

Ist die Installation abgeschlossen, prüfst du, ob alles funktioniert:

• Öffne eine Eingabeaufforderung (tippe "cmd" in die Suchleiste ein, um die Eingabeaufforderung zu öffnen)
• Tippe in der Eingabeaufforderung "ollama" ein und drücke Enter
  • Es sollte eine Liste von Befehlen erscheinen — das bedeutet, Ollama funktioniert. Du kannst das Fenster der Eingabeaufforderung schließen; Ollama läuft im Hintergrund weiter:
  • Falls stattdessen "'ollama' is not recognized as an internal or external command, operable program or batch file" erscheint, ist die Installation fehlgeschlagen. Versuch es noch einmal.

C:\Users\you>ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  run         Run a model
  pull        Pull a model from a registry
  list        List models
  ps          List running models
  rm          Remove a model
  ...

Dieser Schritt ist abgeschlossen, wenn: du Ollama aus deiner Eingabeaufforderung heraus öffnen kannst

Falls du Docker noch nicht hast, richte es gemäß folgender Anleitung ein (keine Anpassungen nötig, einfach wie beschrieben ausführen):

https://docs.docker.com/desktop/setup/install/windows-install

Dieser Schritt ist abgeschlossen, wenn: du Docker auf deinem Rechner öffnen kannst:

Open WebUI ist einfach eine Oberfläche, mit der du mit Ollama sprechen kannst. Es gibt mehrere solcher Oberflächen; das ist die, die ich verwende.

Folge der Anleitung auf der Quick-Start-Seite:

https://docs.openwebui.com/getting-started/quick-start

• Zum Zeitpunkt dieses Artikels reichte es, Folgendes auszuführen (Hinweis: das liegt daran, dass ich eine Nvidia-GPU habe):
  • docker pull ghcr.io/open-webui/open-webui:main
  • docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda
    • Dieser zweite Befehl funktioniert nur für Leute mit Nvidia-GPUs (CUDA ist Nvidia-exklusiv)
    • Anleitungen für andere Konfigurationen findest du im obigen Link

Danach solltest du einen neuen Container in deinem Docker-Programm sehen:

Klick auf den Port, um die Weboberfläche zu starten.

• Sobald sie erscheint, leg einen Login an
  • Das läuft lokal, es dient nur dazu, dich auf deinem eigenen Rechner zu authentifizieren. Es wird kein Online-Konto angelegt.
  • Hier ist die Dokumentation von Open WebUI zum Anlegen eines Kontos: Link

Dieser Schritt ist abgeschlossen, wenn: du die GUI öffnen kannst (durch Klick auf "Port(s)" im Docker-Container) und in Open WebUI gelandet bist

Hinweis: An dieser Stelle sollte noch kein Modell geladen sein

Parameter geben die Größe des Modells an — 7 Milliarden, 14 Milliarden, 32 Milliarden und so weiter. Unkomprimiert braucht jede Milliarde Parameter etwa 1 GB vRAM, eine 8-GB-Karte kann also ungefähr ein 7B-Modell in voller Quantisierung betreiben. Die Dateigröße skaliert genauso: Ein 7B-Modell wiegt rund 7 GB, ein 40B-Modell rund 40 GB. Größer ist auch klüger — ein 7B-Modell kann simpel wirken, während die 40B-Version desselben Modells fast menschlich erscheinen kann.

Quantisierung ist Kompression, gemessen in Bit — typischerweise 16, 8, 6 oder 4. Weniger Bit bedeutet eine kleinere Datei mit etwas Qualitätsverlust: Bei 16 Bit entspricht 1 Milliarde Parameter etwa 1 GB Modellgröße, bei 4 Bit etwa 0,6 GB. Als Faustregel gilt: 16/8/6 Bit halten das Modell bei voller Größe klug; 5 oder 4 Bit sind gut genug, mittelgroß und schnell; 2 oder 3 Bit sind sehr klein, bleiben aber möglicherweise nicht kohärent. Wer es genauer wissen will: hier ist ein hervorragender visueller Leitfaden zur Quantisierung.

Drücke unter Windows Strg + Umschalt + Esc, um den Task-Manager zu öffnen, klicke auf Leistung und dann auf deine GPU. Dein vRAM ist der Wert Dedizierter GPU-Speicher — die Gesamtmenge ist das, was du hast, und dein verfügbarer vRAM ist diese Gesamtmenge minus dem, was gerade genutzt wird. Bei einer Gesamtmenge von 24 GB und 1,2 GB Nutzung stehen dir also etwa 22,8 GB zur Verfügung. Hast du mehrere Grafikkarten (wie ich), addierst du ihren vRAM zur Gesamtmenge.