ChatForge: Ein lokaler NPU-KI-Assistent für die Copilot-Taste
- Kategorie
- KI & lokale LLMs
- Veröffentlicht
- 2 Oktober 2026
- Aktualisiert
- 19 Oktober 2026
- Von
- Jacob Lloyd — mit KI-Unterstützung geschrieben, im Nachhinein
- Lesezeit
- 17 Min. Lesezeit
Kurz gesagt: Neue Intel-Laptops haben einen speziellen KI-Chip (eine NPU), der meist ungenutzt bleibt, und eine Copilot-Taste, die Microsofts Assistenten öffnet. ChatForge ist ein kostenloses Programm, das dieser Taste eine andere Aufgabe gibt: Es öffnet ein kleines Chat-Fenster, das Antworten von einem Modell liefert, das auf dem eigenen Laptop läuft – ohne Konto und ohne monatliche Gebühr – und das aktuelle Dinge wie Wetter und Nachrichten nachschlagen kann. Bei schwierigeren Fragen kann dasselbe Fenster stattdessen einen größeren KI-Dienst anfragen.
Unser Laptop wurde mit einer dedizierten KI-Taste und einem dedizierten KI-Chip ausgeliefert, und ab Werk sind sie sich nie begegnet: Die Taste öffnet Microsoft Copilot in der Cloud, und die NPU sitzt da und tut nichts. Das störte uns mehr, als es sollte. Jetzt öffnet die Taste also ChatForge, unseren eigenen Assistenten. Er führt ein 1,5B-Qwen auf der NPU mit 42–51 Tokens pro Sekunde aus. Kein Konto, kein Abonnement, keine Abrechnung pro Token, und das Gespräch verlässt nie den PC. Wenn eine Frage zu groß für ein 1,5B-Gehirn ist, sind unser GPU-Server oder ein Cloud-Modell im selben kleinen Popup nur einen Klick entfernt.
Aktualisiert am 19.10.2026 (ChatForge 0.2.0). ChatForge lässt sich jetzt per Doppelklick installieren (ohne Terminal, Python oder git), richtet sein lokales Modell beim ersten Start über einen einzigen Knopf ein, führt dieses Modell auf der CPU aus, wenn ein PC keine NPU hat, und fragt nach, bevor es mit Windows startet. Ein StudioForge-Server auf einem anderen PC benötigt jetzt einen API-Schlüssel. Die Installationsschritte unten sind die von 0.2.0; was sich geändert hat und wie man aktualisiert, steht unter Was ist neu in 0.2.
Dieser Artikel führt Sie durch alle Funktionen: Was ChatForge leistet, wie sich der NPU im Alltag verhält – einschließlich des Modells, das zwar fehlerfrei kompiliert wurde, aber anschließend völlig unverständliche Antworten lieferte – sowie Tricks, die es einem so kleinen Modell ermöglichen, sinnvolle Antworten zu geben.
Kurzfassung
- Herunterladen: github.com/LaserLloyd/ChatForge – MIT-Lizenz, kostenlos, Version 0.2.0. Laden Sie dort die ZIP-Datei herunter, klicken Sie auf
Install ChatForgeund anschließend auf „Set up local AI“. (Die ZIP-Datei im Download-Bereich unten ist die ältere Version 0.1.0; deren Installation erfordert ein Terminal.) - Was ist es? Ein kostenloser, MIT-lizenzierter Assistent für Windows 11, der im Benachrichtigungsbereich erscheint.
Ctrl+Alt+C(oder die Copilot-Taste, nach Umkonfiguration via PowerToys) öffnet ein 420 × 620 Pixel großes Fenster unten rechts; mit Escape wird es geschlossen. - Das lokale Modell:
Qwen2.5-1.5B-Instruct(INT4-Format, ca. 0,94 GB groß). Es wird über den OpenVINO Model Server auf dem Intel „AI Boost“-NPU ausgeführt; fehlt der NPU, nutzt das Programm die CPU. Erstladen dauert etwa 45 Sekunden; danach lädt es sich aus dem Cache in ca. 3 Sekunden – mit einer Geschwindigkeit von 42–51 Tokens pro Sekunde. Nach 10 Minuten Inaktivität entlädt es sich automatisch. - Größere Modelle, gleiches Menü: StudioForge (Ihr eigener GPU-Server), MiniMax, OpenAI, DeepSeek oder jeder OpenAI-kompatible Server. Die Schlüssel werden im Windows Credential Manager gespeichert – niemals in einer Konfigurationsdatei.
- Neun Werkzeuge: Web- und Nachrichtenrecherche, Seitenabruf, Wettervorhersage, Wikipedia, Wechselkurse, Datum/Zeit, Taschenrechner – sowie
create_document, das ein von dem Modell erstelltes Word-, Excel- oder PowerPoint-Dokument speichert. Bis zu 10 Dateien können pro Nachricht angehängt werden. - Was es nicht ist: kein Agent. Kein Werkzeug startet Programme oder ändert Einstellungen; das einzige Schreibwerkzeug kann lediglich neue Dateien in seinem eigenen Ordner anlegen.
Wo Sie ChatForge herunterladen
Es gibt nur ein MIT-lizenziertes Repository: github.com/LaserLloyd/ChatForge. Dort finden Sie auch die Laufzeit-Hinweise mit allen NPU-Messwerten, die in diesem Artikel erwähnt werden. Auf der GitHub-Seite finden Sie unter „Code > Download ZIP“ die aktuelle Version samt Installer. Im Download-Bereich am Ende dieser Seite ist außerdem ein älterer Snapshot der Version 0.1.0 verfügbar.
Was Sie erhalten
Mit nur einer Frage sind Sie bei jeder Anwendung: Taste drücken, Text eingeben, Antwort lesen – dann Escape drücken. Jede Antwort gibt an, welches Modell sie generiert hat sowie deren Geschwindigkeit; so wissen Sie stets, ob Sie das kostenlose lokale Modell oder ein Modell mit Gebühren nutzen. Bei Fragen, die aktuelle Daten erfordern, zeigt ein Werkzeug-Chip an, welche Informationen abgerufen wurden; bei größeren Modellen wird ein Dokument-Karten-Eintrag mit den Schaltflächen „Öffnen“ und „Im Ordner anzeigen“ angezeigt.



Die Gespräche, Abbildungen, Standorte sowie Servernamen in den Screenshots sind Beispieldaten; die Benutzeroberfläche ist die echte Version, dargestellt im Edge-Browser (dem Engine hinter WebView2) auf Basis des Entwicklungs-Mockups des Projekts.
Wie alles zusammenwirkt
Ein einziger Python-Prozess steuert alles: das Symbol im Systemtray, den globalen Hotkey, das Popup sowie die Einstellungsfenster (erstellt mittels pywebview und WebView2). Im Hintergrund läuft außerdem ein asyncio-Kern, der Antworten generiert und Werkzeuge ausführt. Der Modell-Server ist ein eigenständiger Prozess, der beim Öffnen des Popups mit dem lokalen Modell gestartet wird; er wird bei Beendigung der App mittels eines Windows-Job-Objekts vollständig beendet – sodass nach einem Absturz kein Modell im Arbeitsspeicher verbleibt.
Nur sehr wenig wurde von Grund auf neu geschrieben – und das ist durchaus ein Kompliment: Der Prozess-Manager, der Downloader, das Systemtray sowie das Logging stammen aus StudioForge; die Chat-Benutzeroberfläche sowie der Markdown-Prozessor aus DisPatch; der Streaming-Client wurde aus unserem Benchmarking-Tool übernommen. Alle Komponenten hatten bereits monatelang im täglichen Einsatz bewährt; jedes angepasste Modul vermerkt dies am Anfang seines Codes. Diese Wiederverwendung erklärt, warum der erste Commit und die Version 0.1.0 nur zwei Tage auseinanderliegen (Abend des 30.09.2026 bis zum 02.10.2026) – ein LLM-Agent führte dabei die Zusammenstellung nach einem schriftlichen Plan mit rund 1.000 Zeilen aus.
Installation
ChatForge 0.2.0 lässt sich unter Windows 11 in drei Schritten installieren – ohne Terminal und ohne Administratorrechte:
- Herunterladen. Auf der GitHub-Seite wählen Sie Code > ZIP herunterladen aus und entpacken Sie das Archiv.
- Doppelklicken Sie auf
Install ChatForge. Das Programm lädt uv (mit Hash-Prüfung) sowie Python 3.12 herunter, falls diese fehlen, installiert die App für Ihren Benutzer in%LOCALAPPDATA%\Programs\ChatForge, erstellt Verknüpfungen im Startmenü und auf dem Desktop, fragt einmal, ob es mit Windows gestartet werden soll, und öffnet anschließend ChatForge. Der Installer ist nicht signiert; daher zeigt Windows beim ersten Mal die Meldung „Windows hat Ihren PC geschützt“ an – wählen Sie dort Weitere Informationen > Trotzdem ausführen. - Klicken Sie auf „Set up local AI“ in dem Popup-Fenster. Es installiert die Modell-Laufzeitumgebung (OpenVINO Model Server, 139 MB) und lädt das Starter-Modell
OpenVINO/Qwen2.5-1.5B-Instruct-int4-ov(0,94 GB, Apache-2.0) herunter. Dabei wird eine Fortschrittsleiste angezeigt sowie eine Abbrechen-Schaltfläche; zudem werden die SHA-256-Hashes aller Dateien mit den Angaben von Hugging Face verglichen und das Chat-Modell auf dieses Modell ausgerichtet. Bei einer schnellen Internetverbindung dauert der Vorgang etwa eine Minute. Wählen Sie stattdessen Use StudioForge bzw. Use an API key, um auf das lokale Modell zu verzichten.
Zum Aktualisieren führen Sie Install ChatForge erneut aus; Einstellungen und Daten bleiben in %LOCALAPPDATA%\ChatForge erhalten. Mit Uninstall ChatForge wird die App entfernt, wobei Ihre Daten beibehalten werden – es sei denn, Sie fügen --purge hinzu. Die Optionen des Installers sind in der Datei deploy/windows/README.md beschrieben; das README enthält außerdem eine PowerShell-Version der drei Schritte sowie die Entwickleranleitung (git clone, uv sync --extra dev, uv run chatforge doctor).
Beim ersten Laden des Modells auf einem NPU wird dieses kompiliert – der Vorgang dauert etwa 45 Sekunden; im Popup-Fenster wird eine Countdown-Anzeige gezeigt, um zu verdeutlichen, dass alles normal ist. Danach erfolgt das Laden aus dem Kompilier-Cache in etwa 3 Sekunden. Auf einer CPU lädt das Modell innerhalb weniger Sekunden; in diesem Fall werden auf der Karte sowie in der Statuszeile „langsamer“ angezeigt. Für diesen Artikel haben wir den Installer nicht erneut ausgeführt; die oben genannten Schritte stammen aus dem README, dessen Screenshots auf einem Windows-11-PC ohne NPU aufgenommen wurden.
Das Problem mit der Copilot-Taste
Hier kommt der Punkt, den Ihnen niemand bei dem Kauf des Laptops erklärt: Die Copilot-Taste lässt sich nicht belegen. Sie sendet das Signal Win+Shift+F23; Windows registriert diese Kombination für eigene Zwecke, und die offizielle Einstellungsoberfläche bietet nur vorab gepackte, signierte Programme an. Ihr eigenes Programm steht also nicht auf der „Gästeliste“ Ihrer Tastatur.
Die praktikable Lösung ist der PowerToys-Keyboard-Manager: Sie remappen den Shortcut Win (Left) + Shift (Left) + F23 auf Ctrl+Alt+C (ChatForge’s Hotkey) und aktivieren die Option Run at startup in PowerToys. Nach einer einzigen Umzuordnung öffnet die von Microsoft für Copilot reservierte Taste stattdessen Ihren Assistenten. Sollte die Taste künftig wieder Windows-Suche oder Copilot starten, ist PowerToys nicht aktiv – das ist die einzige Fehlerursache; sie steht daher ganz oben auf der Liste der zu prüfenden Punkte.
Wie man ein 1,5-Milliarden-Parameter-Modell nützlich macht
Ein Modell mit 1,5 Milliarden Parametern und einem Kontextfenster von 4096 Tokens ist wie ein Goldfisch mit Bibliotheksausweis. Die interessante Ingenieursleistung bei ChatForge besteht darin, mit dieser Einschränkung zu arbeiten, statt sie zu ignorieren:
- Kurze Werkzeugliste. Es existieren neun Werkzeuge, doch dem lokalen Modell werden nur fünf angeboten (Suche, Seitenabruf, Wetter, Datum/Uhrzeit, Rechner). Kleine Modelle verlieren bei langen Menüs leicht den Überblick; die Reduktion der Auswahl sorgt dafür, dass ihre Aufrufe übersichtlich bleiben.
- Zuerst nachschauen. Fragen, die offensichtlich aktuelle Daten erfordern („Wetter“, „aktuellste Informationen“, „Preis“), lösen das entsprechende Werkzeug vor der ersten Modellrunde aus; das Modell beantwortet die Frage dann auf Basis des Ergebnisses – reiner Mustervergleich, kein zusätzlicher Modellaufruf.
- Erholung bei Ablehnungen. Kleine Modelle neigen dazu, selbst wenn ein Suchwerkzeug vorhanden ist, zu antworten: „Ich habe keinen Zugriff auf Echtzeitdaten.“ Antworten, die in der ersten Person ablehnen oder eine Suche versprechen, die nie stattfindet („Lassen Sie mich danach suchen…“), werden ignoriert; stattdessen führt das System die Suche selbst durch und das Modell antwortet erneut. Währenddessen zeigt das Popup „Suche läuft…“ an, sodass Sie den ursprünglichen, abweisenden Entwurf nie zu Gesicht bekommen.
- Kein Zusammenfassen. Sobald ein Chat das Kontextfenster überschreitet, werden die ältesten Einträge einfach aus dem Prompt entfernt; ein Trennstrich im Popup markiert exakt den Startpunkt der Modellansicht. Es findet kein Nachparaphrasieren im Hintergrund statt – dadurch entstehen keine zusätzlichen Kosten – und das Modell wird darüber informiert, dass ältere Nachrichten weggelassen wurden; es fragt dann nach, anstatt etwas zu erfinden.
- Schleifen-Schutz und Budget. Ein einzelner Prompt darf maximal sechsmal Werkzeuge aufrufen; wiederholte, identische Aufrufe werden abgelehnt – ein 1,5-Milliarden-Parameter-Modell würde sonst das Wetterwerkzeug endlos nutzen.
- Sicherheitsnetz. Sollte das NPU-Modell nicht laden, abstürzen oder aufgrund einer Zeitüberschreitung ausfallen, kann derselbe Prompt an einen von Ihnen gewählten Anbieter weitergeleitet werden.
All dies funktioniert auch ohne NPU – dasselbe System steuert auch größere Modelle –, doch genau das ermöglicht es dem kostenlosen lokalen Modell, die Frage „Wird es dieses Wochenende regnen?“ korrekt zu beantworten – und zwar in voller NPU-Geschwindigkeit, statt höflich abzulehnen.
Das Modell, das problemlos kompilierte, aber Unsinn lieferte
Ursprünglich war geplant, Qwen3-4B als lokales Modell bereitzustellen – größeres Modell, neuere Familie, die logische Wahl. In der Datei docs/RUNTIME-NOTES.md des Repos wird jedoch das Hindernis beschrieben: Qwen3-4B-int4-ov kompiliert auf dem NPU ohne Fehlermeldung, liefert bei Verwendung von OVMS 2026.4 jedoch völlig unsinnige Ausgaben – obwohl die gleichen Modelldateien auf der CPU korrekt mit 24 Tokens pro Sekunde arbeiten. Der Fehler ist spezifisch für NPUs; alle getesteten Konfigurationen scheiterten, und alternative Quantisierungen, die möglicherweise funktionieren würden, erlauben in OVMS 2026.4 keine Werkzeugaufrufe. Auf einem NPU beweist ein sauberes Kompilieren also gar nichts – erst die Ausgabe ist aussagekräftig.
Stattdessen wurde das Modell Qwen2.5-1.5B-Instruct INT4 verwendet; gemessen an einem Core Ultra 5 226V (Lunar Lake):
| Qwen2.5-1.5B-Instruct INT4 auf dem NPU | Messwerte |
|---|---|
| Erstes Kompilieren (einmalig) | 44,5 Sekunden |
| Laden aus dem Kompilier-Cache | 2,7–3,2 Sekunden |
| Dekodierung | 42–51 Tokens pro Sekunde |
| Zeit bis zum ersten Token (kurze Prompts) | 0,5–0,8 Sekunden |
| Größe des Kompilier-Caches auf der Festplatte | 306 MB |
| Kontextfenster | 4096 Tokens |
Ein Hinweis aus derselben Datei: OVMS akzeptiert den Flag BEST_PERF, der die Dekodiergeschwindigkeit um etwa 10 % erhöht (auf 48,3 Tokens pro Sekunde); allerdings verlängert sich die Kompilierzeit auf 135 Sekunden – das Dreifache des Standardwerts. ChatForge nutzt diesen Modus nicht; wir halten das für richtig: Die einmalige Wartezeit von 45 Sekunden liegt bereits an der Grenze dessen, was ein Erstanwender noch abwartet, bevor er das Programm für fehlerhaft hält.
Dateien hinein, Dokumente heraus
Pro Nachricht können bis zu zehn Dateien angehängt werden (per Papierclip-Symbol, Ziehen oder Einfügen – jeweils 20 MB groß): Code und Text, CSV, JSON, HTML, Word-, Excel-, PowerPoint-, OpenDocument-, RTF-Dateien, E-Mails, PDFs sowie auch alte .doc-Dateien werden direkt gelesen. Ältere .xls/.ppt-Dateien werden über Microsoft Office konvertiert, sofern dieses installiert ist. Bilder werden geprüft, aufrechtrichtig gedreht, auf 1568 Pixel verkleinert sowie von Metadaten bereinigt – Standortdaten, Zeitstempel und Kamerainformationen entfallen vor der Speicherung bzw. Übertragung; Modelle ohne Bildverarbeitungsfähigkeit erhalten stattdessen den per Windows-OCR extrahierten Text.
In die andere Richtung ermöglicht create_document es einem StudioForge- oder Cloud-Modell, seine Antworten zu speichern: .docx, .xlsx und .pptx werden vom Modell generiertes Markdown durch ChatForge selbst mittels der Python-Standardbibliothek erstellt – kein Office wird benötigt. Die Dateien landen in Documents\ChatForge; bei gleichem Dateinamen entsteht report (2).docx statt einer Überschreibung; die Antwort zeigt anschließend eine Karte mit den Optionen Öffnen und Im Ordner anzeigen. Das kleine lokale Modell erhält dieses Werkzeug nicht – es wäre also Ihre eigene Verantwortung, von einem Goldfisch einen Quartalsbericht zu verlangen.
Was ChatForge bewusst nicht ist
ChatForge ist kein Agent; diese Grenze ist strukturell festgelegt und kein bloßes Versprechen im Prompt. Acht der neun Werkzeuge sind reine Lesezugriffe; das neunte kann lediglich neue Dateien in seinen eigenen Ordner schreiben, ohne etwas zu überschreiben; kein Werkzeug startet Programme, ändert Einstellungen oder liest Dateien, die Sie nicht explizit hinzugefügt haben. fetch_url blockiert private sowie lokale Adressen (inklusive DNS-Rebinding); der Rechner ist ein whitelist-basiertes Auswertungstool ohne eval-Funktion; API-Schlüssel werden im Windows Credential Manager gespeichert und vom Log-Redaktor erfasst; das Modell-Server-Programm wird von Konstruktionswegen zusammen mit der App beendet. Es wird nur ein einziger Chat gespeichert; es gibt keinen Archiv-Algorithmus für alle bisherigen Anfragen. Im schlimmsten Fall kann ein verwirrtes Modell eine falsche Antwort geben und eine neue Datei anlegen – das ist exakt die maximale „Zerstörungskraft“, die man von einem Tray-Assistenten erwarten darf.
Was in Version 0.2 neu ist
ChatForge 0.2.0 (18. Oktober 2026) ist die Ausgabe, bei der ein Windows-11-Nutzer weder Terminal, Python noch Git benötigt. Vom Download bis zum ersten Chat sind drei Schritte nötig: Doppelklicken Sie auf Install ChatForge, klicken Sie auf Set up local AI und tippen Sie ein.
- Ein doppelklickfähiger Installer/Uninstaller, der pro Benutzer arbeitet, keine Administratorrechte erfordert, Verknüpfungen anlegt sowie einen Eintrag in der Liste der installierten Programme erzeugt (siehe Install).
- Ein Ein-Knopf-Starter für das Modell auf der Erststart-Karte: Laufzeitumgebung und das 1,5-Milliarden-Parameter-Qwen-Modell sind in einem Download enthalten; die Dateien werden überprüft; außerdem gibt es eine Abbrechen-Schaltfläche.
- CPU-Nutzung ohne NPU. Auf PCs ohne Intel NPU läuft das lokale Modell auf der CPU; dies wird sowohl auf der Karte als auch in der Statuszeile angezeigt. Das im README abgebildete Beispiel zeigt eine Geschwindigkeit von etwa 45 Tokens pro Sekunde auf solch einem System. Der Wert
local.deviceinconfig.tomlbleibt weiterhinNPU; ein später hinzugefügter NPU wird also automatisch erkannt, ohne Konfigurationsänderungen. - Autostart wird abgefragt, nie stillschweigend. Der Installer fragt nur einmal; bei einer manuellen Installation wird dieselbe Frage als Popup angezeigt. Später lässt sich dies per
chatforge autostart enablebzw.disableändern. - Neue Installationen nutzen standardmäßig das Glacier-Theme. Bestehende Installationen behalten ihr bisheriges Theme bei.
- Eine Erweiterungsschnittstelle. Python-Pakete können sich unter dem Eintrag
chatforge.extensionsregistrieren; sie erhalten eigene Einstellungsabschnitte, Schalt- und Ereignishooks sowie die Funktionenchat.sendundchat.cancel. Die API befindet sich in Version 1; sie kann während der 0.x-Phase noch leicht verändert werden (docs/extensions.md).

Aktualisierung aus Version 0.1.0. Falls Sie das Programm per Git geklont haben, führen Sie git pull und anschließend uv sync aus (die Lock-Datei änderte sich; außerdem ist Python nun auf unter 3,14 begrenzt). Alternativ nutzen Sie den Installer. Beim ersten Start wird Ihre Datei config.toml migriert: Ihre Autostart-Einstellung bleibt erhalten und Sie werden nicht erneut befragt. Der Datenordner ändert sich nicht. Zwei Dinge müssen Sie eventuell noch tun:
- Ein StudioForge-Server auf einem anderen PC benötigt einen API-Schlüssel. StudioForge 2.0 akzeptiert keine Anfragen von anderen Geräten ohne solchen Schlüssel. Erstellen Sie ihn auf dem StudioForge-PC (
studioforge keys create) und tragen Sie ihn in den Einstellungen unter Providers > StudioForge ein. Abgelehnte Anfragen melden dies nun explizit. - Nutzer, die Python 3.14 verwendeten, benötigen nun entweder 3.12 oder 3.13.
Spracheingabe – optional und noch experimentell. Das Repository enthält nun ein Push-to-Talk-Add-on, packages/chatforge-voice (Version 0.1): Halten Sie eine Taste gedrückt, sprechen Sie, und ChatForge antwortet laut; die Spracherkennung (Parakeet) sowie die Stimme (Chatterbox-Turbo) laufen auf der CPU, ohne dass Daten das Gerät verlassen. Das Add-on muss separat in die ChatForge-Umgebung installiert werden; seine Modelle (ca. 1,4 GB) laden Sie über ein kleines Browser-Fenster herunter; eine händelose Hörfunktion ist noch nicht enthalten. Wir haben es an unserem Laptop noch nicht getestet – betrachten Sie es daher als Vorschau.
Weitere Beständigkeiten: Das Starter-Modell verfügt über ein 4096-Token-Kontextfenster; gelegentlich rechnet es fehlerhaft (z. B. „Nutzen Sie den Rechner“); die NPU-Werte stammen von einem einzigen Lunar-Lake-Computer – andere Chips wurden bislang nicht geprüft; Linux und macOS werden nicht unterstützt; eine Docker-Version existiert nicht, da ein Tray-Programm mit Hotkey und NPU nichts in einem Container zu suchen hat.
Stolpersteine
– Die reine python-Installation auf standardmäßigem Windows ist lediglich ein Platzhalter aus dem Microsoft Store. Verwenden Sie stattdessen durchgehend py -3.12 -m uv run … oder die Startprogramme in launchers\. Andernfalls funktioniert nichts.
– Die Copilot-Taste darf nicht als Hotkey verwendet werden. Sie ist fest auf Win+Shift+F23 belegt – Windows behält diese Zuweisung bei. Nur PowerToys erlaubt eine Umzuweisung; ansonsten bleibt es so.
– Ein erfolgreicher Kompilierungsvorgang bedeutet noch nicht, dass das Modell funktioniert. Das Modell Qwen3-4B kompiliert zwar, liefert auf dem NPU jedoch fehlerhafte Ergebnisse. Im Katalog wird dazu der Hinweis „Vermeiden“ angezeigt; bei unbekannten Modellen steht dort „Nicht getestet“.
– Ein Treiber-Update oder ein Ruhezustand kann den Kompilierungscache beschädigen. Gehen Sie in „Einstellungen > Modelle“ auf „Cache löschen“ und laden Sie anschließend das Modell neu. Ein alternativer Provider stellt in der Zwischenzeit weiterhin Dienste bereit.
– Kleinere Modelle verlieren bei langen Gesprächen an Leistungsfähigkeit – sie rufen keine Werkzeuge mehr auf, geraten in Endlosschleifen oder geben falsche Antworten. Das liegt daran, dass ein 1,5-Milliarden-Parameter-Modell mit langen Kontextfenstern überfordert ist; es handelt sich dabei nicht um einen Fehler. Drücken Sie „Chat löschen“ oder wechseln Sie zu einem größeren Modell für komplexe Anfragen.
– Alte .xls/.ppt-Dateien erfordern eine Installation von Office (die Umwandlung erfolgt im Hintergrund auf einer temporären Kopie). Ohne Office sollten Sie die Dateien zunächst als .xlsx/.pptx speichern. Für HEIC-Bilder ist das optionale Paket pillow-heif nötig – alternativ können Sie die Bilder auch als JPEG exportieren.
– Lizenzhinweis bei Verbreitung: Die App unterliegt der MIT-Lizenz; doch pystray (die Taskleisten-Bibliothek) ist unter LGPL-3.0 lizenziert und wird zur Laufzeit unverändert eingebunden. Im installierten Zustand ist das in Ordnung; falls Sie jedoch ein fertiges Paket verbreiten, bei dem diese Bibliothek enthalten ist, müssen Sie die Bedingungen der LGPL einhalten.
Wo stehen wir jetzt?
Zwei Tage von der ersten Commit-Aktion bis zur tatsächlichen Nutzung von Version 0.1.0 zeigen, wie wichtig es ist, bewährte Komponenten erneut zu verwenden – nicht die Geschwindigkeit allein. Der Supervisor, die Chat-Oberfläche sowie der Streaming-Client stammen aus bereits laufenden Projekten. Der Einsatz des NPU erwies sich als der einfachere Teil; die eigentliche Herausforderung lag darin, ein 1,5-Milliarden-Parameter-Modell nutzbar zu machen – etwa durch eine Auswahl geeigneter Werkzeuge, Vorab-Recherche sowie Mechanismen zur Fehlerbehandlung. Zudem wurde bewusst auf „Agent-Funktionen“ sowie ein Chat-Archiv verzichtet; nichts wird ohne ausdrücklichen Wunsch des Nutzers in die Cloud übertragen. Die Software ist ausschließlich für Windows gedacht; die Versionsnummer 0.2.0 spiegelt dies exakt wider. Das Testsystem gibt uns schließlich den Mut, weiterzumachen: CI-Tests prüfen mit Ruff sowie Python-Unit-Tests unter Windows und Ubuntu; JavaScript-Tests laufen auf Node 24.
Versionen
Der Stand der Version 0.2.0 ist Commit de30788 (19. Oktober 2026); alle 183 JavaScript-Tests bestehen unter Linux (Node v24.18.0). Der ursprüngliche Teststand von Version 0.1.0 vom 2. Oktober 2026:
$ git log -1 --format='%h %ci'
2edd2d4 2026-10-02 18:04:38 +0900 # ChatForge v0.1.0
$ uv run pytest -q
1520 passed, 6 skipped, 6 deselected in 50.65s # unter Linux, Python 3.13.14
$ npm run -s test:js
tests 114 / pass 114 / fail 0 # Node v24.18.0
Auf Windows läuft die Software mit OpenVINO Model Server 2026.4.0 (python_on); das Modell ist OpenVINO/Qwen2.5-1.5B-Instruct-int4-ov. Die Messungen erfolgten auf einem Intel Core Ultra 5 226V. Die NPU-Leistungsdaten stammen aus der Datei docs/RUNTIME-NOTES.md; dort sind ebenfalls fehlgeschlagene Konfigurationen des Modells Qwen3-4B dokumentiert.
Verwandte Themen: StudioForge: ein GPU-exklusiver LLM-Server · DisPatch: selbst gehosteter KI-Chat · DeepSeek Harness (dsh): erste Eindrücke · DeepSeek lokal nutzen: eine 4-Schritte-Anleitung · Wie viel kosten unsere KI-Agenten eigentlich?
Downloads
Kostenlos für die private Nutzung. Wenn es dir einen Nachmittag erspart, ist der Kaffee-Button gleich in der Nähe.