ChatForge:CopilotキーのためのローカルNPU AIアシスタント

公開日
2026年10月2日
更新日
2026年10月19日
著者
Jacob Lloyd — プロジェクト完了後、AIの支援を受けて執筆
読了時間
約25分で読めます

かんたんに言うと: 新しいIntel製のノートパソコンには、特別なAIチップ(NPU)が搭載されていますが、ほとんど使われていません。また、Microsoftのアシスタントを起動するための「Copilot」キーもあります。ChatForgeは無料のプログラムで、このキーに別の機能を割り当てることができます。つまり、アカウントや月額料金なしで、自分のノートパソコン上で動作するAIモデルを利用してチャットウィンドウが開き、天気やニュースなどの情報も調べられます。より難しい質問の場合は、同じウィンドウからより大規模なAIサービスに問い合わせることも可能です。

私たちのノートパソコンには専用のAIキーと専用のAIチップが搭載されていましたが、初期状態では両者は全く連携していませんでした。そのキーを押すとクラウド上のMicrosoft Copilotが起動するだけで、NPUは何もしていない状態でした。この点が私たちにとって不満に感じられるところでした。そこで現在では、そのキーを押すと私たちが自作したアシスタントであるChatForgeが起動するようになっています。このChatForgeはNPU上で15億パラメータ規模のQwenモデルを実行し、1秒間に42~51トークンを処理します。アカウントやサブスクリプションも不要で、トークンごとの課金もなく、会話内容は一切PC外へ送信されません。15億パラメータ規模のモデルでは対応しきれない質問が出た場合でも、同じポップアップ画面からワンクリックで私たちのGPUサーバーやクラウド上のモデルを利用することも可能です。

更新情報:2026年10月19日(ChatForge 0.2.0) 現在ではChatForgeはダブルクリックだけでインストールでき(ターミナルやPython、gitは不要)、初回起動時にボタンを押すだけでローカルモデルの設定も完了します。NPUが搭載されていないPCではCPU上でもモデルが実行され、Windows起動時には利用可否を尋ねるメッセージも表示されます。また、別のPCに設置したStudioForgeサーバーを利用する際にはAPIキーが必要となります。以下の手順は0.2.0版用のものです。変更点やアップグレード方法については0.2版での新機能をご覧ください。

この記事では、ChatForgeの機能やNPUと実際にどう付き合うべきか(例えば完璧にコンパイルできたはずのモデルが奇妙な出力をしてしまった事例も含めて)、さらに小規模なモデルでも的確な回答を得られるための工夫などについて解説します。

要約

  • 入手方法: github.com/LaserLloyd/ChatForge — MITライセンスで無料、バージョンは0.2.0です。そこからZIPファイルをダウンロードし、Install ChatForgeをダブルクリックして Set up local AI を選択します。(下記のダウンロード欄にあるZIPは古い0.1.0版で、こちらを使う場合はターミナル操作が必要です。)
  • 概要: Windows 11向けのMITライセンス無料アシスタントです。Ctrl+Alt+C(またはPowerToysで再割り当てしたCopilotキー)を押すと画面右下に420×620ピクセルのポップアップが現れ、Escapeキーで閉じられます。
  • ローカルモデル: Qwen2.5-1.5B-Instruct(INT4形式、サイズは0.94GB)がIntel製「AI Boost」NPU上でOpenVINO Model Serverによって実行されます。NPUがない場合はCPU上でも動作します。NPUへの初回ロードには約45秒かかりますが、その後はキャッシュから3秒程度で読み込まれ、42~51トークン/秒の速度で処理できます。10分間何も操作がなければ自動的にアンロードされます。
  • 大規模モデルも同メニューから: StudioForge(ご自身のGPUサーバー)、MiniMax、OpenAI、DeepSeek、またはOpenAI互換の任意のURLを指定できます。各APIキーはWindowsの資格情報マネージャーに保存され、設定ファイルには一切記録されません。
  • 9種類のツール: ウェブ検索やニュース検索、ページ取得、天気予報、ウィキペディア、為替レート、日時表示、計算機 — さらにcreate_document機能により、モデルが作成したWord・Excel・PowerPointファイルも保存できます。1回の会話につき最大10ファイルまで添付して質問することも可能です。
  • 注意点: エージェント機能はありません。ツールの中にプログラムを実行したり設定を変更したりするものはなく、文書作成用のツールも自身のフォルダー内に新規ファイルを追加するだけです。

入手方法

MITライセンスのリポジトリが1つだけあります:github.com/LaserLloyd/ChatForge。ここには本記事で引用しているすべてのNPU関連測定値が記載されたランタイムに関する注意事項も含まれています。GitHubページ上で Code > Download ZIP を選ぶと、インストーラー付きの最新版が入手できます。本ページ末尾のダウンロード欄には古い0.1.0版のスナップショットも用意されています。

利用イメージ

どのアプリケーション使用中でもキーを押すだけで質問が可能です。入力後は内容を確認し、Escapeキーで終了します。各回答には使用されたモデル名と処理速度も明記されているため、無料のローカルモデルが使われたのか課金対象のサービスが利用されたのかが一目で分かります。リアルタイムな情報を必要とする質問の場合はツールチャイプが参照内容を示し、大規模モデルによるレポート作成時には「Open」や「Show in folder」ボタン付きの文書カードも返答に含まれます。

ダークテーマのChatForgeポップアップ。ヘッダーにはLocal (NPU)とQwenモデル名、準備完了を示すドットが表示されている。リスボンの天気に関する質問に対し、天気ツールチャイプとMarkdown表を含む短い回答が示され、Qwen2.5-1.5B-Instruct-int4-ov、47.6 tok/sと記載されている。
NPU上で天気予報に回答した例:返答の上部にツールチャイプ、中に表も含まれている。
MiniMax-M3が選択された状態のポップアップ。ユーザーはスプレッドシートを添付し1ページ分のWordレポート作成を依頼した。返答にはcreate_documentツールチャイプ、箇条書きの要約、そして保存された.docxファイル用の「Open」および「Show in folder」ボタン付き文書カードが表示されている。
スプレッドシートを入力としてWordレポートが生成された例。こちらはクラウド上のモデルが利用されている。
空のチャット画面上で開かれたモデル選択メニュー。上部に最近使用したモデルが、その下に利用可能なプロバイダー群 — Local (NPU)やMiniMax — が並んでいる。OpenAIやDeepSeekは対応するキーが設定されていないため表示されていない。
モデル選択メニュー:最近使ったモデルが先頭に、その後設定済みのプロバイダーのみが並ぶ。

スクリーンショット内の会話内容、場所、サーバー名などはすべて例示用データです。UI自体は実際のもので、Edge(WebView2の基盤エンジン)上でプロジェクトの開発用モックアップを再現したものです。

全体の構成

Pythonプロセス1つがすべてを管理しています。トレイアイコン、グローバルホットキー、ポップアップや設定ウィンドウ(WebView2上で動作するpywebviewを用いています)、そして回答をストリーム配信したりツールを実行したりするasyncioコアもこのプロセスが担当します。モデルサーバーはこのプロセスが完全に管理する子プロセスであり、ローカルモデルを選択してポップアップを開いた際に起動し、アプリケーション終了時にはWindowsのジョブオブジェクト機能により強制終了されるため、万が一のクラッシュ時にもモデルがRAM上に残留する事態は防がれます。

実際にはほとんどの部分を一から作成したわけではありません。むしろこれは誇るべき点です。StudioForgeからはプロセス管理機能やダウンローダー、トレイアイコン、ログ機能を拝借し、DisPatchからはチャットUIやMarkdown処理パイプラインを、またベンチマーク用ツールからはストリーム配信クライアントをそれぞれ流用しています。これらはすでに数か月間日常的に利用されており、各モジュールの先頭部分にもその事実が記載されています。こうした再利用が可能だったため、最初のコミットとバージョン0.1.0のリリース日はわずか2日しか離れていません(2026年9月30日夜から10月2日まで)。約1,000行分の計画書に基づきLLMエージェントが組み立て作業を行った結果です。

インストール方法

ChatForge 0.2.0はWindows 11上で3ステップのみでインストールでき、ターミナル操作も管理者権限も一切不要です:

  1. 入手方法。 GitHubページにて「Code > Download ZIP」を選択し、ZIPファイルを解凍してください。
  2. Install ChatForgeをダブルクリックします。 必要であればuv(ハッシュ検証済み)およびPython 3.12が自動的に取得され、アプリケーションは %LOCALAPPDATA%\Programs\ChatForge にインストールされます。またスタートメニューやデスクトップ用のショートカットも作成され、Windows起動時に自動実行するかどうかを一度尋ねた後、ChatForgeが起動します。このインストーラーは署名されていませんので、初回実行時には「Windowsがお使いのPCを保護しました」というメッセージが表示されます。その際は「詳細情報 > それでも実行する」を選んでください。
  3. ポップアップ内のカードにある「Set up local AI」をクリックします。 モデルランタイム(OpenVINO Model Server、139 MB)がインストールされ、初期用モデルである OpenVINO/Qwen2.5-1.5B-Instruct-int4-ov(0.94 GB、Apache-2.0ライセンス)もダウンロードされます。進行状況は1つのプログレスバーとキャンセルボタンで示され、各ファイルのSHA-256値がHugging Face側の値と照合された後、チャット機能にそのモデルが使用されるようになります。高速な回線環境であれば約1分程度で完了します。StudioForgeを使用またはAPIキーを使用を選ぶと、ローカルモデルのインストールはスキップされます。

アップグレードする際には、新しいバージョンのZIPファイルから Install ChatForge を再度実行すればよく、設定やデータは %LOCALAPPDATA%\ChatForge にそのまま残ります。Uninstall ChatForge を実行するとアプリケーションは削除されますが、--purge オプションを付けない限りデータは保持されます。リポジトリ内の deploy/windows/README.md にはインストーラーの各オプションが記載されており、通常のREADMEにも上記3手順をPowerShell用に書き換えた内容や開発者向けの手順(git clone、uv sync --extra dev、uv run chatforge doctor)も記載されています。

NPU環境においてモデルが初めて読み込まれる際には、NPU側でコンパイル処理が行われます。所要時間は約45秒程度で、ポップアップのヘッダーにカウントダウンが表示されるため動作不能な状態だと感じることはありません。その後はコンパイル済みキャッシュから約3秒で読み込まれます。CPU環境では数秒で読み込まれ、カードおよびステータス欄に「より遅い」と表示されます。本記事作成時点ではインストーラーを再実行していませんが、上記手順はREADMEに記載されている内容そのものであり、同READMEに掲載されているスクリーンショットもNPU非搭載のWindows 11 PCで撮影されたものです。

Copilotキーの問題点

ノートパソコンを購入した際に誰も教えてくれない点があります。Copilotキーは任意の操作に割り当てることができないキーなのです。このキーを押すと Win+Shift+F23 という組み合わせが送信され、Windows側でその組み合わせが専用に登録されています。また公式の設定画面では署名済みのパッケージアプリケーションのみが選択肢として提示されるため、ご自身で作成したプログラムはキーボード上のこのキーから起動できない仕組みになっています。

実用的な対処法としては PowerToys の「キーボードマネージャー」を利用する方法があります。まずショートカット Win (Left) + Shift (Left) + F23 を Ctrl+Alt+C(ChatForge用のホットキー)に再割り当てし、続いてPowerToysの「起動時に実行」機能を有効化します。これでMicrosoftがCopilot専用として予約したキーからご自身のアシスタントが起動するようになります。万が一このキーからWindows検索やCopilotが再び起動してしまう場合は、PowerToysが実行されていない状態であることを意味します。これが唯一の不具合パターンであり、最も頻繁に発生する問題でもあるため、トラブルシューティングの最初に挙げられています。

1.5B規模のモデルを実用的にする工夫

4096トークンのコンテキストウィンドウしか持たない1.5B規模のモデルは、情報取得能力が極めて限定的です。ChatForgeではこの制約を無視せず、それを前提とした設計が施されています。

  • ツールリストを絞り込む。 合計9種類のツールが用意されていますが、ローカルモデル向けにはそのうち5種類(検索、ページ取得、天気、日時、計算機)のみが提供されます。小規模なモデルは長いツールリストに混乱しやすいため、この絞り込みによってツール呼び出しの誤りを防ぎます。
  • 事前に情報取得を行う。 「天気」「最新情報」「価格」など、実時間データが必要な質問に対してはモデルが回答を生成する前に該当するツールが先に実行されます。こうすることでモデルは推測ではなく得られた結果を基に返答できます。これには別途モデル呼び出しは不要で、単純なパターンマッチングのみが用いられます。
  • 拒否反応の回復処理。 小規模モデルは検索ツールが利用可能であっても「リアルタイムデータにアクセスできません」と返答する傾向があります。第一人称で拒否を示したり、「調べてみます…」と述べただけで実際には検索しない回答は破棄され、エンジン側が自ら検索を実行した後でモデルに再度回答させます。この間ポップアップに「検索中…」と表示されるため、不適切な初期返答がユーザー目に触れることはありません。
  • 要約処理を行わない。 会話内容がコンテキストウィンドウを超えてしまった場合でも古い部分は単純にプロンプトから除外され、ポップアップ内の区切り線でモデルが参照する範囲が明確になります。ユーザーの意図を無視して要約したり言い換えたりすることは一切なく、余分なモデル呼び出しも発生しません。またモデル側にも古いメッセージが切り捨てられた事実が伝えられるため、勝手に内容を創作することが防がれます。
  • ループ防止と使用回数制限。 1回の会話内で最大6回までツール呼び出しが許可され、同じ処理が繰り返される場合は拒否されます。1.5B規模のモデルであれば無制限に天気情報を問い合わせ続ける可能性があるため、この制限が不可欠です。
  • 安全対策としての代替経路。 NPU用モデルの読み込みに失敗したりクラッシュ、タイムアウトが生じた場合には、ユーザーが事前に指定した別のプロバイダーへ同一メッセージを再送できる仕組みがあります。

これら全てはNPUを必要とせず、大規模モデルでも同じエンジンが使用されます。こうした工夫により、無料で利用可能なローカルモデルでも「今週末は雨が降るか」といった質問に正確に答えられ、NPU環境下では極めて高速な処理が実現できるのです。

コンパイルは成功したのに意味不明な出力となったモデル

当初はローカルモデルとしてQwen3-4Bを採用する予定でした。より大規模で新しいモデルファミリーという理に適った選択です。しかしリポジトリ内の docs/RUNTIME-NOTES.md に記載されている通り、Qwen3-4B-int4-ov はNPU上でのコンパイル自体は問題なく完了するものの、OVMS 2026.4環境下では全く意味不明な出力を返します。一方で同じモデルファイルを用いたCPU環境下では24トークン/秒という速度で正しい回答が得られます。この不具合はNPU特有の現象であり、試したあらゆるNPU構成でも同様の問題が生じました。またOVMS 2026.4ではツール呼び出しに対応していない代替的な量子化モデルも存在しません。つまりNPU上でコンパイルが成功しただけでは信頼に足る出力が得られるとは限らないのです。

最終的にはCore Ultra 5 226V(Lunar Lake)環境下で測定した以下の性能を持つ BEST_PERF が採用されました。

項目 測定値
初回コンパイル(1回限り) 44.5秒
コンパイルキャッシュからの読み込み 2.7~3.2秒
デコード速度 42~51トークン/秒
短いプロンプトにおける最初のトークンまでの時間 0.5~0.8秒
ディスク上のコンパイルキャッシュ容量 306 MB
使用可能なプロンプトウィンドウ 4096トークン

同ファイルには、OVMSが .doc というコンパイルフラグを提供している点も記載されています。このフラグを用いると135秒もの時間を要するもののデコード速度が約10%向上し、48.3トークン/秒という値が得られます。ChatForgeではこのフラグは有効化していませんが、これが妥当な判断だと考えています。なぜなら初回実行時の45秒程度の待ち時間は、ユーザーが「何か不具合があるのでは」と感じ始める限界値に近いからです。

ファイルの添付と文書作成機能

1メッセージあたり最大10個までのファイルを添付できます(クリップアイコン、ドラッグ&ドロップ、または直接ペースト)。対応形式はコードやテキスト、CSV、JSON、HTML、Word、Excel、PowerPoint、OpenDocument、RTF、メール、PDF、さらには古い .xls ファイルも直接読み込み可能です。旧版の .ppt や create_document については、Microsoft Officeがインストールされている場合に変換処理が行われます。画像ファイルはチェックされ、向きが修正された後1568ピクセルまで縮小され、カメラ情報やGPS座標、撮影時刻などのメタデータもすべて削除されます。画像認識機能を持たないモデルに対しては、WindowsのOCR機能で抽出したテキストが代わりに送信されます。

逆方向として .docx を利用すれば StudioForge やクラウド上のモデルが生成した内容を文書化できます。.xlsx、.pptx、Documents\ChatForge といった形式は、ChatForge自体がPython標準ライブラリのみを用いてモデルから出力されたMarkdownを基に作成します。ファイルは report (2).docx フォルダへ保存され、既存のファイル名がある場合には「report (2).docx」といった形で重複を防ぎます。返答内容には「開く」「フォルダ内を表示」というボタン付きカードが含まれます。ただし小規模なローカルモデルにはこの機能は提供されていません。つまり金魚に四半期ごとの報告書作成を頼むのはユーザー側の責任となります。

意図的に備えていない機能

ChatForgeはエージェント機能を持たないアプリケーションです。この境界線はプロンプト上での約束ではなく、システム構造に基づいて定められています。9種類あるツールのうち8つは参照専用の検索機能であり、残る1つも自身のフォルダ内へ新規ファイルを追加するだけで既存ファイルを上書きすることはありません。またいかなるツールも外部プログラムの実行やシステム設定の変更、ユーザーが添付していないファイルの読み取りを行いません。fetch_url ではプライベートネットワークやローカルアドレス(DNSリバインディングを含む)へのアクセスがブロックされています。計算機機能は eval コマンドを持たない白名单方式の評価器のみです。APIキーはWindowsの資格情報マネージャーに保存され、ログからも除外される仕組みがあります。さらにモデルサーバーはアプリケーションと同時に終了するように設計されています。同時に保持できる会話は1件のみで、過去の全質問内容を保存する履歴機能は存在しません。混乱したモデルが引き起こし得る最悪の事態は、誤った回答と新規ファイルの生成だけです。これはトレイアシスタントとして許容されるリスク範囲内だと考えています。

0.2バージョンでの新機能

2026年10月18日に公開されたChatForge 0.2.0では、Windows 11ユーザーがターミナルやPython、gitを一切使用せずに利用できるようになりました。ダウンロードから最初の会話開始までの手順は以下の3つだけです:Install ChatForge をダブルクリックし、「Set up local AI」をクリックした後、質問を入力するだけです。

  • ダブルクリックだけで動作するインストーラーおよびアンインストーラー。 管理者権限なしに各ユーザー専用にインストールされ、スタートメニューやデスクトップ用のショートカットも作成されます(詳細は「インストール」セクションをご覧ください)。
  • 初回起動時用のワンクリック初期モデル機能。 ランタイムと1.5B規模のQwenモデルが一つのダウンロードパッケージにまとめられ、ハッシュ検証済みでキャンセルボタンも付属します。
  • NPU非搭載PCでもCPU上で動作。 Intel NPUを持たないPCではローカルモデルがCPU上で稼働し、カードおよびステータス欄にその旨が表示されます。README内のスクリーンショットは同様の環境下で約45トークン/秒という速度が得られたことを示しています。local.device 項目は config.toml 内で NPU のまま維持されるため、後日NPUを追加した際にも設定変更なしに利用可能です。
  • 自動実行の許可確認は一度だけ。 インストーラーがその旨を一度尋ねるのみで、ソースコードからのインストール時も同様のポップアップが表示されます。後から変更する場合は chatforge autostart enable または disable を使用します。
  • 新規インストール時のデフォルトテーマはGlacier。 既存ユーザー向け設定は維持されます。
  • 拡張機能用のインターフェース。 Pythonパッケージ側が chatforge.extensions エントリポイントを登録することで、設定項目や各種フック、chat.send / chat.cancel といった機能が利用可能です。このAPIはバージョン1であり、ChatForgeが0.x版である間は変更の可能性があります(詳細は docs/extensions.md をご参照ください)。
初回起動時のChatForgeポップアップ:Set up local AIカードには139 MBのランタイムおよび0.94 GBのQwen2.5 1.5Bモデルが記載され、Intel NPUが見つからなかったためCPU上で動作する旨が示される。またSet up local AI、Use StudioForge、Use an API key、Not nowといった選択肢がある。
初回起動時:1枚のカードと1つのボタンだけ。ランタイムおよびモデルのダウンロード中は同じカードにプログレスバーとキャンセルボタンが表示される。その他のスクリーンショットはREADMEに掲載されています。

0.1.0からのアップグレード方法。 リポジトリをクローンして導入した場合は git pull および uv sync を実行すればよく、ロックファイルの変更に伴いPythonバージョンも3.14未満に制限されます。あるいはインストーラー版へ切り替えることも可能です。初回起動時には config.toml の自動移行が行われ、自動実行設定は維持されるため再度尋ねられることはありません。データフォルダ自体にも変更は加わりません。ただし以下2点について対応が必要な場合があります。

  • 別PC上で動作するStudioForgeサーバーにはAPIキーが必須。 StudioForge 2.0では他マシンからの接続にキーの提示が求められます。studioforge keys create を実行してキーを生成し、設定画面内の「Providers > StudioForge」項目へ入力します。拒否されたリクエストにはその旨が明確に記載されます。
  • Python 3.14環境で導入したユーザーは3.12または3.13へ移行する必要がある。

音声機能は任意で早期実装段階にある。 リポジトリ内には packages/chatforge-voice (バージョン0.1)というプッシュ・ツー・トーク用アドオンが存在します。特定のキーを押しながら話しかけるとChatForgeが音声認識(Parakeet)および音声合成(Chatterbox-Turbo)を用いて回答を音声化します。これら処理はすべてCPU上で行われ、データが外部へ送信されることはありません。この機能はChatForgeの環境下に別途インストールされ、対応モデル群(約1.4 GB)はブラウザ内に開かれる小型音声パネルからダウンロードされますが、無意識での音声録音機能は備わっていません。当方ではまだこの機能を自らのPCで試していませんので、あくまでプレビュー版としてご理解ください。

その他の注意点。 初期モデルは4096トークンのコンテキストウィンドウしか持たないため算術計算などで誤答を出すことがあります(その際は「計算機を使う」と促すのが有効です)。NPUによる処理速度の数値はLunar Lake環境での測定値のみであり、他のチップでは未検証です。LinuxやmacOS向けサポートは存在せず、ホットキー機能を持つトレイアプリケーションとしてDocker化も不可能な状況です。

注意点

  • 標準のWindows環境において、pythonを単独で利用しようとすると、実際にはMicrosoft Storeへのリンクしか表示されません。 そのため、常に py -3.12 -m uv run … の形式を使うか、launchers\ にあるランチャーを利用してください。さもないと、他の処理が実行される前にエラーになってしまいます。
  • Copilotキーはホットキーとして使用できません。 このキーは Win+Shift+F23 として固定されており、Windows側で保護されています。PowerToysでのリマップか、上記以外の方法はありません。
  • コンパイルが成功したからといって、必ずしも正常に動作するモデルになるわけではありません。 例えばQwen3-4BはNPU上でコンパイルはできるものの、無意味な出力しか出しません。カタログ上でもこのモデルには「回避推奨」というマークが付いており、認識できないモデルには「未テスト」と表示されます。
  • ドライバーの更新やスリープ/復帰処理によって、コンパイルキャッシュが破損することがあります。 その場合は「設定 > モデル > キャッシュをクリア」を選択した上で再読み込みを行ってください。代替プロバイダーも用意されているため、その間も利用可能です。
  • 小規模なモデルは長時間のチャットになると性能が低下します。 ツール呼び出しをやめたり、無限ループに陥ったり、不適切な回答をするようになります。これは1.5B規模のモデルが長い文脈情報を保持できなくなるためであり、バグではありません。チャットをクリアするか、より大規模なモデルに切り替えることをお勧めします。
  • 古い .xls や .ppt 形式の添付ファイルを利用する場合、Officeがインストールされている必要があります(変換処理は一時コピー上で裏側で行われます)。Officeがなければ、まず .xlsx や .pptx 形式に保存してください。HEIC形式の写真を利用する際は、オプションとして pillow-heif が必要ですし、そうでなければJPEG形式でエクスポートしてください。
  • 再配布時のライセンス注意点: 本アプリ自体はMITライセンスですが、トレイ機能を実装するための pystray ライブラリはLGPL-3.0ライセンスであり、実行時には変更なしの状態で読み込まれます。通常のインストール形態であれば問題ありませんが、このライブラリを含むフリーズ済みパッケージを配布する場合は、LGPLに基づく再リンク義務が発生します。

現状と今後の展望

最初のコミットからわずか2日で実際に使える v0.1.0 が完成した事実は、開発スピードよりも「既存の実績あるコンポーネントを再利用する」ことの重要性を示しています。監督モジュール、チャットUI、ストリーミングクライアントなどはすべて、社内ですでに運用中のプロジェクトから流用したものです。NPUの活用自体は比較的容易でしたが、本当の課題は1.5B規模のモデルを実用的に使えるようにすること(ツール呼び出し機能の限定、事前参照機能の実装、拒否応答時の回復処理など)や、機能範囲の絞り込みでした。具体的にはエージェント機能やチャット履歴の保存は実装せず、ユーザーの明示的な要望がない限りクラウド通信も行いません。本製品はWindows専用であり、バージョン番号は0.2.0となっています。テストスイートの存在こそが私たちに「前進し続ける勇気」を与えてくれています。CI環境ではWindowsおよびUbuntu上でRuffやPython単体テストが実行され、Node 24上でもJavaScriptテストが行われています。

バージョン情報

0.2.0ブランチは de30788 コミット(2026年10月19日)を指します。このブランチの183件のJavaScriptテストはLinux環境(Node v24.18.0)上で全て合格しています。最初の0.1.0バージョン時点での検証結果は以下の通りです(2026年10月02日):

$ git log -1 --format='%h %ci'
2edd2d4 2026-10-02 18:04:38 +0900        # ChatForge v0.1.0

$ uv run pytest -q
1520 passed, 6 skipped, 6 deselected in 50.65s   # Linux環境、Python 3.13.14にて

$ npm run -s test:js
tests 114 / pass 114 / fail 0                     # Node v24.18.0

Windows側での実行環境は、OpenVINO Model Server 2026.4.0(python_on)、使用モデルは OpenVINO/Qwen2.5-1.5B-Instruct-int4-ov で、Intel Core Ultra 5 226Vを搭載した機器上で計測されました。NPU関連の数値はリポジトリ内の docs/RUNTIME-NOTES.md に記載されており、そこにはQwen3-4Bの利用失敗例も記録されています。

関連記事: StudioForge:GPU専用LLMサーバー · DisPatch:自前で運用可能なAIチャット · DeepSeek Harness(dsh)の初見 · DeepSeekをローカルで動かす:経験不要な4ステップガイド · 私たちのAIエージェントにかかる実際のコスト:DeepSeekと大手APIを比較

ダウンロード

個人利用は無料です。役に立ったら、コーヒーをおごってもらえると嬉しいです。


← AIとローカルLLMをもっと見る