DeepSeekをローカルで動かす:経験ゼロでもできる4ステップガイド

まずOllamaをインストールします。OllamaはLLMを動かすバックエンドで、GUI(グラフィカルユーザーインターフェース。要するに操作用のWeb画面)は含まれていません。それは後で載せます。

インストールは次のリンクから:

https://ollama.com/download/windows

終わったら、動作確認をします:

• コマンドプロンプトを開きます(検索バーに「cmd」と入力するとコマンドプロンプトが出てきます)
• コマンドプロンプトに「ollama」と入力してEnter
  • コマンド一覧が表示されればOllamaは動いています。コマンドプロンプトのウィンドウは閉じて構いません。Ollamaはバックグラウンドで動き続けます:
  • もし「'ollama' is not recognized as an internal or external command, operable program or batch file」と返ってきたら、インストールに失敗しています。もう一度どうぞ。

C:\Users\you>ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  run         Run a model
  pull        Pull a model from a registry
  list        List models
  ps          List running models
  rm          Remove a model
  ...

このステップの完了条件:コマンドプロンプトからollamaを実行できること

Dockerがまだ入っていなければ、次の手順どおりにセットアップします(変更は不要、書いてあるまま実行でOK):

https://docs.docker.com/desktop/setup/install/windows-install

このステップの完了条件:PCでDockerを起動できること:

Open WebUIは、Ollamaと会話するためのインターフェースです。世の中にはいろいろありますが、私が使っているのはこれです。

クイックスタートページの手順に従ってください:

https://docs.openwebui.com/getting-started/quick-start

• 執筆時点では、以下を実行するだけで済みました(注:私のGPUがNvidiaだからです):
  • docker pull ghcr.io/open-webui/open-webui:main
  • docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda
    • 2つ目のコマンドはNvidia GPUの人専用です(CUDAはNvidia限定なので)
    • それ以外の環境向けの手順は上のリンクにあります

完了すると、Dockerに新しいコンテナが現れます:

Portの部分をクリックするとWeb画面が起動します。

• 画面が開いたら、ログインを作成します
  • これはローカルで動いているので、自分のマシン上で自分を認証するためだけのものです。オンラインのアカウントが作られるわけではありません。
  • アカウント作成についてのOpen WebUI公式ドキュメントはこちら:リンク

このステップの完了条件:GUIを開けて(Dockerコンテナの「Port(s)」をクリック)、Open WebUIに入れていること

注:この時点ではまだモデルは入っていないはずです

• パラメータ数(たいてい70億=7B、140億=14B、320億=32B…という表記)
  • モデルが使うパラメータの数です
  • 非圧縮のモデルなら、だいたい10億パラメータあたりvRAM 1GBが目安です
    • つまりvRAM 8GBなら、フル精度で7Bクラスのモデルがだいたい動きます
  • パラメータが多い=ファイルが大きい(vRAMに収まる範囲が限界になります)
    • 同じモデルでも7B版は7GB程度、40B版は40GB前後になったりします
  • パラメータが多い=「賢い」モデル
    • 7B版は正直おバカに見えることがありますが、同じモデルの40B版は知識の厚みのおかげで、ほとんど人間みたいに振る舞います
• 量子化(圧縮のこと。よくあるのは16、8、6、4)
  • 圧縮だと思ってください。品質とサイズのトレードオフです
  • 値が低い=モデルが小さい
    • 16bit:1Bパラメータ ≈ モデルサイズ1GB
    • 4bit:1Bパラメータ ≈ モデルサイズ0.6GB
• 詳しく知りたい人には量子化のすばらしいビジュアルガイドがありますが、この記事の範囲では:
  • ビット数が多い(16、8、6)=賢いが、サイズはフル
  • 中間(5、4)=十分に賢く、中くらいのサイズで速い
  • 少ない(2、3)=とても小さいが、受け答えがまともでないことも

• Windowsなら、Ctrl + Shift + Escでタスクマネージャーが直接開きます。
• タスクマネージャーでパフォーマンスをクリック
  • 自分のGPUをクリック
  • 「専用GPUメモリ」がvRAMの容量です
    • 使用中の量は、いまシステムが使っている分です
    • 合計が、持っている総量です
    • 利用できるvRAMは、だいたいこの2つの差になります
      • 例:合計24GBで使用中1.2GBなら、利用可能vRAM = 24 − 1.2 = 22.8GB
    • 注:グラボが複数ある場合(私みたいに)は、vRAMを合算して総量にできます。