DeepSeek: Rodando Localmente — um Guia de 4 Passos (Sem Experiência Necessária)

Instale o Ollama no seu sistema. O Ollama é o backend que roda os LLMs — ele não vem com uma Interface Gráfica de Usuário (GUI, basicamente a página web com a qual você interage). Isso vem depois.

Instale pelo link a seguir:

https://ollama.com/download/windows

Depois de concluir, teste se está funcionando:

• Abra um prompt de comando (digite "cmd" na barra de pesquisa para abrir o Prompt de Comando)
• No prompt de comando, digite "ollama" e pressione enter
  • Deve aparecer uma lista de comandos — isso significa que o Ollama está funcionando. Você pode fechar a janela do prompt de comando; o Ollama continua rodando em segundo plano:
  • Se a resposta for "'ollama' is not recognized as an internal or external command, operable program or batch file", a instalação falhou. Tente novamente.

C:\Users\you>ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  run         Run a model
  pull        Pull a model from a registry
  list        List models
  ps          List running models
  rm          Remove a model
  ...

Esta etapa está concluída quando: você consegue abrir o Ollama pelo prompt de comando

Se você ainda não tem o Docker, instale seguindo as instruções abaixo (sem precisar de nenhuma modificação, execute como está):

https://docs.docker.com/desktop/setup/install/windows-install

Esta etapa está concluída quando: você consegue abrir o Docker no seu computador:

O Open WebUI é apenas uma interface que permite conversar com o Ollama. Existem várias interfaces por aí; esta é a que eu uso.

Siga as instruções do site de início rápido:

https://docs.openwebui.com/getting-started/quick-start

• No momento em que escrevo isso, tudo o que precisei foi rodar o seguinte (nota: isso porque tenho uma GPU Nvidia):
  • docker pull ghcr.io/open-webui/open-webui:main
  • docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda
    • Este segundo comando só funciona para quem tem GPU Nvidia (CUDA é exclusivo da Nvidia)
    • Outras instruções estão disponíveis no link acima

Depois de concluir, você deve ver um novo container no seu programa Docker:

Clique na Porta para abrir a interface web.

• Assim que ela abrir, crie um login
  • Como isso está rodando localmente, é só uma forma de você se autenticar na sua própria máquina. Não cria nenhuma conta online.
  • Aqui está a documentação do Open WebUI sobre a criação de conta: Link

Esta etapa está concluída quando: você consegue abrir a interface gráfica (clicando em "Port(s)" no container do Docker) e entrar no Open WebUI

Observação: você ainda não deve ter nenhum modelo carregado

Parâmetros são o tamanho do modelo — 7 bilhões, 14 bilhões, 32 bilhões, e assim por diante. Sem compressão, cada bilhão de parâmetros ocupa cerca de 1 GB de vRAM, então uma placa de 8 GB consegue rodar mais ou menos um modelo de 7B em quantização máxima. O tamanho do arquivo escala do mesmo jeito: um modelo de 7B tem cerca de 7 GB, um de 40B tem cerca de 40 GB. Maior também é mais inteligente — um modelo de 7B pode parecer bem limitado, enquanto a versão de 40B do mesmo modelo pode parecer quase humana.

Quantização é compressão, medida em bits — normalmente 16, 8, 6 ou 4. Menos bits significa um arquivo menor, com alguma perda de qualidade: em 16 bits, 1B de parâmetros equivale a cerca de 1 GB de modelo; em 4 bits, cerca de 0,6 GB. Como regra prática, 16/8/6 bits mantém o modelo inteligente em tamanho cheio; 5 ou 4 bits já é bom o suficiente, de tamanho médio e rápido; 2 ou 3 bits é bem pequeno, mas pode não se manter coerente. Se você quiser mais detalhes, aqui está um excelente guia visual sobre quantização.

No Windows, pressione Ctrl + Shift + Esc para abrir o Gerenciador de Tarefas, clique em Desempenho e depois clique na sua GPU. Sua vRAM é o valor de Memória de GPU Dedicada — o total é o que você tem, e a vRAM disponível é esse total menos o que está em uso no momento. Então, se o total for 24 GB e o uso for 1,2 GB, você tem cerca de 22,8 GB disponíveis. Se você tiver várias placas de vídeo (como eu), some a vRAM de todas para chegar ao total.