~ O Blog de 1999 ~

Porquê correr um modelo na tua máquina

A maioria das pessoas conhece os modelos de linguagem através de um separador do navegador. Escreves, um servidor em algum lado responde, e no fim do mês chega a fatura. Correr o Ollama localmente inverte isso. O modelo vive na tua máquina, os teus dados ficam na tua máquina, e o único custo é a eletricidade e a RAM que ele usa.

Não é por ser mais rápido. Um modelo local costuma ser mais lento do que um alojado. É por causa do controlo. Podes usá-lo offline, podes alimentá-lo com documentos privados sem os enviar para lado nenhum, e podes mexer nele até fazer o que queres.

O que precisas

O Ollama corre em Windows, macOS e Linux. Os requisitos de hardware são modestos para modelos pequenos e pesados para os grandes. Uma regra prática: o tamanho do modelo em gigabytes corresponde mais ou menos à RAM que queres. Um modelo de 7B fica confortável com 8 GB de RAM. Um de 70B quer 64 GB e uma GPU decente.

Não precisas de GPU para começar. A CPU aguenta um modelo pequeno, só que devagar. Se tiveres uma placa NVIDIA, o Ollama usa-a automaticamente.

Instalar

Vai a ollama.com e descarrega o instalador para o teu sistema. No macOS e no Windows é uma instalação de um clique. No Linux é um único comando:

curl -fsSL https://ollama.com/install.sh | sh

Depois de instalar, confirma que funciona:

ollama --version

Puxar um modelo

O Ollama não vem com um modelo. Puxas um da biblioteca dele. O ponto de partida mais popular é o Llama 3.2, um modelo pequeno que corre em hardware modesto:

ollama pull llama3.2

Isso descarrega alguns gigabytes, por isso vai buscar um café. Quando acabar, corre-o:

ollama run llama3.2

Estás agora a falar com um modelo de linguagem que vive inteiramente na tua máquina. Escreve uma pergunta, recebe uma resposta, escreve /bye para sair.

Usar a partir de código

A linha de comandos serve para uma conversa rápida, mas o valor real está em chamá-lo a partir dos teus próprios programas. O Ollama expõe uma API REST na porta 11434. Um pedido tem este aspeto:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Porque é que o céu é azul?"
}'

Há clientes oficiais para Python, JavaScript e Go, por isso podes meter um modelo local num script sem grande cerimónia.

Onde fica interessante

Quando o básico funciona, começa a diversão. Podes correr um modelo como substituto de uma API que já usas, manter um assistente privado que nunca liga para casa, ou experimentar fine-tuning com os teus próprios dados. A instalação é a parte aborrecida. O que fazes com um modelo que só responde a ti é a parte interessante.

Armadilhas comuns

• Se o modelo responde devagar, provavelmente está a correr na CPU. Confirma com ollama ps para ver o que está carregado.
• Se ficares sem memória, o modelo é trocado para o disco e tudo fica lento. Puxa um modelo mais pequeno.
• O Ollama mantém o último modelo carregado em memória. Se mudares muito de modelo, pode parecer lento. Isso é normal.