Ollama

O Ollama é uma das formas mais simples de executar modelos de linguagem abertos localmente. O site oficial destaca a instalação rápida, o uso offline e a opção de escalar mais tarde para modelos na cloud. Adequado a quem quer descarregar um modelo, executá-lo no próprio dispositivo e ligá-lo a outras ferramentas sem construir o seu próprio stack de inference.