Ollama

Ejecute agentes de IA con modelos locales utilizando Ollama. No se necesita clave API: todo se ejecuta en su propia máquina.

Configuración

1. Instale Ollama: ollama.com/download
2. Descargue un modelo:

ollama pull llama3.2

3. Ollama se inicia automáticamente y escucha en localhost:11434. Configure en droid.yaml:

ollama:
  base_url: "http://localhost:11434/v1"

No se requiere clave API.

Configuración del agente

name: "local-agent"
model:
  provider: "ollama"
  name: "llama3.2"
  max_tokens: 2048
  temperature: 0.7

Modelos populares

Modelo	Tamaño	Ideal para
llama3.2	3B	Rápido, propósito general
llama3.1:8b	8B	Buen equilibrio calidad/velocidad
llama3.1:70b	70B	Alta calidad (necesita GPU)
mistral	7B	Rápido, multilingüe
codellama	7-34B	Generación de código
qwen2.5	7B	Multilingüe

Consulte ollama.com/library para ver todos los modelos disponibles.

Redes de Docker

Si Sinaptic® DROID+ se ejecuta en Docker y Ollama se ejecuta en el host:

ollama:
  base_url: "http://host.docker.internal:11434/v1"

Si ambos se ejecutan en Docker, utilice la red de Docker Compose:

services:
  droid:
    image: sinapticai/droid:latest
    # ...
  ollama:
    image: ollama/ollama:latest
    volumes:
      - ollama-data:/root/.ollama

Luego, utilice http://ollama:11434/v1 como URL base.

Notas

• Ollama ofrece una API compatible con OpenAI, por lo que se integra a la perfección con Sinaptic® DROID+.
• El soporte para el uso de herramientas (llamada a funciones) depende del modelo. Llama 3.1+ y Mistral admiten la llamada a funciones.
• El rendimiento depende totalmente de su hardware. Se recomienda una GPU para modelos superiores a 7B.
• Los modelos se descargan una vez y Ollama los almacena localmente en caché.