Ollama

Voer AI-agents uit met lokale modellen met behulp van Ollama. Geen API-sleutel nodig — alles draait op uw eigen machine.

Configuratie

1. Installeer Ollama: ollama.com/download
2. Haal een model op (pull):

ollama pull llama3.2

3. Ollama start automatisch en is beschikbaar op localhost:11434. Configureer in droid.yaml:

ollama:
  base_url: "http://localhost:11434/v1"

Geen API-sleutel vereist.

Agent-configuratie

name: "local-agent"
model:
  provider: "ollama"
  name: "llama3.2"
  max_tokens: 2048
  temperature: 0.7

Populaire modellen

Model	Grootte	Beste voor
llama3.2	3B	Snel, algemeen doel
llama3.1:8b	8B	Goede balans tussen kwaliteit/snelheid
llama3.1:70b	70B	Hoge kwaliteit (GPU nodig)
mistral	7B	Snel, meertalig
codellama	7-34B	Codegeneratie
qwen2.5	7B	Meertalig

Zie ollama.com/library voor alle beschikbare modellen.

Docker-netwerken

Als Sinaptic® DROID+ in Docker draait en Ollama op de host-machine:

ollama:
  base_url: "http://host.docker.internal:11434/v1"

Als beide in Docker draaien, gebruik dan Docker Compose-netwerken:

services:
  droid:
    image: sinapticai/droid:latest
    # ...
  ollama:
    image: ollama/ollama:latest
    volumes:
      - ollama-data:/root/.ollama

Gebruik dan http://ollama:11434/v1 als de base URL.

Opmerkingen

• Ollama biedt een OpenAI-compatibele API, waardoor het naadloos integreert met Sinaptic® DROID+.
• Ondersteuning voor toolgebruik (function calling) hangt af van het model. Llama 3.1+ en Mistral ondersteunen function calling.
• Prestaties zijn volledig afhankelijk van uw hardware. Een GPU wordt aanbevolen voor modellen groter dan 7B.
• Modellen worden eenmalig gedownload en lokaal door Ollama in de cache opgeslagen.