Ollama

Führen Sie KI-Agenten mit lokalen Modellen über Ollama aus. Es ist kein API-Key erforderlich — alles läuft direkt auf Ihrem Rechner.

Einrichtung

1. Ollama installieren: ollama.com/download
2. Ein Modell laden:

ollama pull llama3.2

3. Ollama startet automatisch und ist unter localhost:11434 erreichbar. Konfigurieren Sie die droid.yaml:

ollama:
  base_url: "http://localhost:11434/v1"

Es wird kein API-Key benötigt.

Agenten-Konfiguration

name: "local-agent"
model:
  provider: "ollama"
  name: "llama3.2"
  max_tokens: 2048
  temperature: 0.7

Beliebte Modelle

Modell	Größe	Ideal für
llama3.2	3B	Schnell, Allzweckmodell
llama3.1:8b	8B	Gute Balance zwischen Qualität/Geschwindigkeit
llama3.1:70b	70B	Hohe Qualität (benötigt GPU)
mistral	7B	Schnell, mehrsprachig
codellama	7-34B	Codegenerierung
qwen2.5	7B	Mehrsprachig

Alle verfügbaren Modelle finden Sie unter ollama.com/library.

Docker-Netzwerk

Wenn Sinaptic® DROID+ in Docker läuft und Ollama auf dem Host-System:

ollama:
  base_url: "http://host.docker.internal:11434/v1"

Wenn beide in Docker laufen, nutzen Sie das Docker Compose-Netzwerk:

services:
  droid:
    image: sinapticai/droid:latest
    # ...
  ollama:
    image: ollama/ollama:latest
    volumes:
      - ollama-data:/root/.ollama

Verwenden Sie dann http://ollama:11434/v1 als Base URL.

Hinweise

• Ollama stellt eine OpenAI-kompatible API bereit, sodass es sich nahtlos in Sinaptic® DROID+ integrieren lässt.
• Die Unterstützung von Tools (Function Calling) hängt vom jeweiligen Modell ab. Llama 3.1+ und Mistral unterstützen Function Calling.
• Die Leistung hängt vollständig von Ihrer Hardware ab. Für Modelle größer als 7B wird eine GPU empfohlen.
• Modelle werden einmalig heruntergeladen und von Ollama lokal zwischengespeichert.