Ollama

Exécutez des agents IA avec des modèles locaux en utilisant Ollama. Aucune clé API n'est requise — tout fonctionne sur votre propre machine.

Configuration

1. Installez Ollama : ollama.com/download
2. Téléchargez un modèle (pull) :

ollama pull llama3.2

3. Ollama démarre automatiquement et écoute sur localhost:11434. Configurez dans droid.yaml :

ollama:
  base_url: "http://localhost:11434/v1"

Aucune clé API n'est requise.

Configuration de l'agent

name: "local-agent"
model:
  provider: "ollama"
  name: "llama3.2"
  max_tokens: 2048
  temperature: 0.7

Modèles populaires

Modèle	Taille	Idéal pour
llama3.2	3B	Rapide, polyvalent
llama3.1:8b	8B	Bon équilibre qualité/vitesse
llama3.1:70b	70B	Haute qualité (nécessite un GPU)
mistral	7B	Rapide, multilingue
codellama	7-34B	Génération de code
qwen2.5	7B	Multilingue

Consultez ollama.com/library pour voir tous les modèles disponibles.

Mise en réseau Docker

Si Sinaptic® DROID+ fonctionne dans Docker et Ollama sur l'hôte :

ollama:
  base_url: "http://host.docker.internal:11434/v1"

Si les deux fonctionnent dans Docker, utilisez la mise en réseau Docker Compose :

services:
  droid:
    image: sinapticai/droid:latest
    # ...
  ollama:
    image: ollama/ollama:latest
    volumes:
      - ollama-data:/root/.ollama

Ensuite, utilisez http://ollama:11434/v1 comme URL de base.

Remarques

• Ollama propose une API compatible OpenAI, il s'intègre donc parfaitement à Sinaptic® DROID+.
• La prise en charge de l'utilisation d'outils (appel de fonctions) dépend du modèle. Llama 3.1+ et Mistral prennent en charge l'appel de fonctions.
• Les performances dépendent entièrement de votre matériel. Un GPU est recommandé pour les modèles supérieurs à 7B.
• Les modèles sont téléchargés une seule fois et mis en cache localement par Ollama.