Ollama

Uruchamiaj agentów AI z lokalnymi modelami, korzystając z Ollama. Klucz API nie jest wymagany — wszystko działa na Twoim urządzeniu.

Konfiguracja

1. Zainstaluj Ollama: ollama.com/download
2. Pobierz model:

ollama pull llama3.2

3. Ollama uruchamia się automatycznie i nasłuchuje na localhost:11434. Skonfiguruj w droid.yaml:

ollama:
  base_url: "http://localhost:11434/v1"

Klucz API nie jest wymagany.

Konfiguracja agenta

name: "local-agent"
model:
  provider: "ollama"
  name: "llama3.2"
  max_tokens: 2048
  temperature: 0.7

Popularne modele

Model	Rozmiar	Najlepsza do
llama3.2	3B	Szybka, ogólnego przeznaczenia
llama3.1:8b	8B	Dobry balans jakości i prędkości
llama3.1:70b	70B	Wysoka jakość (wymaga GPU)
mistral	7B	Szybka, wielojęzyczna
codellama	7-34B	Generowanie kodu
qwen2.5	7B	Wielojęzyczna

Zobacz ollama.com/library, aby przejrzeć wszystkie dostępne modele.

Sieć Docker

Jeśli Sinaptic® DROID+ działa w Dockerze, a Ollama na hoście:

ollama:
  base_url: "http://host.docker.internal:11434/v1"

Jeśli oba działają w Dockerze, użyj sieci Docker Compose:

services:
  droid:
    image: sinapticai/droid:latest
    # ...
  ollama:
    image: ollama/ollama:latest
    volumes:
      - ollama-data:/root/.ollama

Następnie użyj http://ollama:11434/v1 jako bazowego adresu URL.

Uwagi

• Ollama udostępnia API kompatybilne z OpenAI, dzięki czemu płynnie integruje się z Sinaptic® DROID+.
• Wsparcie dla narzędzi (wywoływanie funkcji) zależy od modelu. Llama 3.1+ oraz Mistral wspierają wywoływanie funkcji.
• Wydajność zależy całkowicie od Twojego sprzętu. W przypadku modeli większych niż 7B zalecana jest karta graficzna (GPU).
• Modele są pobierane raz i przechowywane lokalnie przez Ollama.