Ollama

Запускайте AI-агентів з локальними моделями за допомогою Ollama. Ключ API не потрібен — усе працює на вашому комп'ютері.

Налаштування

1. Встановіть Ollama: ollama.com/download
2. Завантажте модель:

ollama pull llama3.2

3. Ollama запускається автоматично та працює на localhost:11434. Налаштуйте в droid.yaml:

ollama:
  base_url: "http://localhost:11434/v1"

Ключ API не потрібен.

Конфігурація агента

name: "local-agent"
model:
  provider: "ollama"
  name: "llama3.2"
  max_tokens: 2048
  temperature: 0.7

Популярні моделі

Модель	Розмір	Найкраще для
llama3.2	3B	Швидка, універсальна
llama3.1:8b	8B	Хороший баланс якості та швидкості
llama3.1:70b	70B	Висока якість (потрібен GPU)
mistral	7B	Швидка, багатомовна
codellama	7-34B	Генерація коду
qwen2.5	7B	Багатомовна

Дивіться ollama.com/library для перегляду всіх доступних моделей.

Мережа Docker

Якщо Sinaptic® DROID+ працює в Docker, а Ollama — на хост-машині:

ollama:
  base_url: "http://host.docker.internal:11434/v1"

Якщо обидва працюють у Docker, використовуйте мережу Docker Compose:

services:
  droid:
    image: sinapticai/droid:latest
    # ...
  ollama:
    image: ollama/ollama:latest
    volumes:
      - ollama-data:/root/.ollama

Потім використовуйте http://ollama:11434/v1 як базову URL-адресу.

Примітки

• Ollama надає API, сумісне з OpenAI, тому воно безперешкодно інтегрується з Sinaptic® DROID+.
• Підтримка використання інструментів (виклик функцій) залежить від моделі. Llama 3.1+ та Mistral підтримують виклик функцій.
• Продуктивність повністю залежить від вашого обладнання. Для моделей розміром понад 7B рекомендовано використання GPU.
• Моделі завантажуються один раз і кешуються локально програмою Ollama.