Перейти до основного вмісту

Провайдери LLM

Sinaptic® DROID+ підтримує 7 провайдерів LLM "з коробки" — 4 хмарних та 3 локальних. Усі провайдери доступні в кожному виданні (Community, Pro, Enterprise).

Підтримувані провайдери

ПровайдерТипКлюч API потрібенURL за замовчуванням
OpenAIХмарнийТакhttps://api.openai.com/v1
AnthropicХмарнийТакhttps://api.anthropic.com
Google GeminiХмарнийТакhttps://generativelanguage.googleapis.com/v1beta
Grok (xAI)ХмарнийТакhttps://api.x.ai/v1
OllamaЛокальнийНіhttp://localhost:11434/v1
LM StudioЛокальнийНіhttp://localhost:1234/v1
llama.cppЛокальнийНіhttp://localhost:8080/v1

Як це працює

Sinaptic® DROID+ надає OpenAI-сумісний API для ваших клієнтів. Внутрішньо він транслює запити у формат відповідного провайдера. Це означає:

  • Ваш клієнтський код використовує стандартний OpenAI SDK, незалежно від того, яка бекенд-модель запущена.
  • Ви можете перемикатися між провайдерами, просто змінивши YAML-конфігурацію — без змін у коді.
  • Різні агенти можуть використовувати різних провайдерів одночасно.
Клієнт (OpenAI SDK) → DROID+ API → [OpenAI | Anthropic | Gemini | Grok | Ollama | ...]

Конфігурація

Встановіть основного провайдера в droid.yaml:

llm:
provider: "openai" # Провайдер за замовчуванням
api_key: "${OPENAI_API_KEY}"
default_model: "gpt-4o-mini"

Налаштуйте додаткових провайдерів поруч:

anthropic:
api_key: "${ANTHROPIC_API_KEY}"

gemini:
api_key: "${GEMINI_API_KEY}"

ollama:
base_url: "http://localhost:11434/v1"

Вибір моделі для кожного агента

Кожен агент може використовувати будь-якого налаштованого провайдера та модель:

# Агент, що використовує OpenAI
name: "fast-agent"
model:
name: "gpt-4o-mini"

# Агент, що використовує Anthropic
name: "smart-agent"
model:
provider: "anthropic"
name: "claude-sonnet-4-20250514"

# Агент, що використовує локальний Ollama
name: "private-agent"
model:
provider: "ollama"
name: "llama3.2"

Усі три агенти працюють в одному екземплярі Sinaptic® DROID+ і доступні через ту саму кінцеву точку API.

Вибір провайдера

Сценарій використанняРекомендовано
Швидкий стартOpenAI (gpt-4o-mini)
Найкраща якість міркуваньAnthropic (claude-sonnet-4-20250514) або OpenAI (gpt-4o)
Безкоштовний хмарний APIGoogle Gemini (gemini-2.0-flash)
Повна приватність (без хмар)Ollama з llama3.2
Графічний інтерфейс для локальних моделейLM Studio
Локальний запуск з мінімальними витратамиllama.cpp