メインコンテンツまでスキップ

Ollama

Ollama を使用して、ローカルモデルで AI エージェントを実行します。API キーは不要で、すべてお使いのマシン上で動作します。

セットアップ​

  1. Ollama をインストールする: ollama.com/download
  2. モデルをプル（ダウンロード）する:
ollama pull llama3.2
  1. Ollama は自動的に起動し、localhost:11434 でサービスを提供します。droid.yaml で設定します。
ollama:
  base_url: "http://localhost:11434/v1"

API キーは必要ありません。

エージェント設定​

name: "local-agent"
model:
  provider: "ollama"
  name: "llama3.2"
  max_tokens: 2048
  temperature: 0.7

人気のモデル​

モデルサイズ主な用途
llama3.23B高速、汎用
llama3.1:8b8B品質と速度のバランスが良好
llama3.1:70b70B高品質（GPU が必要）
mistral7B高速、多言語対応
codellama7-34Bコード生成
qwen2.57B多言語対応

利用可能なすべてのモデルについては、ollama.com/library を参照してください。

Docker ネットワーク設定​

Sinaptic® DROID+ が Docker で動作し、Ollama がホストマシンで動作している場合：

ollama:
  base_url: "http://host.docker.internal:11434/v1"

両方が Docker で動作している場合は、Docker Compose ネットワークを使用します。

services:
  droid:
    image: sinapticai/droid:latest
    # ...
  ollama:
    image: ollama/ollama:latest
    volumes:
      - ollama-data:/root/.ollama

その場合、ベース URL として http://ollama:11434/v1 を使用します。

備考​

  • Ollama は OpenAI 互換の API を提供しているため、Sinaptic® DROID+ とシームレスに統合できます。
  • ツール使用（関数呼び出し）のサポートはモデルに依存します。Llama 3.1 以降や Mistral は関数呼び出しをサポートしています。
  • パフォーマンスは完全にお使いのハードウェアに依存します。7B より大きなモデルには GPU の使用を推奨します。
  • モデルは一度ダウンロードされると、Ollama によってローカルにキャッシュされます。