Ollama
Ollama를 사용하여 로컬 모델로 AI 에이전트를 실행하세요. API 키가 필요 없으며 모든 것이 사용자의 머신에서 실행됩니다.
설정
- Ollama 설치: ollama.com/download
- 모델 다운로드(Pull):
ollama pull llama3.2
- Ollama는 자동으로 시작되어
localhost:11434에서 서비스됩니다.droid.yaml에서 설정하세요.
ollama:
base_url: "http://localhost:11434/v1"
API 키는 필요하지 않습니다.
에이전트 설정
name: "local-agent"
model:
provider: "ollama"
name: "llama3.2"
max_tokens: 2048
temperature: 0.7
인기 모델
| 모델 | 크기 | 주요 용도 |
|---|---|---|
llama3.2 | 3B | 빠름, 범용 |
llama3.1:8b | 8B | 품질과 속도의 균형 우수 |
llama3.1:70b | 70B | 고품질 (GPU 필요) |
mistral | 7B | 빠름, 다국어 지원 |
codellama | 7-34B | 코드 생성 |
qwen2.5 | 7B | 다국어 지원 |
사용 가능한 모든 모델은 ollama.com/library에서 확인할 수 있습니다.
Docker 네트워크 설정
Sinaptic® DROID+는 Docker에서 실행되고 Ollama는 호스트 머신에서 실행되는 경우:
ollama:
base_url: "http://host.docker.internal:11434/v1"
둘 다 Docker에서 실행되는 경우 Docker Compose 네트워크를 사용하세요.
services:
droid:
image: sinapticai/droid:latest
# ...
ollama:
image: ollama/ollama:latest
volumes:
- ollama-data:/root/.ollama
그 다음 베이스 URL로 http://ollama:11434/v1을 사용합니다.
참고 사항
- Ollama는 OpenAI와 호환되는 API를 제공하므로 Sinaptic® DROID+와 원활하게 통합됩니다.
- 도구 사용(함수 호출) 지원 여부는 모델에 따라 다릅니다. Llama 3.1+ 및 Mistral은 함수 호출을 지원합니다.
- 성능은 전적으로 사용자의 하드웨어 사양에 달려 있습니다. 7B보다 큰 모델의 경우 GPU 사용을 권장합니다.
- 모델은 한 번 다운로드되면 Ollama에 의해 로컬에 캐시됩니다.