LM Studio

Voer AI-agents uit met lokale modellen met behulp van LM Studio. LM Studio biedt een grafische interface (GUI) voor het downloaden, beheren en serveren van lokale modellen met een OpenAI-compatibele API.

Configuratie

1. Download LM Studio van lmstudio.ai
2. Open LM Studio en download een model via de ingebouwde modelbrowser.
3. Start de lokale server (Tabblad Server → Start Server).
4. LM Studio is standaard beschikbaar op localhost:1234. Configureer in droid.yaml:

lm_studio:
  base_url: "http://localhost:1234/v1"

Geen API-sleutel vereist.

Agent-configuratie

name: "local-agent"
model:
  provider: "lm_studio"
  name: "local-model"       # Gebruik de model-identificatie die in LM Studio wordt getoond
  max_tokens: 2048
  temperature: 0.7

De model.name moet overeenkomen met het model dat in LM Studio is geladen. U kunt het huidige model controleren in het tabblad Server van LM Studio.

Opmerkingen

• LM Studio biedt een gebruiksvriendelijke grafische interface voor modelbeheer — handig als u de voorkeur geeft aan een visuele interface boven de CLI van Ollama.
• De OpenAI-compatibele API zorgt voor een naadloze integratie met Sinaptic® DROID+.
• Ondersteuning voor toolgebruik (function calling) hangt af van het model dat u laadt.
• LM Studio ondersteunt het GGUF-modelformaat. De meeste populaire open modellen zijn beschikbaar in GGUF.
• Als u Sinaptic® DROID+ in Docker draait, gebruik dan host.docker.internal:1234 om verbinding te maken met LM Studio op de host-machine.