Zum Hauptinhalt springen

LM Studio

Führen Sie KI-Agenten mit lokalen Modellen über LM Studio aus. LM Studio bietet eine grafische Benutzeroberfläche (GUI) zum Herunterladen, Verwalten und Bereitstellen lokaler Modelle über eine OpenAI-kompatible API.

Einrichtung​

  1. Laden Sie LM Studio von lmstudio.ai herunter.
  2. Öffnen Sie LM Studio und laden Sie ein Modell über den integrierten Modell-Browser herunter.
  3. Starten Sie den lokalen Server (Server-Tab → Start Server).
  4. LM Studio ist standardmäßig unter localhost:1234 erreichbar. Konfigurieren Sie die droid.yaml:
lm_studio:
  base_url: "http://localhost:1234/v1"

Es wird kein API-Key benötigt.

Agenten-Konfiguration​

name: "local-agent"
model:
  provider: "lm_studio"
  name: "local-model"       # Verwenden Sie die in LM Studio angezeigte Modell-ID
  max_tokens: 2048
  temperature: 0.7

Der model.name sollte mit dem in LM Studio geladenen Modell übereinstimmen. Sie können das aktuelle Modell im Server-Tab von LM Studio überprüfen.

Hinweise​

  • LM Studio bietet eine benutzerfreundliche grafische Oberfläche für die Modellverwaltung — ideal, wenn Sie eine visuelle Oberfläche gegenüber dem CLI von Ollama bevorzugen.
  • Dank der OpenAI-kompatiblen API funktioniert es nahtlos mit Sinaptic® DROID+.
  • Die Unterstützung von Tools (Function Calling) hängt von dem geladenen Modell ab.
  • LM Studio unterstützt das GGUF-Modellformat. Die meisten populären Open-Source-Modelle sind in GGUF verfügbar.
  • Wenn Sinaptic® DROID+ in Docker läuft, verwenden Sie host.docker.internal:1234, um eine Verbindung zu LM Studio auf dem Host-System herzustellen.