Lokales LLM einrichten: Ollama und Open WebUI in 30 Minuten

Schritt 1: Ollama installieren

Ollama bringt die Sprachmodelle auf den Rechner und stellt sie als lokalen Dienst bereit. Die Installation unterscheidet sich je nach System:

• Linux: Nach der Installation läuft Ollama automatisch als Systemdienst und ist unter http://localhost:11434 erreichbar.
• Windows: Installer von ollama.com herunterladen und ausführen, Ollama läuft dann als Hintergrunddienst.
• macOS: Installation über Homebrew, Start des Dienstes mit ollama serve.

curl -fsSL https://ollama.com/install.sh | sh

brew install ollama
ollama serve

Schritt 2: Erstes Modell laden und testen

Für den Start eignet sich ein 7B- oder 8B-Modell wie Llama 3.1 8B oder Mistral 7B. Der Download dauert je nach Leitung wenige Minuten, danach läuft alles offline. Größere Modelle bringt der Befehl ollama pull mit dem jeweiligen Modellnamen.

ollama list

ollama pull llama3.1:8b
ollama run llama3.1:8b

Schritt 3: Open WebUI als Oberfläche einrichten

Open WebUI liefert die webbasierte Chat-Oberfläche mit Dokument-Upload, Verlaufsfunktion und Benutzerverwaltung. Die Installation per Docker ist der empfohlene Weg.

Danach ist die Oberfläche im Browser unter http://[server-ip]:3000 erreichbar. Der erste Anmelder wird automatisch Administrator und kann weitere Nutzer freischalten.

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Damit aus dem Test ein belastbarer Betrieb wird

Die Schritte oben ergeben einen funktionierenden Einzelplatz- oder Team-Chat. Für den Unternehmensbetrieb fehlen danach: Zugriffsregeln und Rollen, Datenschutz-Dokumentation, Modell-Updates mit Freigabe, Backups. Genau diese Punkte übernimmt unser Festpreis-Pilot (ab 3.500 Euro) oder unser Einrichtungs-Service, wenn Sie es komplett abgeben möchten.