PrivateGPT v0.4.0

Heute führen wir PrivateGPT v0.4.0 ein! In dieser Version haben wir das Projekt modularer, flexibler und leistungsfähiger gemacht, sodass es eine ideale Wahl für produktionsreife Anwendungen ist.

Diese Version steckt voller großer Änderungen:

Vollständige Migration auf LlamaIndex v0.10

PrivateGPT nutzt LlamaIndex als Teil seines technischen Stacks. LlamaIndex ist ein Datenframework für LLM-basierte Anwendungen, die von Kontextanreicherung profitieren.

Nach dem Upgrade auf LlamaIndex's jüngste v0.10, die erhebliche Änderungen sowohl an der Paketierung der Bibliothek als auch an der Organisation der Codebasis mit sich brachte, haben wir uns entschieden, einen ähnlichen Aufräumprozess durchzuführen, um den Installationsprozess des Projekts zu verbessern und PrivateGPT auf neue Funktionen vorzubereiten.

Mit Hilfe unserer Freunde aus dem LlamaIndex-Team hat PrivateGPT einen vollständigen Refactor durchlaufen, um seine Codebasis an die neue Version von LlamaIndex anzupassen. Diese neue Version bringt sofort verfügbare Leistungsverbesserungen mit sich und öffnet die Tür zu neuen Funktionen, die wir bald integrieren werden!

⚠️ Hinweis: Wenn du eine bereits bestehende PrivateGPT-Installation aktualisierst, musst du möglicherweise eine vollständige Neuinstallation durchführen und deine virtuelle Umgebung zurücksetzen. Andernfalls kann der Cache mit der vorherigen Version von LlamaIndex zu Problemen führen.

Überarbeitete Installation und Abhängigkeitsverwaltung

Diese neue Version macht PrivateGPT modularer, um sich besser an die unterschiedlichen Setups anzupassen, die für produktionsreife Anwendungen erforderlich sind, egal ob lokal, cloudbasiert oder gemischt. Diese Modularisierung bringt einen neuen Installationsprozess mit sich.

Ab sofort kannst du bei der Installation von PrivateGPT genau die Komponenten auswählen, die du installieren möchtest:

LLM: Wähle den LLM-Anbieter, mit folgenden Optionen:

• llms-ollama: fügt Unterstützung für Ollama LLM hinzu, der einfachste Weg, ein lokales LLM zum Laufen zu bringen; erfordert, dass Ollama lokal ausgeführt wird

• llms-llama-cpp: fügt Unterstützung für lokale LLMs mit LlamaCPP hinzu – auf einigen Plattformen ist mit einem chaotischen Installationsprozess zu rechnen

• llms-sagemaker: fügt Unterstützung für Amazon Sagemaker LLM hinzu; erfordert Sagemaker-Inferenzendpunkte

• llms-openai: fügt Unterstützung für OpenAI LLM hinzu; erfordert einen OpenAI-API-Schlüssel

• llms-openai-like: fügt Unterstützung für LLM-Anbieter von Drittanbietern hinzu, die mit der API von OpenAI kompatibel sind

Embeddings: Wähle den Anbieter des Embeddings-Modells:

• embeddings-ollama: fügt Unterstützung für Ollama Embeddings hinzu; erfordert, dass Ollama lokal ausgeführt wird

• embeddings-huggingface: fügt Unterstützung für lokale Embeddings mithilfe von HuggingFace hinzu

• embeddings-sagemaker: fügt Unterstützung für Amazon Sagemaker Embeddings hinzu; erfordert Sagemaker-Inferenzendpunkte

• embeddings-openai: fügt Unterstützung für OpenAI Embeddings hinzu; erfordert einen OpenAI-API-Schlüssel

Vektorspeicher: Welche Vektordatenbank verwendet werden soll:

• vector-stores-qdrant: fügt Unterstützung für den Qdrant-Vektorspeicher hinzu

• vector-stores-chroma: fügt Unterstützung für den Chroma-DB-Vektorspeicher hinzu

• vector-stores-postgres: fügt Unterstützung für den Postgres-Vektorspeicher hinzu

UI: ob Unterstützung für die auf Gradio basierende UI von PrivateGPT hinzugefügt werden soll oder ob man nur die API verwendet

Um nur die erforderlichen Abhängigkeiten zu installieren, bietet PrivateGPT verschiedene extras, die während des Installationsprozesses kombiniert werden können.

poetry install --extras "<extra1> <extra2>..."


Zum Beispiel:

poetry install --extras "ui llms-ollama embeddings-huggingface vector-stores-qdrant"


Installiert PrivateGPT mit Unterstützung für die UI, Ollama als lokalen LLM-Anbieter, lokale HuggingFace-Embeddings und Qdrant als Vektordatenbank.

Du kannst die Optionen nach Bedarf kombinieren und anpassen, sodass nur die notwendigen Abhängigkeiten installiert werden. In der kommenden Version werden wir weitere Optionen hinzufügen!

Alle Informationen findest du in den Installationsdokumenten unter https://docs.privategpt.dev/installation/getting-started/installation

Mehr und besser dokumentierte Setup-Beispiele

Wir haben eine Reihe sofort nutzbarer Setups hinzugefügt, die als Beispiele für unterschiedliche Anforderungen dienen.

• Lokales, von Ollama betriebenes Setup, das einfachste lokale Setup zur Installation

• Privates, von Sagemaker betriebenes Setup, das Sagemaker in einer privaten AWS-Cloud verwendet

• Nicht-privates, von OpenAI betriebenes Test-Setup, um PrivateGPT mit GPT3-4 auszuprobieren

• Lokales, von Llama-CPP betriebenes Setup, das übliche lokale Setup, auf bestimmten Systemen schwer zum Laufen zu bringen

Jedes Setup wird von einer settings-xxx.yaml-Datei im Stammverzeichnis des Projekts begleitet, in der du die Konfiguration an deine Bedürfnisse anpassen kannst (Parameter wie das zu verwendende Modell, die Dimension der Embeddings usw.).

Eine ausführliche Anleitung findest du im Installationsabschnitt unter https://docs.privategpt.dev/installation/getting-started/installation

Ollama als das neue empfohlene lokale Setup

Wir empfehlen die Nutzung von Ollama sowohl als LLM- als auch als Embeddings-Anbieter für lokale Setups. Ollama vereinfacht den Prozess, Sprachmodelle lokal auszuführen; der Fokus liegt darauf, die Erfahrung beim Einrichten lokaler Modelle zu verbessern und das Maximum aus deiner lokalen Hardware herauszuholen. Es ist viel einfacher als der Betrieb mit LlamaCPP – der Methode, die wir in der Vergangenheit standardmäßig verwendet haben und die den Nutzern von PrivateGPT viele Kopfschmerzen bereitet hat.

Wir werden in einem zukünftigen Blogbeitrag mehr über diese Partnerschaft berichten.

Um PrivateGPT mit Ollama zu verwenden, befolge diese einfachen Schritte:

• Gehe zu ollama.ai und folge den Anweisungen, um Ollama auf deinem Rechner zu installieren.

• Stelle nach der Installation sicher, dass die Ollama-Desktop-App geschlossen ist.

• Installiere die zu verwendenden Modelle; die Standarddatei settings-ollama.yaml ist so konfiguriert, dass sie das mistral 7b LLM (~4GB) und nomic-embed-text Embeddings (~275MB) verwendet. Daher:

ollama pull mistral
ollama pull nomic-embed-text

‍


• Starte den Ollama-Dienst (er startet einen lokalen Inferenzserver, der sowohl das LLM als auch die Embeddings-Modelle bereitstellt):

ollama serve

‍


• Sobald das erledigt ist, kannst du in einem anderen Terminal PrivateGPT mit folgendem Befehl installieren:

poetry install --extras "ui llms-ollama embeddings-ollama vector-stores-qdrant"

‍


• Nach der Installation kannst du PrivateGPT ausführen. Stelle sicher, dass Ollama lokal korrekt läuft, bevor du den folgenden Befehl ausführst.

PGPT_PROFILES=ollama make run
# Unter Windows musst du die PGPT_PROFILES-Umgebungsvariable auf eine andere Weise setzen

‍


PrivateGPT verwendet die bereits vorhandene Konfigurationsdatei settings-ollama.yaml, die bereits für Ollama LLM und Embeddings sowie die Qdrant-Vektordatenbank konfiguriert ist. Überprüfe sie und passe sie an deine Bedürfnisse an (andere Modelle, anderer Ollama-Port usw.).

Fazit

Dieses Update bringt PrivateGPT auf den neuesten Stand der Abhängigkeiten und macht es zu einem modulareren und flexibleren Projekt. Es ebnet den Weg für die großen Updates, die als Nächstes kommen. Es handelt sich allerdings um eine inkompatible Änderung, also schau bei Fragen gerne in Discord vorbei!

Autor: Iván Martínez Toro, Mitgründer & Co-CEO bei Zylon
Veröffentlicht: Mai 2024
Zuletzt aktualisiert: Feb. 2026
Iván leitet private, On-Premise-KI-Deployments für regulierte Branchen und unterstützt Finanzinstitute, Gesundheitsorganisationen und staatliche Stellen bei der Implementierung sicherer, souveräner KI-Infrastruktur für Unternehmen.