PrivateGPT neu erfunden

PrivateGPT ist ein produktionsreifer Dienst, der kontextuelle generative KI-Bausteine wie Dokumentenaufnahme und kontextuelle Vervollständigungen über eine neue API anbietet, die den OpenAI-Standard erweitert. Kommunizieren Sie privat mit Ihren Dokumenten mithilfe der Standard-UI und der RAG-Pipeline oder integrieren Sie Ihre eigene.

Die Erkenntnisse nutzen

Seit dem Start im Mai 2023 und 39K+ GitHub-Sternen, sowie all den Beiträgen (5K+ Forks) und dem Feedback der Open-Source-Community, haben wir das Projekt von Grund auf neu gestaltet und dabei den Fokus auf Mehrwert und Softwarequalität gelegt.

Und für diejenigen, die sich eine Plug-and-Play-Möglichkeit wünschten, um mit ihren Dokumenten zu sprechen, haben wir es mit der neuen PrivateGPT-UI einfacher gemacht: Jetzt können Sie Dokumente hochladen, den Interaktionsmodus mit Ihrem LLM (Abfrage, Chat oder Chunks) auswählen und über einen Prompt damit sprechen.

Neue Funktionen

Wir haben die API von OpenAI erweitert, um dokumentbasierte kontextualisierte Vervollständigungen zu unterstützen und die Komplexität von RAG-Pipelines zu abstrahieren. Es ist so einfach wie das Hinzufügen des Attributs use_context zu Ihrer Anfrage.

Wir stellen nun eine Context-Chunks-API bereit, die:

• Bei einem Text gibt sie die relevantesten Chunks aus den aufgenommenen Dokumenten zurück.

• Bezieht vorherige und nächste Chunks für eine erweiterte Kontextabfrage ein.

• 
  

• Verwendet nur das Embeddings-Modell, daher ist sie blitzschnell!
  
  

  

  
  
  Die Ingest API gibt die doc_id und die extrahierten doc_metadata zurück, was übrigens hervorragend mit den Metadaten-Extraktoren von LlamaIndex funktioniert!

  Ein paar coole Anwendungsfälle, die zeigen, warum dies für Entwickler unglaublich nützlich ist:

  1. Die doc_id kann verwendet werden, um den von der Completions-API verwendeten Kontext zu filtern. Dies ermöglicht:

  • Das Chatten mit jeweils nur einem der aufgenommenen Dokumente; manchmal wissen Benutzer genau, was sie wollen.

  • Das Chatten mit Dokumentensammlungen (als einfache Version der Quivr-Brains).

  2. Die doc_metadata kann gespeichert und in der deterministischen (nicht LLM-basierten) Geschäftslogik Ihrer App verwendet werden:

  • Einfache Dokumentsuche.

  • Dokumentenfilterung

  • Dokumentenclustering

  • Aggregierte Analysen

  • 
    

  • Und mehr…
    
    
    
    

    

    
    

    Nächste Schritte

    PrivateGPT ist ein Projekt, das von und für Entwickler geschaffen und entworfen wurde, um GenAI-Funktionen auf 100 % private Weise freizuschalten. In diesen Monaten haben wir jedoch mit einigen von Ihnen gesprochen (danke, dass Sie auf uns zugekommen sind!) und erkannt, dass das für Unternehmen und Organisationen ohne technisches Fachwissen nicht ausreicht.

    Deshalb wollen wir weitergehen und erkunden, was wir auf Basis von PrivateGPT aufbauen können, um ein vollständiges B2B-Produkt zu schaffen, das rückwärts aus den Anforderungen der Branche entwickelt wird. Dadurch werden wir neue Erkenntnisse gewinnen, die wir in PrivateGPT einfließen lassen können, und so ein perfektes Flywheel-Szenario schaffen.

    Begleiten Sie uns auf der kommenden Reise, treten Sie der Community in unserem Discord-Kanal bei und geben Sie weiterhin Ihr unschätzbares Feedback, um PrivateGPT zu einem großartigen Werkzeug für die Community zu machen!

    ‍

    Daniel Gallego Vico, Mitgründer & CPTO

Autor: Daniel Gallego Vico, PhD, Mitgründer & Co-CEO bei Zylon
Veröffentlicht: Juni 2023
Zuletzt aktualisiert: Feb 2026
Daniel spezialisiert sich auf sichere Unternehmens-KI-Architektur und überwacht On-Premise-LLM-Infrastruktur, Daten-Governance und skalierbare KI-Systeme für regulierte Sektoren wie Finanzen, Gesundheitswesen und Verteidigung.