PrivateGPT v0.6.0: Rezepte!

Bei PrivateGPT ist unser Ziel, Entwickler zu befähigen, private KI-native Anwendungen mühelos zu entwickeln. Um dieses Ziel zu erreichen, besteht unsere Strategie darin, hochrangige APIs bereitzustellen, die die Komplexität von Daten-Pipelines, großen Sprachmodellen (LLMs), Embeddings und mehr abstrahieren. Mit einem bedeutenden Schritt in diese Richtung führt Version 0.6.0 recipes ein – ein leistungsstarkes neues Konzept, das den Entwicklungsprozess noch weiter vereinfachen soll.

Einführung von Recipes!

Recipes sind hochrangige APIs, die KI-native Anwendungsfälle kapseln. Im Hintergrund orchestrieren sie komplexe Daten-Pipelines, um vollständige Ergebnisse zu liefern.

Mit der Einführung unseres ersten Rezepts, summarize, bereichern wir PrivateGPT nicht nur um dieses wertvolle Feature, sondern legen auch den Grundstein für community-getriebene Recipes.

Zusammenfassungs-Rezept

Das Summarize-Rezept bietet eine Methode, um prägnante Zusammenfassungen aus eingelesenen Dokumenten oder Texten mithilfe von PrivateGPT zu extrahieren.

POST /v1/summarize

Anwendungsfall

Der primäre Anwendungsfall für das Summarize-Werkzeug besteht darin, die Zusammenfassung umfangreicher Dokumente zu automatisieren, damit Nutzer die wesentlichen Informationen leichter erfassen können, ohne ganze Texte lesen zu müssen. Dies kann in verschiedenen Szenarien angewendet werden, etwa bei der Zusammenfassung von Forschungsarbeiten, Nachrichtenartikeln oder Geschäftsberichten.

Wichtige Funktionen

1. Ingestion-kompatibel: Der Nutzer stellt den zusammenzufassenden Text bereit. Der Text kann direkt eingegeben oder aus eingelesenen Dokumenten innerhalb des Systems abgerufen werden.

2. Anpassung: Die Generierung der Zusammenfassung kann durch die Bereitstellung bestimmter instructions oder eines prompt beeinflusst werden. Diese Eingaben leiten das Modell dabei an, wie die Zusammenfassung aufgebaut werden soll, und ermöglichen so eine Anpassung an die Bedürfnisse der Nutzer. Einige Beispiele für Anweisungen: „eine Liste von Highlights zurückgeben“, „am Anfang TL&DR hinzufügen“, „die Zusammenfassung auf Spanisch zurückgeben“…

3. Streaming-Unterstützung: Das Werkzeug unterstützt Streaming und ermöglicht so die Echtzeit-Generierung von Zusammenfassungen, was besonders nützlich sein kann, wenn große Texte verarbeitet oder sofortiges Feedback gegeben werden soll. Wenn der zusammenzufassende Text groß ist, wird die Zeit bis zum ersten Token beeinträchtigt.

Bringe dein eigenes Rezept mit

Wir freuen uns über die Möglichkeiten künftiger Recipes in PrivateGPT, möchten die Community aber auch dazu einladen, eine aktive Rolle bei der Gestaltung der Fähigkeiten der Plattform zu übernehmen. Durch das Beitragen eigener Recipes können Nutzer dazu beitragen, PrivateGPT zu einer wirklich vielseitigen und leistungsstarken KI-native Toolbox zu machen, die Innovationen in verschiedenen Branchen vorantreiben kann.

Wenn ihr Ideen habt, wie ihr Summarize verbessern oder euer eigenes Rezept hinzufügen könnt, beteiligt euch gern! Ihr könnt eure Erweiterungen per Pull Request in unserem GitHub-Repository einreichen.

Weitere Verbesserungen

Vereinfachter Kaltstart

Wir haben daran gearbeitet, das Starten von PrivateGPT aus einem frischen Clone so unkompliziert wie möglich zu machen, standardmäßig Ollama zu verwenden, Modelle beim ersten Start automatisch herunterzuladen und den Tokenizer-Download optional zu machen...

Mehr Unterstützung für Modelle und Datenbanken

Wir haben Unterstützung für Gemini (sowohl LLM als auch Embeddings) sowie für Milvus- und ClickHouse-Vektordatenbanken hinzugefügt.

Besonderen Dank an das Milvus-Team für den Beitrag, wir freuen uns auf weitere Kooperationen!

Verbesserungen an der Dokumentation und kleinere Fehlerbehebungen

Die vollständige Liste der Änderungen könnt ihr in den Versionshinweisen nachlesen.

Rückwärtsinkompatible Änderungen

In dieser Version gibt es einige rückwärtsinkompatible Änderungen:

• Die erforderliche Mindestversion von Python ist jetzt 3.11.9, und Poetry muss >= 1.7.1 sein. Wir empfehlen ein Update auf Poetry 1.8.3.

• Das Standard-LLM-Modell wurde für lokale Setups mit Ollama und Llamacpp auf LLaMA 3.1 geändert.

• Das Standard-Embeddings-Modell wurde für lokale Setups mit Ollama und Llamacpp auf nomic-embed-text vereinheitlicht. Wenn ihr zum Einlesen von Dateien ein anderes Modell verwendet habt, wird euer aktuelles Setup dadurch nicht funktionieren.

Wir haben ein vollständiges Dokument vorbereitet, wie ihr diese rückwärtsinkompatiblen Änderungen umgehen und euch daran anpassen könnt hier.

Öffentliche Roadmap veröffentlicht

Zusätzlich zu den jüngsten Verbesserungen und Erweiterungen sammeln wir aktiv Feedback und Vorschläge aus der Community und planen außerdem eine umfassende Roadmap, die unsere Vision für zukünftige Änderungen und Entwicklungen darlegt. Diese öffentliche Roadmap umfasst ein breites Spektrum an Aktualisierungen, einschließlich neuer Funktionen, Fehlerbehebungen und Leistungsoptimierungen. Wählt die Aufgabe, an der ihr arbeiten möchtet, und werdet Teil des Teams der Mitwirkenden.

Als Nächstes… einfachere Bereitstellung!

Auf Wunsch der Community konzentrieren wir uns darauf, die Art und Weise zu verbessern, wie PrivateGPT in unterschiedlichen Umgebungen bereitgestellt wird. In den kommenden Wochen veröffentlichen wir containerisierte Versionen von PrivateGPT, die bereit zur Bereitstellung sind, sowie Verbesserungen an den docker-basierten Build-Funktionen des Projekts. Bleibt dran!

Lob an das Team und die Community

Javier, KI-Produktingenieur bei Zylon, war der aktivste Mitwirkende dieser Version, gefolgt vom Fern-Team, Catherine Deskur, denisovval, Shengsheng Huang, Robert Hirsch, Quentin McGaw, Proger666, Mart, Marco Braga und Jackson. Danke euch allen!!

Abschließender Hinweis für Unternehmen & Organisationen

Wenn ihr nach einem unternehmensreifen, vollständig privaten KI-Arbeitsbereich sucht, schaut euch Zylons Website an oder fordert eine Demo an. Entwickelt vom Team hinter PrivateGPT, ist Zylon ein erstklassiger KI-Kollaborationsarbeitsbereich, der sich problemlos On-Premise (Rechenzentrum, Bare Metal…) oder in eurer privaten Cloud (AWS, GCP, Azure…) bereitstellen lässt.

Autor: Iván Martínez Toro, Mitgründer & Co-CEO bei Zylon
Veröffentlicht: Mai 2024
Zuletzt aktualisiert: Feb 2026
Iván leitet private, On-Premise-KI-Bereitstellungen für regulierte Branchen und unterstützt Finanzinstitute, Gesundheitsorganisationen und Regierungsstellen dabei, sichere, souveräne KI-Infrastruktur für Unternehmen zu implementieren.