Veröffentlicht am
·
PrivateGPT v0.5.0 mit 50.000 GitHub-Sternen
Daniel Gallego
Kurze Zusammenfassung
PrivateGPT hat 50.000 GitHub-Sterne überschritten und unterstreicht damit die starke Akzeptanz in der Community für sein privates, produktionsreifes GenKI-Framework. Version 0.5.0 führt große Leistungsverbesserungen ein – darunter einen 10-mal schnelleren Start, eine verbesserte RAG-Konfiguration, schnellere Ingestion-Pipelines, erweiterte LLM-Unterstützung (einschließlich Azure OpenAI), mehr Flexibilität bei Datenbanken mit Postgres und bessere Offline-Funktionen. Mit wachsenden Beiträgen und aktivem Community-Engagement entwickelt sich PrivateGPT weiter zu einer führenden Grundlage für vollständig private KI-Anwendungen, einschließlich Zylons unternehmensreifer KI-Arbeitsumgebung.
PrivateGPT erreicht 50.000 Sterne auf GitHub!
PrivateGPT hat kürzlich einen beeindruckenden Meilenstein von 50.000 Sternen auf GitHub erreicht. Dieser Erfolg spiegelt das wachsende Interesse und Vertrauen in das Potenzial des Projekts wider, ein privates und sicheres Framework für die Erstellung produktionsreifer GenAI-Anwendungen bereitzustellen.
Bei Zylon nutzen wir PrivateGPT, um unseren benutzerfreundlichen, unternehmensreifen, KI-gestützten kollaborativen Arbeitsbereich zu betreiben. Und genau wie wir verwenden Dutzende von Teams auf der ganzen Welt PrivateGPT jeden Tag als Grundlage, um ihre vollständig privaten, KI-gestützten Anwendungen zu erstellen.
Die Community von PrivateGPT ist aktiver denn je, mit mehr als 25 zusammengeführten Beiträgen im letzten Monat!
Herzlichen Glückwunsch an alle, die Teil des Projekts sind. Wir sind bereits 4.000 Menschen, die jeden Tag in Discord GenAI Ideen, Erfahrungen und Best Practices teilen.
PrivateGPT v0.5.0
In diesem Blogbeitrag fassen wir die wirkungsvollsten Verbesserungen zusammen, die in PrivateGPT v0.5.0 integriert wurden.
Eine vollständige Liste der Funktionen und Fehlerbehebungen finden Sie unter https://github.com/zylon-ai/private-gpt/releases/tag/v0.5.0
UI-Verbesserungen
- Der Startvorgang ist jetzt 10x schneller. Vielnutzer von PrivateGPT mit Hunderten ingestierter Dokumente werden den Unterschied wirklich bemerken.
- Das verwendete Modell wird oben im Chatfenster angezeigt.
- Die Score-Reihenfolge bleibt in den zurückgegebenen Quellen erhalten.
- Doppelte Quellen werden aus der Quellenliste entfernt.
Verbesserungen der LLM-Unterstützung
- Azure OpenAI-Unterstützung wurde für LLM und Embeddings hinzugefügt.
- Unterstützung für Modellanpassungen für LlamaCPP und Ollama (temperature, top_k, top_p usw.).
- Die Konfiguration von Ollama für LLM und Embeddings wurde entkoppelt, sodass separate Ollama-Instanzen verwendet werden können. Längere Keep-Alive-Einstellungen wurden für Ollama eingeführt.
- Für Ollama wurde eine Timeout-Einstellung implementiert, um zeitaufwändigere Inferenzschritte zu ermöglichen.
- Der Tiktoken-Cache befindet sich jetzt im Repository für die vollständige Offline-Nutzung.
RAG-Verbesserungen
- similarity_top_k und similarity_score wurden in den Einstellungen verfügbar gemacht, wodurch sich der Kontext flexibler abrufen lässt.
- Der SentenceTransformer-Reranker wurde als optionale Möglichkeit eingeführt, um den an das LLM übergebenen Kontext zu verbessern.
Verbesserungen beim Ingest
- Ein schnellerer Ingest-Modus namens pipeline wurde erstellt und erreicht die doppelte Geschwindigkeit unseres zuvor schnellsten Ingest-Modus (paralell) sowie mehr als das Dreifache der Geschwindigkeit des grundlegenden simple-Ingest-Ansatzes.
Importieren von 434 Dokumenten (144Mb) in Postgres mit Ollama und nomic-embed-text für Embeddings
Verbesserungen an der Datenbank
- Postgres kann jetzt als alleinige Datenbank verwendet werden und enthält sowohl Vektorspeicher als auch Knotenspeicher. Dies ist eine großartige Option für Setups, die nur eine Datenbank benötigen.
- Wipe-Utilities pro Speichertyp (simple, qdrant, chroma und postgres) wurden implementiert, um das Zurücksetzen des Datenbankinhalts zu erleichtern.
- Ein Statistikskript wurde hinzugefügt, um die Datenbanknutzung besser zu verstehen:
python scripts/utils.py stats
Verbesserungen an der Dokumentation
- Ein Leitfaden für die Unterstützung von Linux-AMD-GPUs wurde hinzugefügt.
Mitwirkende
Die wichtigsten Mitwirkenden von v0.5.0:
Wir möchten unserer gesamten PrivateGPT-Community unseren tiefsten Dank für ihre fortwährende Unterstützung, ihre Beiträge und ihr Engagement aussprechen, mit dem sie dieses Projekt zum Erfolg machen. Ihr Feedback und Ihre Vorschläge waren von unschätzbarem Wert dafür, die Zukunft von PrivateGPT zu gestalten. Bleiben Sie dran für weitere spannende Updates und Verbesserungen!
Autor: Daniel Gallego Vico, PhD, Mitgründer & Co-CEO bei Zylon
Veröffentlicht: Mai 2024
Zuletzt aktualisiert: Feb 2026
Daniel ist auf sichere KI-Architekturen für Unternehmen spezialisiert und verantwortet On-Premise-LLM-Infrastruktur, Data Governance und skalierbare KI-Systeme für regulierte Branchen wie Finanzwesen, Gesundheitswesen und Verteidigung.
Veröffentlicht am
Geschrieben von
Daniel Gallego
