PrivateGPT mit Microsoft Office lokal nutzen

Beginnen Sie mit einer lokal ausgeführten PrivateGPT-Instanz

Der erste Schritt besteht darin, PrivateGPT auf Ihrem Computer auszuführen.

Sie können der Dokumentation zu PrivateGPT folgen. Der einfachste Weg für den Einstieg besteht darin, es auf einem lokalen Inferenzanbieter wie Ollama auszuführen.

Sobald PrivateGPT lokal ausgeführt wird, stellt es ein Gateway bereit, mit dem sich Claude-kompatible Anwendungen verbinden können. In meinem Fall wird es ausgeführt unter:

localhost:8080

Dieses lokale Gateway ist es, was den restlichen Workflow überhaupt erst ermöglicht.

Verbinden Sie Microsoft Office mit PrivateGPT

Öffnen Sie Microsoft Office und gehen Sie auf Add-Ins.

Installieren Sie von dort aus das Claude Add-In für Microsoft Office.

Wenn sich das Add-In öffnet, melden Sie sich nicht mit einem Cloud-Claude-Konto an und registrieren Sie sich nicht. Wählen Sie stattdessen die Option Gateway.

Konfigurieren Sie dann das Gateway so, dass es auf Ihre lokale PrivateGPT-Instanz verweist:

http://localhost:8080

Wenn Sie die Authentifizierung in PrivateGPT aktiviert haben, können Sie dort auch Ihr Token hinzufügen. Wenn nicht, können Sie es für lokale Tests einfach belassen.

Danach fragt das Add-In nach einem Modellnamen. Sie können jeden beliebigen Modellnamen als Startwert verwenden. Sie können beispielsweise claude schreiben, und PrivateGPT leitet die Anfrage über Ihr Inferenz-Backend an das lokal ausgeführte Modell weiter.

Sobald die Verbindung als funktionierend angezeigt wird, können Sie Microsoft Office mit lokaler KI nutzen.

Ein Beispiel: Überprüfung einer Vertraulichkeitsvereinbarung (NDA) in Word

Ich kann beispielsweise eine Vertraulichkeitsvereinbarung in Microsoft Word öffnen und den Assistenten bitten, sie zu überprüfen.

Ein nützlicher Prompt könnte sein:

„Finde potenziell problematische Klauseln und füge einen Kommentar hinzu, der erklärt, warum die jeweilige Klausel riskant sein könnte.“

Das Office Add-In sendet die Anfrage über das Claude-kompatible Gateway.

PrivateGPT empfängt die Anfrage lokal.

Das zugrundeliegende Modell wird lokal ausgeführt.

Das Dokument wird lokal analysiert.

Und die Kommentare werden direkt in Word hinzugefügt.

Das ist der entscheidende Punkt: Sie können dieselbe Art von Workflow nutzen, die Sie normalerweise mit Claude verwenden würden, aber ohne das Dokument an einen Cloud-KI-Anbieter zu senden.

Warum wird Office nicht direkt mit Ollama verbunden?

Eine naheliegende Frage ist: Warum benötige ich überhaupt PrivateGPT? Warum verbinde ich das Microsoft Office Add-In nicht direkt mit Ollama oder einem anderen lokalen Inferenzserver?

Der Grund dafür ist, dass Tools wie Ollama Inferenzserver sind. Sie sind großartig darin, Modelle lokal auszuführen, aber sie implementieren nicht die vollständige Claude-API.

Claude-kompatible Anwendungen erwarten mehr als nur einen einfachen Endpunkt zur Textgenerierung. Sie erwarten eine vollständige Anwendungs-API, einschließlich spezifischer Nachrichtenformate, Tool-Verhalten, Token-Handhabung, strukturierter Antworten und anderer Funktionen.

Das ist der Unterschied zu PrivateGPT.

PrivateGPT implementiert die Claude-API-Ebene oberhalb Ihres lokalen Inferenz-Backends. Das ermöglicht es erst, dass Claude-kompatible Tools, einschließlich Microsoft 365 Add-Ins, Claude Code und andere Anwendungen im Claude-Ökosystem, mit lokalen Modellen zusammenarbeiten.

Mit anderen Worten: Ollama führt das Modell aus.

PrivateGPT macht dieses Modell für Claude-kompatible Anwendungen nutzbar.

Warum das wichtig ist

Dies ist nützlich, weil es private KI direkt in die Tools integriert, die die Menschen bereits nutzen.

Sie können in Word, Excel, PowerPoint, Programmiertools oder anderen KI-Clients arbeiten, während die eigentliche Inferenz in Ihrer eigenen Infrastruktur verbleibt.

Sie zahlen nicht pro Token an einen externen Modellanbieter.

Ihre Dokumente werden nicht an eine Cloud-KI-API gesendet.

Und Ihre KI-Infrastruktur bleibt unter Ihrer Kontrolle.

Für Unternehmen, die mit sensiblen Informationen arbeiten, ist das der wichtigste Teil. Bei privater KI geht es nicht nur darum, ein Modell lokal auszuführen. Es geht darum, dieses lokale Modell in echten Workflows nutzbar zu machen.

Das ist auch die Idee hinter Zylon: Organisationen die Infrastruktur zu geben, um KI privat zu betreiben, mit der Kontrolle über Modelle, Daten und Bereitstellung. Und für Teams, die diese private KI-Ebene in interne Tools, Produkte und Automatisierungen integrieren möchten, bietet das Zylon API Gateway die regulierte Integrationsschicht.

PrivateGPT bietet Entwicklern die Open-Source-Grundlage dafür.

Zylon bringt dasselbe Prinzip der privaten KI in die Unternehmensproduktion.

Eine wichtige Voraussetzung: Verwenden Sie ein ausreichend starkes Modell

Es gibt eine praktische Sache zu beachten.

Diese Workflows können viel Kontext beanspruchen.

Wenn ein Microsoft Office Add-In ein Dokument an das Modell sendet, kann die Anfrage leicht Zehntausende von Token umfassen. Sie kann das Dokument, die Benutzeranweisung, den Formatierungskontext, Kommentare und andere Metadaten enthalten.

Das Modell, das Sie verwenden, muss also für die Aufgabe intelligent genug sein und ein ausreichend großes Kontextfenster haben.

Für eine Aufgabe wie die Überprüfung einer Vertraulichkeitsvereinbarung benötigen Sie ein Modell, das Rechtssprache versteht, lange Dokumente logisch analysieren und nützliche Kommentare erstellen kann.

PrivateGPT bietet Ihnen die Kompatibilitätsebene.

Die Qualität des Ergebnisses hängt jedoch nach wie vor von dem Modell ab, das Sie darunter ausführen.

Das größere Bild

Der Sinn von PrivateGPT besteht nicht nur darin, einen Chatbot lokal auszuführen.

Der Sinn besteht darin, lokale KI mit dem Anwendungsökosystem kompatibel zu machen, das die Menschen bereits nutzen.

Das bedeutet, dass Sie Claude-kompatible Tools verwenden können, die Arbeit jedoch über Ihre eigene Infrastruktur leiten. Sie erhalten das Workflow-Erlebnis moderner KI-Anwendungen, gepaart mit dem Datenschutz und der Kontrolle lokaler Inferenz.

Genau da wird private KI wirklich nützlich.

Nicht in einem separaten Chatfenster.

Sondern direkt in der Arbeit selbst.

Autor: Ivan Martinez Toro, Mitbegründer & Co-CEO bei Zylon
Veröffentlicht: 8. Juni 2026
Ivan leitet private, lokale KI-Bereitstellungen für regulierte Branchen und unterstützt Finanzinstitute, Gesundheitsorganisationen und Regierungsbehörden bei der Implementierung sicherer, souveräner KI-Infrastrukturen in Unternehmen.