Dokumente lokal mit KI durchsuchen – und einfach fragen
Statt Ordner zu wälzen und PDFs einzeln zu öffnen: alle eigenen Dokumente einlesen, Fragen in normaler Sprache stellen und Antworten mit Quellenangabe bekommen – komplett lokal auf dem eigenen Windows-Rechner, ohne Cloud und ohne Abo.
Wie das funktioniert: RAG, verständlich erklärt
Die Technik dahinter heißt RAG – Retrieval-Augmented Generation. Das klingt kompliziert, ist aber ein einfaches Prinzip in drei Schritten:
- Einlesen: Die Dokumente werden in sinnvolle Abschnitte zerlegt und in einer lokalen Datenbank so abgelegt, dass sich Inhalte nach Bedeutung vergleichen lassen – nicht nur nach Wortlaut.
- Suchen (Retrieval): Zu jeder Frage werden die passendsten Abschnitte herausgesucht. Dabei arbeiten zwei Suchen zusammen: die Bedeutungssuche („Urlaub beantragen" ≈ „Abwesenheitsantrag") und eine klassische Stichwortsuche, damit exakte Begriffe, Eigennamen und Fehlercodes nicht verloren gehen. Eine Präzisions-Nachsortierung stellt die besten Fundstellen nach vorn.
- Antworten (Generation): Ein lokales Sprachmodell formuliert aus genau diesen Fundstellen eine knappe Antwort – mit Quellenangabe. Passt keine Fundstelle zur Frage, sagt es das ehrlich, statt etwas zu erfinden.
Der entscheidende Punkt: Das Sprachmodell antwortet nicht aus seinem Allgemeinwissen, sondern nur aus dem, was wirklich in den eigenen Dokumenten steht. Deshalb lässt sich jede Antwort anhand der genannten Quellen überprüfen.
Was sich einlesen lässt – und wofür
Alle gängigen Büroformate, vom einzelnen Handbuch bis zum Bestand mit zehntausenden Dokumenten.
PDF, Word, Excel & Text
PDF, Word (.docx), Excel (.xlsx), Text, CSV und Markdown – außerdem OTRS-Ticket-Exporte für Servicedesks.
Anleitungen befragen
„Wie richte ich X ein?" – die Antwort kommt aus dem eigenen Handbuch, mit Angabe des Dokuments, statt seitenlangem Blättern.
Regelungen finden
Dienstanweisungen, Verträge, Protokolle: Wer schnell wissen muss, was wo geregelt ist, fragt einfach – und prüft die genannte Quelle.
Themen getrennt halten
Mehrere Bestände (z. B. „Handbücher" und „Verträge") liegen in getrennten Wissensräumen und vermischen sich bei der Suche nicht.
Schnelle Updates
Beim erneuten Einlesen wird nur verarbeitet, was neu oder geändert ist – Aktualisierungen dauern Minuten, nicht Stunden.
Alles bleibt auf dem Rechner
Keine Cloud, keine Telemetrie, nach der Einrichtung offline nutzbar – auch für sensible Unterlagen geeignet. Mehr dazu: KI ohne Cloud.
Ehrlich: Was die Hardware können muss
Für ein lokales KI-System braucht es keine teure Grafikkarte – ein normaler Rechner mit rund 8 CPU-Kernen und 16 GB RAM genügt. Damit gilt:
- Die Suche antwortet in wenigen Sekunden; ein optionales Turbo-Suchpaket beschleunigt reine CPU-Rechner zusätzlich.
- Die KI-Antwort braucht auf reiner CPU je nach Sprachmodell einige Sekunden – das ist kein Echtzeit-Chat, aber gut nutzbar. Wiederholte Fragen beantwortet der Antwort-Cache sofort.
- Eine Grafikkarte (NVIDIA/CUDA oder Vulkan) beschleunigt spürbar, ist aber optional – das Sprachmodell lässt sich frei an die vorhandene Hardware anpassen, vom kleinen schnellen bis zum großen genauen Modell.
Zum Vergleich: Der Referenzbetrieb des SWX KI-Assistenten läuft auf einer gewöhnlichen Server-VM mit 12 CPU-Kernen – ganz ohne GPU – und beantwortet dort Fragen zu einem Bestand von über 30.000 Einträgen.
Häufige Fragen
Was ist der Unterschied zur Windows-Suche?
Die Windows- oder Volltextsuche findet nur exakte Wörter und liefert Dateilisten. Hier wird zusätzlich nach Bedeutung gesucht, und statt einer Trefferliste kommt eine formulierte Antwort mit Quellenangabe.
Lernt die KI aus meinen Dokumenten?
Nein. Das Modell wird nicht trainiert oder verändert. Die Inhalte liegen nur in der lokalen Datenbank – wird ein Bestand gelöscht, ist er vollständig weg.
Erfindet die KI Antworten?
Sie ist strikt angewiesen, nur aus den gefundenen Fundstellen zu antworten und die Quelle zu nennen. Findet die Suche nichts Passendes, lautet die Antwort ehrlich „dazu steht nichts in den Dokumenten".
Wie viele Dokumente verkraftet das System?
Bestände mit zehntausenden Dokumenten bzw. Einträgen sind erprobt. Das Einlesen großer Bestände dauert beim ersten Mal entsprechend; danach greifen die schnellen inkrementellen Updates.
Was kostet das?
Für Privatpersonen und kleine Organisationen ist der SWX KI-Assistent kostenlos (PolyForm Small Business License). Details und Download auf der Produktseite.
Ausprobieren
Herunterladen, entpacken, den Einrichtungs-Assistenten durchklicken, einen Ordner mit eigenen Dokumenten einlesen – und die erste Frage stellen.