← Alle Downloads Lokale KI · RAG-System · Offline

SWX KI-Assistent – deine Dokumente, deine KI, dein Rechner

Ein kostenloses Windows-Programm, das deine eigenen Dokumente durchsucht und Fragen dazu beantwortet – vollständig lokal auf deinem Rechner, ohne Cloud und ohne dass Daten das Haus verlassen. Technisch dahinter steckt ein vollwertiges RAG-System (Retrieval-Augmented Generation).

Screenshot des SWX KI-Assistenten – Gespräch mit Rückfrage zu den eigenen Dokumenten, Antworten mit Quellenangabe

Wofür ist das gedacht?

Viele Behörden, Unternehmen und Teams haben großes, gewachsenes Wissen in Dokumenten: Tickets, Handbücher, Anleitungen, Protokolle, Tabellen. Die Suche darin ist mühsam, und die richtige Antwort kennt oft nur ein erfahrener Kollege.

Cloud-KI wie ChatGPT & Co. wäre hilfreich, ist aber für sensible oder personenbezogene Daten tabu – sie würden an externe Server übertragen. Genau hier setzt der SWX KI-Assistent an: Er bringt komfortable KI-Suche und -Antworten auf eigene Dokumente, ohne dass auch nur ein Byte den eigenen Rechner verlässt. Man kann es sich vorstellen wie „ein ChatGPT für die internen Unterlagen, aber alles bleibt auf dem eigenen Rechner".

Was das Tool kann

Komfortable Suche und Antworten auf eigene Dokumente – komplett offline.

Import

Eigene Dokumente einlesen

PDF, Word, Excel, PowerPoint, LibreOffice-Dokumente, E-Mails (.eml/.msg samt Anhängen), HTML, RTF, Text/CSV/Markdown und OTRS-Ticket-Exporte (JSON) werden lokal aufbereitet und durchsuchbar gemacht – gescannte PDFs und Bilddateien (PNG, JPG, TIFF) per eingebauter Texterkennung (OCR). Import-Ordner lassen sich auch automatisch nach Zeitplan einlesen.

Suche

Intelligente Suche

Findet Inhalte nach Bedeutung, nicht nur nach Stichwort – ergänzt um eine klassische Schlagwortsuche für Fachbegriffe, Eigennamen und Fehlercodes.

Antworten

KI-Antworten mit Quelle

Ein lokales Sprachmodell formuliert eine knappe Antwort ausschließlich aus den gefundenen Dokumenten und nennt die Quelle. Passt nichts, sagt es das ehrlich.

Flexibel

Frei wählbares Sprachmodell

Nutzt praktisch jedes beliebige lokale Sprachmodell – vom kleinen, schnellen bis zum großen, besonders genauen. Per Knopfdruck herunterladen und jederzeit wechseln.

Nachvollziehbar

Treffer immer belegt

Die gefundenen Originalstellen werden mit angezeigt – man sieht jederzeit, worauf die Antwort beruht.

Einfach

Einrichtungs-Assistent

Ein Windows-Programm mit Assistent, der Schritt für Schritt durch die Erst-Inbetriebnahme führt.

Netzwerk

Im Team teilbar

Wahlweise als Einzelplatz, als kleiner Server für mehrere Arbeitsplätze oder als reiner Such-Client gegen diesen Server.

Profile

Anpassbar an den Zweck

Profile für „IT-Tickets", „Dokumente & Handbücher" oder „gemischt" stellen den passenden Wortlaut der Antworten ein.

Sprachen

Zweisprachig: Deutsch & Englisch

Die gesamte Oberfläche und Hilfe lässt sich per Klick (unten in der Seitenleiste) zwischen Deutsch und Englisch umschalten – die Auswahl bleibt gespeichert.

Wissensräume

Themen sauber getrennt

Verschiedene Bestände lassen sich in getrennten „Wissensräumen" verwalten (z. B. „IT-Tickets" und „Handbücher") und gezielt umschalten – so vermischen sich Themen bei der Suche nicht.

Dauerbetrieb

Als Windows-Dienst

Die Dienste können als echter Windows-Dienst laufen: automatischer Start beim Hochfahren (auch vor der Anmeldung) und Neustart nach einem Absturz – ideal für einen Server, der immer bereitsteht. Alternativ einfacher Autostart beim Anmelden.

Schnittstelle

Anbindung an andere Programme

Über eine eingebaute HTTP-API können andere Anwendungen Fragen stellen und Antworten zurückbekommen – die Schnittstelle lässt sich bei Bedarf per Schlüssel absichern.

Tempo

Blitz-Antworten per Antwort-Cache

Wiederkehrende Fragen werden sofort beantwortet: Fertige Antworten werden gemerkt und automatisch verworfen, sobald sich Daten, Modell oder Einstellungen ändern – veraltete Antworten sind ausgeschlossen.

CPU

Turbo-Suche für CPU-Systeme

Ein umschaltbares Such-Backend mit komprimierten (quantisierten) Modellen beschleunigt Suche und Einlesen auf reinen CPU-Rechnern deutlich – bei praktisch gleicher Trefferqualität.

Updates

Schnelle Daten-Updates

Beim erneuten Einlesen großer Bestände wird nur verarbeitet, was neu oder geändert ist – Aktualisierungen dauern Minuten statt Stunden. Der Import läuft im Hintergrund mit Fortschrittsanzeige weiter, auch wenn das Fenster geschlossen wird.

Modelle

Moderne Denk-Modelle im Griff

Auch aktuelle „Reasoning"-Sprachmodelle (z. B. Qwen 3.5) werden unterstützt – der Denkmodus lässt sich per Schalter steuern, damit Antworten schnell und sichtbar bleiben.

Neu in 1.8

Im Gespräch nachfragen

Die nächste Frage darf sich auf die vorige beziehen („Und bei Windows 10?“) – der Assistent sucht im Zusammenhang weiter, und das ganze Gespräch bleibt wie in einem Chat sichtbar.

Neu in 1.8

Suchqualität messbar

Antworten per Daumen bewerten, gute als Testfragen übernehmen und die Suche per Knopf nachmessen – der Messstab schlägt auch die passenden Relevanz-Schwellen vor.

Neu in 1.8

Fehlende Dokumente erkennen

Ein optionaler Bericht zeigt Fragen, zu denen nichts Passendes gefunden wurde – so sieht man, welche Unterlagen fehlen. Nur lokal gespeichert, mit Löschfrist.

Neu in 1.8

Automatisch einlesen und umziehen

Neue Dateien im Import-Ordner werden nach Zeitplan eingelesen; ganze Wissensräume lassen sich sichern und auf einen anderen Rechner übertragen – ohne Neu-Einlesen.

Neu in 1.8

Neues Aussehen, hell & dunkel

Aufgeräumte Oberfläche mit Seitenleiste und übersichtlichen Karten – wahlweise hell, dunkel oder automatisch passend zur Windows-Einstellung.

Für wen und wofür

Überall dort, wo Wissen in Dokumenten steckt und Daten den Rechner nicht verlassen dürfen.

IT-Servicedesk

„Hatten wir das schon mal?"

Frühere Tickets durchsuchen und Lösungsvorschläge erhalten, statt das Rad neu zu erfinden.

Wissensmanagement

Handbücher befragen

Richtlinien, Anleitungen und Handbücher direkt befragen, statt seitenweise zu blättern.

Einarbeitung

Neue Mitarbeiter

Finden Antworten selbstständig im internen Wissen – ohne ständig nachfragen zu müssen.

Recherche

Dokumentenrecherche

PDFs und Berichte gezielt nach Inhalten durchsuchen – nach Bedeutung, nicht nur nach Stichwort.

Besonders geeignet für Behörden und öffentliche Verwaltung, Unternehmen mit sensiblen Daten, IT-Abteilungen und kleine Teams ohne eigene KI-Infrastruktur.

So funktioniert es – in 3 Schritten

Alle Schritte laufen auf dem eigenen Rechner. Kein Internet nötig (außer einmalig zum Laden eines Sprachmodells).

1 · Dokumente einlesen

Das Tool zerlegt jede Datei in sinnvolle Abschnitte und speichert sie lokal in einer durchsuchbaren Form – einer Art „Bedeutungs-Landkarte".

2 · Frage stellen

Zu einer Frage sucht das Tool die passendsten Abschnitte – über Bedeutung und Stichwörter – und sortiert sie nach Relevanz.

3 · Antwort erhalten

Ein lokales KI-Sprachmodell fasst die Antwort aus genau diesen Abschnitten zusammen und nennt die Quelle.

Dieses Prinzip hat einen Fachbegriff: RAG – Retrieval-Augmented Generation („wissensgestützte Antworterzeugung"). Das Sprachmodell kennt deine Dokumente nicht und wird auch nicht damit trainiert – das Wissen bleibt ausschließlich in der lokalen Datenbank, und das Modell sieht pro Frage nur die herausgesuchten Auszüge. Deshalb sind neue Dokumente sofort nach dem Einlesen befragbar, ganz ohne Training – und nichts verlässt den Rechner.

Screenshot des SWX KI-Assistenten im dunklen Modus – Bewertungen der Antworten und Messstab für die Suchqualität
Die Verwaltung im dunklen Modus: Bewertungen der Antworten und Messstab für die Suchqualität.

OTRS-Anbindung (optional)

Wer ein OTRS-Ticketsystem einsetzt, bekommt eine praktische Direktanbindung: Findet die Suche ein passendes Ticket, genügt ein Doppelklick auf den Treffer – und das vollständige Original-Ticket öffnet sich direkt im OTRS im Browser. So springt man in Sekunden vom KI-Suchergebnis zum kompletten Vorgang mit allen Details und dem Verlauf.

Die Adresse des eigenen OTRS-Servers wird einmalig im Programm hinterlegt (Seite „Verwaltung → Verbindung"). Die Funktion ist optional und nur für OTRS-Nutzer relevant – alle anderen Inhalte (PDF, Word, Excel, Text …) funktionieren unabhängig davon.

Datenschutz & Sicherheit

Das wichtigste Versprechen: Deine Daten bleiben bei dir.

100 % lokal

Keine Cloud, keine Telemetrie

Suche und KI-Antworten laufen vollständig lokal – keine externen Server, keine Übermittlung im Hintergrund.

Datenhoheit

Daten verlassen den Rechner nicht

Ideal für personenbezogene oder vertrauliche Inhalte und für Umgebungen ganz ohne Internetzugang.

Kontrolle

Volle Kontrolle

Dokumente, Suchindex und Sprachmodell liegen ausschließlich beim Anwender – nichts wird ausgelagert.

Verwaltung

Made for Behörden

Entwickelt mit Blick auf strenge Anforderungen an Datensparsamkeit und Datenhoheit.

Technische Voraussetzungen

  • Betriebssystem: Windows 10/11 oder Windows Server
  • Hardware: normaler PC/Server, empfohlen ca. 8 CPU-Kerne und 16 GB RAM. Läuft rein auf der CPU – ein teurer Grafikkarten-Server ist nicht nötig.
  • Optional schneller: mit NVIDIA-Grafikkarte (CUDA) oder AMD-/Intel-GPU (Vulkan); das passende Beschleuniger-Paket lässt sich per Knopfdruck nachladen.
  • Internet: nur einmalig zum Herunterladen eines Sprachmodells nötig – danach vollständig offline betreibbar.

Lizenz & Kosten

  • Kostenlos für Privatpersonen und kleine Unternehmen – unter der PolyForm Small Business License 1.0.0: freie Nutzung, Kopie und Weitergabe für Privatpersonen, Vereine, Bildungseinrichtungen und Organisationen mit weniger als 100 Personen und unter 1 Mio. USD Jahresumsatz.
  • Erst ab dieser Größe lizenzpflichtig: Größere Unternehmen benötigen für die betriebliche Nutzung eine kostenpflichtige Lizenz (Anfragen über kreutzweb.de). Der vollständige Lizenztext liegt als LICENSE.txt bei.
  • Baut auf etablierter Open-Source-Software auf (u. a. llama.cpp, ChromaDB, sentence-transformers, FastAPI) – jeweils unter freien Lizenzen (MIT/Apache/BSD). Enthält Software von David Giffin (xlrd, für alte Excel-Dateien): „This product includes software developed by David Giffin <david@giffin.org>.“
  • Modelle nicht im Paket: Das KI-Sprachmodell wird bequem über das Programm heruntergeladen (auf einem PC mit Internet).

Einrichtung in Kürze

  1. Paket herunterladen und in einen Ordner entpacken.
  2. Programm starten – ein Einrichtungs-Assistent führt durch alle Schritte: Grundinstallation, Betriebsmodus, Anwendungsprofil, Sprachmodell, Start.
  3. Eigene Dokumente einlesen – fertig, Fragen stellen.

Keine tiefe Installation ins System, keine Administratorrechte für den Betrieb zwingend nötig – alles liegt in einem Ordner.

Häufige Fragen

Was ist eigentlich ein RAG-System?

RAG steht für Retrieval-Augmented Generation: Zu jeder Frage werden erst die passenden Stellen aus den eigenen Dokumenten herausgesucht (Retrieval), dann formuliert das Sprachmodell die Antwort ausschließlich daraus (Generation). Der SWX KI-Assistent ist genau das – ein vollwertiges, lokal laufendes RAG-System mit Bedeutungs- und Stichwortsuche, Präzisions-Nachsortierung (Reranker) und Quellenangabe.

Verlassen meine Daten den Rechner?

Nein. Suche und KI-Antworten laufen vollständig lokal. Es gibt keine Cloud-Anbindung und keine Telemetrie. Einzige Ausnahme ist der optionale Update-Hinweis: Er ruft höchstens einmal täglich eine kleine Versionsdatei von kreutzweb.de ab – ohne Inhalte oder Kennungen – und lässt sich abschalten (im Komplett-Paket ab Werk aus).

Brauche ich Internet?

Nur einmalig, um ein Sprachmodell herunterzuladen. Danach läuft alles offline – lediglich der optionale Update-Hinweis nutzt eine Internetverbindung, wenn vorhanden.

Brauche ich eine teure Grafikkarte?

Nein. Das Tool läuft auf einer normalen CPU. Eine GPU beschleunigt nur optional.

Welche Dateiformate kann ich einlesen?

PDF, Word (.docx), Excel (.xlsx und altes .xls), PowerPoint (.pptx), LibreOffice/OpenOffice (.odt, .ods, .odp), E-Mails (.eml und Outlook-.msg samt Anhängen), HTML, RTF, Text/CSV/Markdown und OTRS-Ticket-Exporte (JSON). Gescannte PDFs ohne Textebene und Bilddateien (PNG, JPG, TIFF) werden per Texterkennung (OCR) lesbar gemacht – lokal, ohne Cloud-Dienst. Alte Word- und PowerPoint-Dateien (.doc, .ppt) liest das Programm, wenn LibreOffice installiert ist.

Kann ich das Sprachmodell frei wählen?

Ja. Du kannst praktisch jedes beliebige lokale Sprachmodell einbinden und jederzeit wechseln. Größere Modelle liefern bessere Antworten, brauchen aber mehr Leistung – du entscheidest, was zu deiner Hardware passt.

In welchen Sprachen gibt es das Programm?

Die Bedienoberfläche lässt sich zwischen Deutsch und Englisch umschalten (unten in der Seitenleiste); die Auswahl bleibt gespeichert.

Kann ich unterschiedliche Themen getrennt halten?

Ja. Über Wissensräume lassen sich mehrere getrennte Datenbestände anlegen und gezielt umschalten – so vermischen sich z. B. IT-Tickets und Handbücher nicht.

Was kostet es?

Für Privatpersonen und kleine Unternehmen nichts: Es steht unter der PolyForm Small Business License – kostenlos bei weniger als 100 Personen und unter 1 Mio. USD Jahresumsatz. Größere Unternehmen benötigen für die betriebliche Nutzung eine kostenpflichtige Lizenz (Anfragen über kreutzweb.de).

Kann ich es im Team nutzen?

Ja. Es kann als kleiner Server im Netzwerk laufen, mehrere Arbeitsplätze greifen dann darauf zu.

Erfindet die KI Antworten?

Sie ist angewiesen, nur aus den gefundenen Dokumenten zu antworten und die Quelle zu nennen. Passt nichts, sagt sie das ehrlich.

Werden wiederholte Fragen schneller beantwortet?

Ja. Der Antwort-Cache merkt sich fertige Antworten – dieselbe Frage wird danach sofort beantwortet, ganz ohne Wartezeit. Ändern sich Daten, Modell oder Einstellungen, gelten alte Einträge automatisch nicht mehr; veraltete Antworten sind ausgeschlossen. Der Cache lässt sich im Admin abschalten oder leeren.

Ehrliche Grenzen

  • Es ist kein Cloud-Dienst und kein Allwissens-Chatbot: Es antwortet nur aus den eigenen, eingelesenen Dokumenten, nicht aus Allgemeinwissen.
  • Die Antwortqualität hängt vom gewählten Sprachmodell und von der Qualität der Dokumente ab. Größere Modelle antworten besser, brauchen aber mehr Leistung.
  • Auf reiner CPU sind Antworten nicht in Echtzeit, sondern brauchen je nach Modell einige Sekunden – wiederkehrende Fragen kommen dank Antwort-Cache allerdings sofort.
  • Bereitstellung „wie besehen" (as is), ohne Gewährleistung und ohne zugesicherten Support – es ist ein kostenloses Werkzeug.

Download

Version: 1.8.2  ·  System: Windows 10/11 / Server  ·  Signiert: Daniel Kreutz (Certum)

Neu in 1.8.2: Bei Rückfragen bleibt das bisherige Gespräch im Antwortfeld stehen – Fragen und Antworten untereinander wie in einem Chat; wer beim Lesen nach oben scrollt, wird nicht weggerissen. Die Oberfläche zeigt echte Umlaute. Korrigiert: Überlappung in der Seitenleiste bei kleinen Fenstern, überflüssiger Rollbalken in Listen.

Neu in 1.8.1: Setup-Programm für einzelne PCs – installiert ohne Administratorrechte, Updates und Deinstallation behalten Wissensdatenbank und Modelle, Daten einer bisherigen winget-Installation werden übernommen. Korrigiert: Das unter Verwaltung → Sicherheit geänderte Admin-Passwort wirkt jetzt (vorher blieb „admin“ gültig – bitte ggf. neu setzen); die Aktivierung der GPU-Suche brach ab; Umlaute im Installationspfad bei Windows-Dienst und Autostart.

Neu in 1.8.0: Rückfragen im Gespräch („Und bei Windows 10?“), Bewertung der Antworten per Daumen und ein Messstab für die Suchqualität, der auch die passenden Relevanz-Schwellen vorschlägt; optionaler Bericht über Wissenslücken. Die passende Stelle einer Quelle wird gelb markiert. Neue Formate: E-Mails (.eml/.msg samt Anhängen), PowerPoint, LibreOffice, HTML, RTF und altes Excel (.xls); alte .doc/.ppt mit installiertem LibreOffice. Import-Ordner automatisch einlesen, Wissensräume sichern und umziehen, optionaler Update-Hinweis. Neues Aussehen mit Seitenleiste, hell oder dunkel.

Es gibt ein Setup und zwei ZIP-Varianten – der Funktionsumfang ist identisch, sie unterscheiden sich nur darin, wie installiert wird und was schon im Paket steckt:

Setup – am einfachsten für einen einzelnen PC

Datei: KI-Assistent-Setup-1.8.2.exe  ·  Größe: ca. 82 MB

Installiert das Programm ohne Administratorrechte für den angemeldeten Benutzer, mit Startmenü-Eintrag. Für ein Update einfach das neue Setup ausführen – Wissensdatenbank, Modelle und Einstellungen bleiben erhalten. Die KI-Modelle lädt das Programm beim ersten Start nach (einmalig einige GB, Internet nötig).

Setup herunterladen (ca. 82 MB)

SHA256: adc5967eed89dae929f8069da1d37295feb79adb54a75ed950c6cb0c27f4b476

Oder per winget (Windows-Paketmanager, installiert dieses Setup): winget install ki-assistent – Updates später mit winget upgrade ki-assistent.
Umstieg von der winget-Version 1.7.0/1.8.0: Diese Versionen waren ein Portable-Paket, das winget nicht auf das Setup aktualisiert. Bitte nicht zuerst deinstallieren – das löscht die Daten –, sondern das Setup von dieser Seite ausführen: Es übernimmt Wissensdatenbank, Modelle und KI-Einstellungen. Danach die alte Version mit winget uninstall ki-assistent --version 1.8.0 (bzw. 1.7.0) entfernen. Spätere Updates dann über das Setup von dieser Seite – der Update-Hinweis im Programm meldet neue Versionen.

Kompakt-ZIP – zum Entpacken, für PCs mit Internet

Datei: KI-Bundle-Lite.zip  ·  Größe: ca. 111 MB

Schneller Download. Die KI-Modelle lädt das Programm beim ersten Start automatisch nach (einmalig einige GB, Internet nötig). Danach läuft alles lokal und offline.

KI-Bundle-Lite.zip herunterladen (ca. 111 MB)

SHA256: 47e23ee88578e8cc90c4a7ccea2dc209dc0a20b24697aa7b13427946b7d44177

Komplett – für Rechner ohne Internetzugang

Datei: KI-Bundle.zip  ·  Größe: ca. 3,7 GB

Enthält alle KI-Modelle und Programmbibliotheken. Für abgeschottete Netze und Behördenumgebungen: nach dem Setup ist kein Internetzugang mehr nötig – auch nicht beim ersten Start.

KI-Bundle.zip herunterladen (ca. 3,7 GB)

SHA256: aee73ba0c0545b29a70b46a35bf6b327276afd8ed1686a690d30ae096dfce696

Sicherheit & Nachprüfbarkeit

Die Programmdateien sind mit einem Zertifikat auf Daniel Kreutz digital signiert (Certum) – Windows zeigt den Herausgeber beim Start an. Unabhängig geprüft bei VirusTotal:

Hinweis für Prüfer: Das Paket enthält die Bibliotheken des Open-Source-Projekts llama.cpp im Originalzustand. Diese sind herstellerseitig nicht signiert – einzelne Scanner stufen unsignierte Bibliotheken pauschal als auffällig ein. Zusätzlich startet das Programm bewusst lokale Hintergrunddienste und kann Modelle nachladen; auch das lösen manche Prüfprogramme aus. Mit den SHA256-Prüfsummen oben lässt sich jederzeit nachweisen, dass die heruntergeladene Datei unverändert ist.

Installation: Setup ausführen – oder ZIP herunterladen, in einen beliebigen Ordner entpacken und die Datei KI-Assistent.exe ausführen. Keine Installation tief ins System nötig.

Die Programmdateien sind mit einem Zertifikat auf Daniel Kreutz digital signiert; Windows zeigt den Herausgeber beim Start an. Mit den SHA256-Prüfsummen lässt sich der Download zusätzlich überprüfen (in der Eingabeaufforderung: certutil -hashfile KI-Bundle-Lite.zip SHA256). Kostenlos für Privatpersonen und kleine Unternehmen (PolyForm Small Business License), Bereitstellung „wie besehen" ohne Gewähr.

Vertiefende Artikel:

← Zurück zu allen Downloads