AnythingLLM: Eigener ChatGPT-Ersatz mit Firmendokumenten – komplett offline. Einrichtung, Hardware und wann sich das für kleine Firmen lohnt

01 / Was es ist

Was AnythingLLM ist und was es von Ollama unterscheidet.

t3n hat AnythingLLM am 28. Oktober im Praxistest als „Allrounder für den lokalen KI-Einsatz“ beschrieben, mit agentischen Fähigkeiten, Websuche und integriertem Wissensspeicher [1]. Der Hersteller Mintplex Labs nennt es einen privaten KI-Assistenten, der komplett auf deinem Rechner läuft, ohne Konto, ohne API-Schlüssel und ohne Token-Limits [2]. Aktuell ist Version 1.19.0 vom 26. Oktober 2026 [13]; das Projekt steht unter MIT-Lizenz und hat auf GitHub knapp 68.000 Sterne [12].

Wichtig für die Einordnung: AnythingLLM ist kein Sprachmodell, sondern die Oberfläche drumherum. In meinem Beitrag Lokale KI auf dem Mac ging es um Werkzeuge wie Ollama und LM Studio, die ein Modell auf deinen Rechner holen, und um die passende Mac-Ausstattung. AnythingLLM setzt eine Ebene höher an: Es verwaltet Dokumente, sortiert sie in Arbeitsbereiche und gibt dem Modell genau die Textstellen, die zu deiner Frage passen.

Ein Modell bringt die App inzwischen selbst mit: Seit Version 1.18.0 läuft die eingebaute Engine nicht mehr auf Ollama, sondern auf Lemonade von AMD mit llama.cpp [14][15]. Ein vorhandenes Ollama lässt sich weiter anbinden, standardmäßig über http://127.0.0.1:11434 [20][15]. Auch Cloud-Anbieter wie OpenAI sind per API-Schlüssel möglich [4], dann verlassen deine Eingaben aber den Rechner.

02 / Funktionen

Was AnythingLLM mit Angeboten, Verträgen und Kundenakten kann.

Der Kern ist das Arbeiten mit eigenen Dokumenten. Dafür gibt es zwei Wege, die du kennen solltest, weil sie unterschiedlich gute Antworten liefern:

• Anhängen im Chat: Du ziehst eine Datei ins Chatfenster, und AnythingLLM gibt den vollständigen Text an das Modell weiter. Das gilt nur für diesen einen Chatverlauf [7]. Für ein einzelnes Angebot oder einen Vertrag ist das der genauere Weg, solange das Dokument in das Kontextfenster des Modells passt [7].
• Einbetten in einen Arbeitsbereich (RAG): Die Dokumente werden in Abschnitte zerlegt und in einer lokalen Vektordatenbank gespeichert. Bei jeder Frage sucht die App die passendsten Abschnitte heraus, laut Doku meist 4 bis 6, und gibt nur diese an das Modell [8][7]. So kannst du hunderte Dokumente durchsuchen, das Modell sieht aber nie alles auf einmal.

Arbeitsbereiche (Workspaces) sind die eigentliche Ordnung im System. Das Modell sieht nur die Dokumente, die in den jeweiligen Arbeitsbereich eingebettet sind [8]. Für eine kleine Firma bietet sich an, getrennte Bereiche anzulegen, etwa „Angebote 2026“, „Rahmenverträge“ und „Arbeitsanweisungen“ (Einschätzung). Dann landet die Frage nach Zahlungszielen nicht versehentlich in Personalunterlagen.

Dazu kommen Agenten, also Modelle, die Werkzeuge benutzen dürfen, etwa Dokumentensuche, Zusammenfassen oder Websuche; eigene Werkzeuge lassen sich per MCP ergänzen [9][4]. Seit Version 1.19.0 können Agenten erzeugte Word-, PDF- oder Excel-Dateien in einen Ordner speichern, jede Speicherung bestätigst du [13]. Ein Meeting-Assistent transkribiert Besprechungen auf dem eigenen Rechner [2][13], mehr dazu in Meeting-Protokoll mit KI auf dem Mac.

03 / Desktop, Docker, Cloud

Desktop-App, Docker oder Cloud: Welche Variante zu deiner Firma passt.

AnythingLLM gibt es in drei Formen, die Wahl entscheidet über die Teamgröße:

• Desktop-App: Kostenlos, ein Klick zur Installation, alles bleibt auf dem Gerät [3][4]. Der Hersteller nennt sie ausdrücklich eine „Single-Player“-Anwendung: keine Benutzerverwaltung, kein Passwortschutz, keine Rechte pro Arbeitsbereich [4]. Für eine Person mit eigenen Unterlagen ist das der einfachste Start.
• Docker (selbst gehostet): Ebenfalls kostenlos und quelloffen, läuft als Server im Büronetz oder auf einem eigenen Server. Nur diese Variante hat mehrere Benutzer, Passwortschutz, Rechte für Arbeitsbereiche und Dokumente sowie eine Oberfläche im Browser [4]. Ohne lokales Modell reichen laut Doku 2 GB Arbeitsspeicher, 2 Prozessorkerne und 5 GB Speicher [6].
• AnythingLLM Cloud: Eine private Instanz beim Hersteller für 50 $ (Basic) oder 99 $ (Pro) im Monat, Enterprise mit SSO und Installation vor Ort auf Anfrage [17]. Ein Sprachmodell bringst du dort per API-Schlüssel selbst mit [17]. Mit „komplett offline“ hat das nichts mehr zu tun.

Eine Falle bei der Desktop-App: Unter Einstellungen › Admin › Allgemein gibt es die Option „Enable network discovery“. Sie gibt nur die Programmierschnittstelle im Netzwerk frei, nicht die Oberfläche, und sie ist kein Weg, eine Installation mit Kolleginnen zu teilen [4]. Der Hersteller warnt ausdrücklich davor, die Desktop-App ins Internet zu stellen, weil davor keine Anmeldung liegt [4]. Für ein Team ist Docker der vorgesehene Weg.

Das kostenpflichtige „Pro“ der Desktop-App hebt nur Tageslimits systemweiter Zusatzfunktionen wie Diktat auf; Dokumenten-Chat und Agenten bleiben kostenlos [18].

04 / Hardware

Welcher Mac oder PC reicht.

Die App selbst ist laut Hersteller sehr schlank. Den Hardwarebedarf bestimmt fast allein das Sprachmodell, wenn es auf demselben Rechner läuft [5]. Für eine „grundlegende“ lokale Nutzung nennt die Doku diese Werte [5]:

• Arbeitsspeicher: 16 GB
• Prozessor: beliebiger 8-Kern-Prozessor
• Mac: jeder Mac mit M-Chip schafft lokale Modelle ohne Zusatzhardware; Intel-Macs sind langsamer, vor allem durch den Arbeitsspeicher begrenzt
• Windows-PC: eine Grafikkarte wird empfohlen, 8 bis 12 GB Grafikspeicher oder mehr nennt der Hersteller „great“
• Festplatte: abhängig von der Größe der heruntergeladenen Modelle

Für den Mac gibt es zwei Installationsdateien, eine für Apple Silicon und eine für Intel; die Doku weist darauf hin, dass M-Chips lokale Modelle deutlich schneller ausführen [3][4]. Welche Speicherausstattung bei Mac mini und Mac Studio für welche Modellgröße sinnvoll ist, habe ich in Lokale KI auf dem Mac ausführlich beschrieben, das wiederhole ich hier nicht.

Meine Einschätzung: Mit einem vorhandenen Mac mit M-Chip und 16 GB kannst du sinnvoll testen, für den Alltag mit besseren Modellen würde ich 32 GB oder mehr einplanen. Für ein Team passt eher ein eigener Rechner mit Docker. Das Modell darf dabei auch auf einem anderen Gerät mit starker Grafikeinheit laufen, das empfiehlt die Doku selbst [5].

05 / Wirklich offline

So wird AnythingLLM wirklich offline.

Laut Datenschutzerklärung der Desktop-App verlassen Nachrichten, Chatverläufe und Dokumente nie deinen Rechner [11]. Gespeichert wird auf dem Mac im Ordner ~/Library/Application Support/anythingllm-desktop/storage, inklusive Vektordatenbank, Modellen und Logdateien [19]. Trotzdem gibt es in der Standardeinstellung Verbindungen nach außen, die du für sensible Daten abschalten solltest:

1. Telemetrie: AnythingLLM sendet anonyme Nutzungsdaten an den Dienst PostHog, etwa die Art der Installation, den genutzten Modellanbieter und dass ein Chat gesendet oder ein Dokument hinzugefügt wurde, laut Hersteller ohne Inhalte und ohne IP-Adresse [12][11]. Abschalten kannst du das in der App über den Bereich „Privacy“ in der Seitenleiste, bei Docker mit DISABLE_TELEMETRY="true" in der .env-Datei [12][10].
2. Websuche: Seit September 2026 ist die Websuche über You.com standardmäßig aktiv, auch nach einem Update ohne eigenen Suchanbieter [16]. You.com speichert die Anfragen laut Hersteller nicht [16], sie verlassen aber trotzdem dein Büro (Einschätzung). Für Arbeitsbereiche mit Kundenakten würde ich sie ausschalten.
3. Modell-Downloads und Cloud-Anbieter: Auch mit abgeschalteter Telemetrie lädt die App Modelle von einem eigenen CDN und Dateien von GitHub; wer einen Cloud-Anbieter einbindet, schickt die Eingaben dorthin [12]. Nach dem Einrichten kann die Desktop-App laut Hersteller komplett offline laufen [11].

Noch ein Punkt für die DSGVO: Entfernst du ein Dokument nur aus einem Arbeitsbereich, bleiben Text und Vektoren in „My Documents“ liegen; vollständig gelöscht ist es erst dort [10]. Zugriffsrechte, Verschlüsselung und Datensicherung bleiben auch lokal deine Aufgabe (Einschätzung, keine Rechtsberatung). Was in eine interne Regel gehört, steht in KI-Richtlinie im Unternehmen.

06 / Grenzen

Wo AnythingLLM gegenüber ChatGPT Business an Grenzen stößt.

Der größte Unterschied ist die Qualität der Antworten: AnythingLLM ist nur so gut wie das angebundene Modell, und lokale Modelle sind meist kleiner als die aktuellen ChatGPT-Modelle (Einschätzung). Dazu kommt eine Eigenheit von RAG, die der Hersteller offen beschreibt: Das Modell sieht nur die gefundenen Abschnitte, nie die ganze Sammlung [8]. Fragen wie „Welche drei Angebote aus diesem Jahr hatten den höchsten Rabatt?“ scheitern deshalb oft, weil sie einen Überblick über alle Dateien verlangen (Einschätzung, abgeleitet aus dem Rezept-Beispiel der Doku [8]).

ChatGPT Business hat seinerseits Datenschutz-Zusagen. OpenAI schreibt, dass Daten aus Business, Enterprise und der API standardmäßig nicht zum Training genutzt werden, verschlüsselt gespeichert und übertragen werden und SOC-2-geprüft sind [21]. Datenresidenz in Europa bietet OpenAI berechtigten Kunden an [21]; in meinem Vergleich ChatGPT, Claude oder Gemini für Teams steht, für welche Tarife das gilt. Die Daten liegen dort trotzdem bei einem US-Anbieter. Welche Einstellungen du in ChatGPT selbst setzen solltest, habe ich in ChatGPT und Datenschutz zusammengefasst.

Meine Einordnung: AnythingLLM lohnt sich, wenn es um Unterlagen geht, die du ungern in der Cloud siehst, etwa Angebote mit Kalkulationen, Verträge oder Kundenakten, und die Fragen konkret sind („Welche Kündigungsfrist steht im Vertrag mit Firma X?“). Für Recherche und anspruchsvolle Texte bleibt ein Cloud-Dienst meist besser. Realistisch ist ein Nebeneinander: sensible Dokumente lokal, der Rest in ChatGPT oder einem vergleichbaren Dienst.

07 / Vorgehen

So würde ich den Test in einer kleinen Firma aufsetzen.

Installiere die Desktop-App auf einem vorhandenen Mac mit M-Chip, lass dir beim ersten Start ein Modell empfehlen und schalte Telemetrie und Websuche ab. Lege dann einen einzigen Arbeitsbereich an, etwa mit 20 bis 30 abgeschlossenen Angeboten oder Verträgen, und stell zwei Wochen lang die Fragen, die im Alltag wirklich vorkommen (Einschätzung).

Notiere, welche Antworten stimmen und wo das Modell danebenliegt. Bei schwachen Treffern empfiehlt die Doku die Suchoption „Accuracy Optimized“ und notfalls das Anheften wichtiger Dokumente, damit ihr ganzer Text einfließt [7]. Erst wenn der Nutzen klar ist, lohnt der Gedanke an Docker fürs Team oder mehr Arbeitsspeicher.

FAQ

Häufige Fragen zu AnythingLLM.

Ist AnythingLLM kostenlos?

Die Desktop-App und die selbst gehostete Docker-Version sind kostenlos und stehen unter MIT-Lizenz [12][17]. Kosten entstehen nur für die gehostete Cloud-Version (ab 50 $ im Monat), für das optionale Pro der Desktop-App und für Cloud-Modelle, falls du welche anbindest [17][18].

Brauche ich zusätzlich Ollama?

Nein. Die Desktop-App bringt seit Version 1.18.0 eine eigene Engine auf Basis von llama.cpp mit [14]. Ein bestehender Ollama-Server lässt sich weiterhin anbinden [15][20].

Können mehrere Mitarbeitende eine Installation nutzen?

Mit der Desktop-App nicht, sie hat keine Benutzerverwaltung. Für mehrere Benutzer mit Rechten pro Arbeitsbereich ist die Docker-Version vorgesehen [4].

Quellen

Quellen

1. t3n (Kim Rixecker): „Anything LLM im Praxistest: So baust du dir deinen eigenen ChatGPT-Ersatz – komplett offline“, 28. Oktober 2026 (t3n Plus) – t3n.de · abgerufen 29.10.2026.
2. AnythingLLM: Startseite „Own your intelligence“ – anythingllm.com · abgerufen 29.10.2026.
3. AnythingLLM: „Desktop App“ – anythingllm.com · abgerufen 29.10.2026.
4. AnythingLLM Docs: „Installation Overview“ (Docker vs Desktop), Stand 26. Oktober 2026 – docs.anythingllm.com · abgerufen 29.10.2026.
5. AnythingLLM Docs: „System Requirements“ (Desktop) – docs.anythingllm.com · abgerufen 29.10.2026.
6. AnythingLLM Docs: „System Requirements“ (Self-hosted) – docs.anythingllm.com · abgerufen 29.10.2026.
7. AnythingLLM Docs: „Attaching vs RAG“ – docs.anythingllm.com · abgerufen 29.10.2026.
8. AnythingLLM Docs: „RAG in AnythingLLM“ – docs.anythingllm.com · abgerufen 29.10.2026.
9. AnythingLLM Docs: „AI Agents“ – docs.anythingllm.com · abgerufen 29.10.2026.
10. AnythingLLM Docs: „Privacy & Data Handling“ – docs.anythingllm.com · abgerufen 29.10.2026.
11. AnythingLLM Docs: „AnythingLLM Desktop App Privacy Policy“ – docs.anythingllm.com · abgerufen 29.10.2026.
12. Mintplex Labs: „anything-llm“ (README, Abschnitt Telemetry & Privacy, MIT-Lizenz) – github.com · abgerufen 29.10.2026.
13. Mintplex Labs: „AnythingLLM v1.19.0“, 26. Oktober 2026 – github.com; Changelog: docs.anythingllm.com · abgerufen 29.10.2026.
14. AnythingLLM Docs: „Desktop Changelog v1.18.0“ – docs.anythingllm.com · abgerufen 29.10.2026.
15. AnythingLLM Blog: „Why AnythingLLM is moving from Ollama to Lemonade and llama.cpp“, Oktober 2026 – anythingllm.com · abgerufen 29.10.2026.
16. AnythingLLM Blog: „AnythingLLM and You.com bring real-time web search to everyone“, September 2026 – anythingllm.com · abgerufen 29.10.2026.
17. AnythingLLM: „Pricing“ (Cloud) – anythingllm.com · abgerufen 29.10.2026.
18. AnythingLLM Docs: „Why AnythingLLM Pro?“ – docs.anythingllm.com · abgerufen 29.10.2026.
19. AnythingLLM Docs: „Where is my data stored?“ – docs.anythingllm.com · abgerufen 29.10.2026.
20. AnythingLLM Docs: „Ollama LLM“ – docs.anythingllm.com · abgerufen 29.10.2026.
21. OpenAI: „Enterprise privacy at OpenAI“ (Business data) – openai.com · abgerufen 29.10.2026.

Alle Quellen am 29. Oktober 2026 abgerufen. Der t3n-Test ist ein Plus-Artikel; zitiert wird nur der frei lesbare Teil. Aussagen ohne belastbare Quelle sind im Text als Einschätzung gekennzeichnet; die Ziffern in eckigen Klammern verweisen auf die Nummern dieser Liste.