Private KI vs. Cloud-KI im Mittelstand

Ihre Rechtsabteilung hat den Auftragsverarbeitungsvertrag abgezeichnet. Haken dran. Dann hat jemand die Aufbewahrungsregeln tatsächlich gelesen — und die Frage gestellt, die im Raum niemand beantworten konnte: Wie lange liegen unsere Eingaben eigentlich beim Anbieter, und wo?

Die Antwort steht in der Dokumentation, und sie ist präziser, als die meisten Vergleichsartikel zugeben. OpenAI schreibt zu seiner API wörtlich: "By default, abuse monitoring logs are generated for all API feature usage and retained for up to 30 days, unless longer retention is required by law, or is reasonably necessary to protect our services or any third party from harm" (OpenAI, Your data, gelesen am 13.08.2026). Dreißig Tage Missbrauchsprotokolle sind kein Skandal. Sie sind eine Voreinstellung, die man kennen muss, bevor man Mandantenakten hineingibt.

Ist private KI besser als Cloud-KI für den Mittelstand?

Private KI ist nicht pauschal besser, denn die EU-Region eines Cloud-Anbieters reicht, wenn Sie einen Anwendungsfall validieren und keine berufsrechtlich geschützten Daten verarbeiten. Eigene oder dedizierte Infrastruktur rechnet sich, wenn Mandanten-, Personal- oder Finanzdaten, mehrere Bereiche in einem System und wachsende Nutzung zusammenkommen, und genau dort baut AILoopwise die meisten Systeme: in Ihren eigenen Systemen und Konten, je Projekt festgelegt.

Was sich 2026 geändert hat — und warum das gegen uns spricht

Der übliche Aufhänger für private KI lautet: Ihre Daten verlassen die EU. Dieser Satz war lange richtig. Er ist es in dieser Pauschalität nicht mehr, und ein Anbieter, der Ihnen das verschweigt, verkauft Ihnen eine veraltete Angst.

Dieselbe Dokumentationsseite nennt als verfügbare Regionen die Vereinigten Staaten und Europa (EWR + Schweiz). Die Bedingung steht direkt daneben, wörtlich: "To use data residency with any region other than the United States, you must be approved for abuse monitoring controls, and execute a Modified Retention amendment" (ebd., gelesen am 13.08.2026). Wer die Freigabe erhält und den Nachtrag unterzeichnet, bekommt europäische Datenhaltung von einem amerikanischen Anbieter.

Das ist eine echte Verbesserung, und sie verkleinert den Abstand. Die ehrliche Konsequenz für diesen Vergleich: Datenresidenz allein ist kein Argument mehr für eigene Infrastruktur. Wenn Ihr einziges Ziel ist, dass Daten im EWR ruhen, ist der Weg über eine EU-Region des Anbieters der schnellere und billigere.

Drei Fragen, die die EU-Region nicht beantwortet

Erstens: Wer entscheidet über die Aufbewahrung? Eine Region ist ein Speicherort. Die Voreinstellung von 30 Tagen bleibt eine Voreinstellung des Anbieters, und sie ändert sich, wenn er sie ändert. Der Nachtrag, der sie verschiebt, ist ein Vertrag mit einer Partei, die eigene Gründe hat, Protokolle zu führen. Das ist kein Vorwurf — es ist eine Zuständigkeitsfrage, und die Antwort lautet: nicht Sie.

Zweitens: Wo liegt die Trennung zwischen den Bereichen? Dazu unten mehr, weil es der Punkt ist, den Vergleichsartikel regelmäßig auslassen.

Drittens: Was kostet es in achtzehn Monaten? Ein Preis pro Token ist keine Kostenstruktur, sondern eine Funktion Ihrer Nutzung. Er steigt genau dann, wenn das System endlich benutzt wird — also im Erfolgsfall. Das ist die unangenehmste Eigenschaft nutzungsabhängiger Preise: Sie bestrafen Adoption, und Sie merken es erst, wenn die Fachabteilung das Werkzeug liebgewonnen hat.

Eigene Hardware verhält sich umgekehrt. Ein GPU-Server bei Hetzner in Falkenstein kostet, was er kostet: Hetzner nennt für den GEX44 in der eigenen Pressemitteilung "€ 184.00 a month and a one-time setup fee of € 79.00" (Hetzner, 04.03.2024, gelesen am 13.08.2026) — NVIDIA RTX 4000 SFF Ada mit 20 GB, Intel Core i5-13500, 64 GB RAM. Größere Konfigurationen kosten ein Vielfaches, und die aktuellen Konfigurator-Preise haben wir hier nicht geprüft; die Zahl steht als Größenordnung, nicht als Angebot. Entscheidend ist nicht der Betrag, sondern dass er im Januar derselbe ist wie im Juni.

Gehostetes Produkt oder ein System in Ihrer eigenen Infrastruktur

Vergleiche stellen die Frage als „Cloud oder privat". Die Entscheidung, die ein Mittelständler tatsächlich trifft, ist eine andere: ein gehostetes KI-Produkt abonnieren oder ein System in die Werkzeuge und die Infrastruktur bauen lassen, die Sie bereits betreiben. Beides kann DSGVO-konform sein. Der Unterschied liegt darin, wo die Trennung zwischen Bereichen, Mandanten und Anbietern sitzt.

Wenn Personalabteilung, Buchhaltung und Rechtsabteilung dieselbe Wissensdatenbank befragen — was verhindert, dass eine Personalfrage einen Vertragsentwurf aus einem anderen Bestand hervorholt? Bei einem gehosteten Produkt ist die Antwort der Aufbau des Anbieters: Sie lesen seine Dokumentation, seine Zertifikate und seinen Vertrag und vertrauen dem Teil, den Sie nicht sehen. Das ist eine legitime Wahl, und für viele Teams die richtige.

Bei einem System in Ihrer eigenen Infrastruktur sitzt die Trennung dort, wo Sie ohnehin verwalten — in Ihren Konten, Ihren Zugriffsrechten, Ihren Protokollen —, und Ihre Datenschutzbeauftragte prüft sie mit denselben Mitteln wie den Rest Ihrer IT. So arbeitet AILoopwise: Wo jeder Teil des Systems läuft und wer auf die Daten zugreifen kann, legen wir je Projekt mit Ihnen fest – in der Regel in Ihren eigenen Systemen und Konten. Ein Schritt bleibt auch dann vertraglich geregelt: Nutzt ein Projekt Claude über die API von Anthropic, läuft der Modellaufruf bei Anthropic, ohne Zusicherung, dass er in der EU stattfindet, und für diesen Schritt gilt der Vertrag, nicht Ihre eigene Infrastruktur.

Für Berufsgeheimnisträger ist das keine Feinheit, sondern der Kern. § 62a StBerG verlangt vier Dinge kumulativ, und ein fünftes, sobald der Dienstleister im Ausland arbeitet, und ein Auftragsverarbeitungsvertrag deckt keines davon vollständig ab: Zugang nur, "soweit dies für die Inanspruchnahme der Dienstleistung erforderlich ist" (Abs. 1); die Pflicht, den Dienstleister "sorgfältig auszuwählen", und die Zusammenarbeit "unverzüglich" zu beenden, wenn die Voraussetzungen entfallen (Abs. 2); einen Vertrag in Textform, der den Dienstleister zur Verschwiegenheit verpflichtet — "unter Belehrung über die strafrechtlichen Folgen einer Pflichtverletzung" (Abs. 3); und bei mandatsbezogenen Diensten die Einwilligung des Mandanten (Abs. 5), ohne dass die Pflichten aus Abs. 2 und 3 dadurch entfallen (Abs. 6); bei Leistungen im Ausland zusätzlich einen dem Inland vergleichbaren Schutz der Geheimnisse (Abs. 4) (§ 62a StBerG, gesetze-im-internet.de).

Das Bemerkenswerte an dieser Norm: Sie stammt vom 9. November 2017 und wurde seither nicht geändert. Sie erwähnt künstliche Intelligenz mit keinem Wort — und musste es nie. Ihr Prüfmaßstab war immer, ob ein Dritter Zugang zu fremden Geheimnissen erhält und ob er verpflichtet ist. Ein Sprachmodell ist genau dieser Dritte.

Häufige Fragen

Ist private KI konkret besser als Cloud-KI für den Mittelstand?

Nicht pauschal. Die EU-Region eines Cloud-Anbieters reicht für die Validierung ohne berufsrechtlich geschützte Daten; eigene oder dedizierte Infrastruktur lohnt sich, wenn geschützte Daten, mehrere Bereiche in einem System und wachsende Nutzung zusammenkommen.

Wie lange bewahrt die OpenAI-API Eingaben auf?

Laut OpenAI werden Missbrauchsprotokolle standardmäßig bis zu 30 Tage aufbewahrt, sofern keine längere Aufbewahrung rechtlich erforderlich ist. Europäische Datenhaltung setzt eine Freigabe und ein Modified Retention Amendment voraus.

Reicht eine EU-Region für Steuerberater und andere Berufsgeheimnisträger?

Eine Region regelt den Speicherort, nicht die Pflichten aus § 62a StBerG: Erforderlichkeit, sorgfältige Auswahl, Verschwiegenheitsverpflichtung in Textform, bei Leistungen im Ausland ein vergleichbarer Schutz und bei mandatsbezogenen Diensten die Einwilligung des Mandanten.

Was kostet eigene KI-Infrastruktur?

Einen festen Monatspreis statt eines Tokenpreises. Hetzner nannte für den GPU-Server GEX44 € 184 im Monat plus € 79 einmalig (https://www.hetzner.com/pressroom/new-gpu-server/); größere Konfigurationen kosten ein Vielfaches, die Zahl ist eine Größenordnung.

Welche Variante zu Ihnen passt

Die EU-Region eines Cloud-Anbieters ist die richtige Wahl, wenn Sie einen Anwendungsfall validieren, wenn keine berufsrechtlich geschützten Daten im Spiel sind, und wenn Ihre Nutzung überschaubar bleibt. Sie ist schnell, sie ist gut, und sie ist inzwischen datenschutzrechtlich ernstzunehmen.

Eigene oder dedizierte Infrastruktur rechnet sich, wenn drei Dinge zusammenkommen: Sie verarbeiten Mandanten-, Personal- oder Finanzdaten; mehrere Bereiche oder Mandanten teilen sich ein System; und die Nutzung wächst so, dass ein Tokenpreis zur laufenden Unbekannten wird. Wo jeder Teil des Systems läuft und wer auf die Daten zugreifen kann, legen wir je Projekt mit Ihnen fest – in der Regel in Ihren eigenen Systemen und Konten. Der Modellaufruf selbst läuft mit Claude bei Anthropic — eine pauschale Aussage über den Speicherort ist genau die Art von Zusage, die später niemand halten kann.

Dazwischen liegt ein Mittelweg, den man selten empfohlen bekommt, weil er niemandem eine Marge bringt: ein europäisch gehostetes verwaltetes Modell. Sie behalten den Tokenpreis, die Daten bleiben in Europa, und Sie betreiben keine eigenen GPUs. Für viele Häuser ist das für die ersten zwölf Monate die vernünftigste Antwort.

Wenn Sie hier nichts wiedererkannt haben, brauchen Sie wahrscheinlich keines von beidem. Das ist ein zulässiges Ergebnis, und wir sagen es Ihnen lieber vorher.

---

Wir zeigen Ihnen das System an Ihren eigenen Unterlagen — Antworten auf Deutsch, Kosten als Zahl, die in einen Haushaltsplan passt. Termin über 30 Minuten buchen, ohne Folien.

Claude and Anthropic are trademarks of Anthropic, PBC. AILoopwise is an independent AI implementation company; the use of these names does not imply endorsement by Anthropic.