Der deutsche Mittelstand und die öffentliche Verwaltung stehen unter doppeltem Druck: Einerseits sollen KI-Werkzeuge Effizienz heben und dem wachsenden Fachkräftemangel begegnen. Andererseits darf die Kontrolle über sensible Daten nicht verloren gehen. Die Frage, ob Sie KI in der Cloud, lokal oder hybrid betreiben, ist deshalb keine reine IT-Detailfrage – sie ist die strategische Weichenstellung.
Die Dringlichkeit lässt sich beziffern. Laut Bitkom stieg die KI-Nutzung in deutschen Unternehmen von 20 Prozent (2024) auf 36 Prozent (2025). Parallel verschärft sich der Personalmangel: Mehr als 1,25 Millionen Beschäftigte des öffentlichen Dienstes gehen nach Angaben von Destatis und dbb in den kommenden rund zehn Jahren in den Ruhestand; bereits 2022 war mehr als ein Viertel der Beschäftigten über 55 Jahre alt. McKinsey geht davon aus, dass generative KI die Personal- und Fachkräftelücke im öffentlichen Dienst „um bis zu ein Drittel" senken kann.
Die Effizienzchance trifft also auf einen realen Engpass. Gleichzeitig zeigt sich eine Governance-Lücke: Viele Organisationen nutzen KI bereits, doch nur 23 Prozent haben überhaupt Regeln für die Nutzung von KI-Tools aufgestellt (Vorjahr: 15 Prozent), und 43 Prozent bieten kein KI-Schulungsangebot an. Wer in dieser Situation die Betriebsmodell-Frage nicht bewusst beantwortet, überlässt sie dem Zufall – und damit dem Risiko.
Quelle: Bitkom, 2025
Die Wahl zwischen Cloud, lokalem Betrieb und Hybrid entscheidet darüber, wer am Ende die Kontrolle über Ihre Daten hat – Sie oder Ihr Anbieter.
Die drei Betriebsmodelle im Überblick
Bevor wir vergleichen, ein gemeinsames Verständnis. Im Kern stehen drei Wege zur Verfügung, eine generative KI im Unternehmen oder in der Verwaltung zu betreiben.
1. Cloud-KI (API / SaaS)
Sie greifen über eine Schnittstelle oder eine fertige Anwendung auf die Modelle eines externen Anbieters zu. Die Rechenleistung liegt beim Anbieter – Cloud-Flaggschiffe wie GPT, Claude oder Gemini. Der Reiz: höchste Leistung, sofort verfügbar, ohne eigene Hardware.
2. Lokale KI (On-Premises)
Sie betreiben ein Modell auf eigener oder dediziert gemieteter Infrastruktur – im eigenen Rechenzentrum oder auf kontrollierten Servern. Möglich machen das Open-Weight-Modelle wie Llama, Mistral, DeepSeek oder Qwen. Die Daten verlassen Ihre kontrollierte Umgebung nicht.
3. Hybrid
Sie kombinieren beide Ansätze nach Schutzbedarf: Unkritische Aufgaben laufen über leistungsstarke Cloud-Modelle, sensible Vorgänge bleiben lokal oder auf europäisch gehosteter Infrastruktur. Der Hybrid-Weg verbindet das Beste aus beiden Welten.
Vergleich: Lokal · Cloud · Hybrid
Die folgende Übersicht stellt die drei Modelle entlang der wichtigsten Entscheidungskriterien gegenüber. Sie ist bewusst qualitativ gehalten – die konkrete Ausprägung hängt immer von Ihrem Anwendungsfall, Ihrem Schutzbedarf und Ihrer bestehenden IT-Landschaft ab.
| Kriterium | Lokal | Cloud | Hybrid |
|---|---|---|---|
| Datenschutz & IT-Sicherheit | Volle Datenkontrolle, erleichtert DSGVO-Konformität, da Daten die eigene Umgebung nicht verlassen. | Abhängig vom Anbieter; mit Auftragsverarbeitungsvertrag und EU-Bezug grundsätzlich datenschutzkonform gestaltbar. | Sensible Daten lokal, Allgemeines in der Cloud – Schutzniveau nach Datenklasse steuerbar. |
| Skalierbarkeit | Begrenzt durch physische GPU-Kapazität und Beschaffung; Ausbau braucht Vorlauf. | On-demand, nahezu beliebig skalierbar, fängt Lastspitzen flexibel ab. | Cloud federt Spitzen ab, lokale Basis deckt den geschützten Grundbedarf. |
| Digitale Souveränität | Hoch: Kontrolle über Modell, Daten und Roadmap, kaum Vendor-Lock-in. | Geringer: Abhängigkeit von Anbieter-Roadmap, Preis- und Funktionsänderungen. | Steuerbar: kritische Teile souverän, Rest flexibel zugekauft. |
| Kosten (Capex/Opex) | Hoher Anfangsinvest (Capex) für Hardware/GPU, dafür kalkulierbare laufende Kosten. | Wenig Anfangsinvest, laufende Betriebskosten (Opex) nach Nutzung/Lizenz. | Mischform aus Capex (lokal) und Opex (Cloud). |
| Leistung | Abhängig von Modellwahl und eigener Hardware; sehr leistungsfähig bei guter Ausstattung. | Zugang zu den jeweils stärksten Flaggschiff-Modellen. | Cloud für Höchstleistung, lokal für geschützte Aufgaben. |
| Wartung | Eigenverantwortung für Betrieb, Updates und Sicherheit – erfordert Know-how. | Wartung liegt beim Anbieter; geringer eigener Aufwand. | Geteilte Verantwortung je nach Komponente. |
Wichtig: Keine der drei Optionen ist „von Haus aus DSGVO-konform". Konformität ist immer das Ergebnis der konkreten Ausgestaltung – von Vertrag, Datenfluss und organisatorischen Maßnahmen.
Als schnelle Orientierung – welches Modell passt typischerweise zu welcher Ausgangslage?
Geheime oder besonders sensible Daten?
Daten unter Amts- oder Berufsgeheimnis, sensible Personal- oder Verwaltungsdaten.
→ eher LokalTempo & schwankende Last wichtig?
Schnell startklar, wenig eigene IT, unkritische Inhalte, starke Nutzungsschwankungen.
→ eher CloudVon beidem etwas?
Sensibles schützen und zugleich die Leistung großer Modelle nutzen wollen.
→ HybridDie drei Entscheidungsachsen
Statt sich an Modellnamen oder Benchmarks aufzuhängen, sollten Sie Ihre Entscheidung an drei Achsen ausrichten. Sie helfen, das richtige Modell für den jeweiligen Anwendungsfall zu finden.
Achse 1: IT-Sicherheit & Datenschutz
Hier geht es um die Frage, wer rechtlich für die Verarbeitung verantwortlich ist und welchem Schutzniveau die Daten unterliegen. Bei Daten, die dem Amts- oder Berufsgeheimnis unterliegen, ist besondere Vorsicht geboten. Ein zentrales Thema ist der mögliche Drittlandtransfer: Werden Daten an einen Anbieter außerhalb der EU übermittelt, kann etwa der US-CLOUD-Act den Zugriff durch Behörden eines Drittlands ermöglichen – ein Punkt, der bei sensiblen Daten gegen die reine Cloud-Nutzung spricht. Als Orientierung dient der vom BSI am 24. Juni 2025 vorgestellte „Kriterienkatalog zur Integration von extern bereitgestellten generativen KI-Modellen in eigene Anwendungen", der Governance- und technische Kriterien (unter anderem zu Prompt Injection) behandelt. Er ist derzeit unverbindlich, liefert aber eine fundierte Prüfgrundlage.
Achse 2: Skalierbarkeit
Cloud-Modelle lassen sich on-demand hochfahren und fangen Lastspitzen flexibel ab. Bei lokalem Betrieb sind Sie durch die physische GPU-Kapazität begrenzt; deren Ausbau erfordert Beschaffung, Budget und Vorlauf. Wer mit stark schwankender Nutzung rechnet, sollte Skalierbarkeit besonders gewichten – oder genau hier die Cloud-Komponente eines Hybrid-Modells einplanen.
Achse 3: Digitale Souveränität
Diese Achse adressiert die strategische Unabhängigkeit. Wer vollständig auf einen Cloud-Anbieter setzt, riskiert einen Vendor-Lock-in und gibt Kontrolle über Roadmap, Preise und Funktionsumfang ab. Open-Weight-Modelle und EU-Hosting sind die zentralen Hebel, um Souveränität zurückzugewinnen. Wie weit dieser Weg tragen kann, zeigt das Beispiel LLMoin in Schleswig-Holstein, auf das wir weiter unten zurückkommen.
Unsicher, welche Datenklasse in die Cloud darf und welche besser lokal bleibt? Im kostenlosen KI-Mini-Audit ordnen wir Ihre Anwendungsfälle nach Schutzbedarf ein.
→ Zum Mini-AuditGovernance & DSGVO
Unabhängig vom gewählten Betriebsmodell entscheidet die Governance darüber, ob KI rechtssicher läuft. Ein besonders praxisrelevanter Anwendungsfall ist RAG (Retrieval Augmented Generation): Dabei wird ein Sprachmodell mit einer kontrollierten eigenen Wissensbasis verbunden, sodass Antworten an dokumentierte Quellen gekoppelt sind.
Die Datenschutzkonferenz (DSK) hat am 17. Oktober 2025 eine Orientierungshilfe zu „KI-Systemen mit Retrieval Augmented Generation (RAG)" veröffentlicht. Zu den Kernpunkten zählen Transparenz durch Dokumentation der genutzten Quellen, Datenminimierung und Zweckbindung. Gerade beim Retrieval sollten nur die wirklich benötigten Daten herangezogen werden. Die Quellenbindung erhöht zugleich die Nachvollziehbarkeit und senkt das Risiko frei erfundener Aussagen.
Datenschutz lässt sich dabei über alle Phasen hinweg mitdenken – von Design über Entwicklung und Einführung bis zum laufenden Betrieb. Wer Datenschutz erst nachträglich aufsetzt, zahlt fast immer drauf. In der DATEV- und DSGVO-Praxis hat sich dieser durchgehende Ansatz bewährt, wie unser Referenzprojekt Rittergut Etzdorf zeigt.
Hinzu kommt eine konkrete rechtliche Pflicht: Nach Artikel 4 des EU AI Act müssen Anbieter und Betreiber ein „ausreichendes Maß an KI-Kompetenz" ihres Personals sicherstellen. Diese Anforderung ist seit dem 2. Februar 2025 anwendbar und gilt unabhängig vom Betriebsmodell. Mehr dazu in unserer Übersicht zur KI-Schulungspflicht nach Artikel 4 sowie im fortlaufenden Compliance-Retainer für dauerhaft konforme KI-Nutzung.
Aus der Verwaltung lernen
Was bedeutet das in der Praxis? Zwei Projekte der öffentlichen Verwaltung zeigen, wie der souveräne Weg konkret aussehen kann – und liefern Blaupausen, von denen auch der Mittelstand lernen kann.
LLMoin (Schleswig-Holstein)
LLMoin wird von Dataport für die Landesverwaltung Schleswig-Holstein mit rund 1.000 Mitarbeitenden betrieben. Es nutzt das Open-Weight-Modell GPT-OSS-120B. Zunächst läuft der Dienst auf europäischer IONOS-Infrastruktur; ab Sommer 2026 soll er vollständig on-premise im Dataport-Rechenzentrum (data[port]ai) betrieben werden. LLMoin ist damit ein Musterbeispiel für den schrittweisen Weg in die volle digitale Souveränität.
NRW.GENIUS (Nordrhein-Westfalen)
NRW.GENIUS ist der zentrale Rahmen für generative KI in der nordrhein-westfälischen Verwaltung, entwickelt vom KI-Labor bei IT.NRW. Seit Oktober 2024 im Einsatz, nutzen ihn rund 10.000 Mitarbeitende in 46 Behörden. Das Projekt zeigt, dass sich generative KI auch in großem Maßstab in einen kontrollierten organisatorischen Rahmen einbetten lässt.
Die Lehre für KMU: Beide Projekte setzen auf einen souveränen, häufig hybriden Weg – Leistung dort, wo sie unkritisch ist, Kontrolle dort, wo die Daten es verlangen. Genau dieses Muster lässt sich auf mittelständische Strukturen übertragen.
Handlungskatalog in 5 Schritten
Aus dem Vergleich und den Verwaltungsbeispielen ergibt sich ein pragmatischer Fahrplan. Diese fünf Schritte funktionieren in Unternehmen wie in Behörden – unabhängig von der späteren Modellwahl.
Verschaffen Sie sich ein ehrliches Bild, welche KI-Tools bereits genutzt werden – auch inoffiziell. Ohne diese Bestandsaufnahme bleibt jede Strategie Theorie. Mehr zum Phänomen und der 23-Prozent-Governance-Lücke in unserem Artikel zur Schatten-KI im Mittelstand.
Stellen Sie klare Regeln für die Nutzung von KI-Tools auf: Welche Daten dürfen rein, welche nie? Wie werden KI-Ergebnisse gekennzeichnet und geprüft? Eine schlanke, gelebte Richtlinie schlägt ein dickes, ungelesenes Regelwerk.
Erfüllen Sie die Pflicht aus Artikel 4 des EU AI Act (seit 2. Februar 2025), indem Sie KI-Kompetenz nachweisbar aufbauen. Geschultes Personal trifft bessere Entscheidungen über das richtige Betriebsmodell – und macht weniger Fehler im Umgang mit sensiblen Daten.
Beginnen Sie dort, wo der Nutzen hoch und das Risiko gering ist – etwa bei der internen Wissenssuche über eine RAG-Lösung. So sammeln Sie Erfahrung, bevor Sie kritische Prozesse anfassen, und profitieren von der Quellenbindung gegen Halluzinationen.
Setzen Sie auf einen Hybrid-Pilot, der von Anfang an nach Schutzbedarf trennt, statt isolierte Einzeltools anzuschaffen. So bleibt die Architektur erweiterbar – und Sie behalten die Souveränität über Ihre kritischen Daten.
Häufige Fragen zu Cloud-KI, lokaler KI und DSGVO
Ist Cloud-KI DSGVO-konform nutzbar?
Grundsätzlich ja – aber nicht automatisch. Entscheidend sind ein belastbarer Auftragsverarbeitungsvertrag, eine Rechtsgrundlage für einen möglichen Drittlandtransfer und die Frage, welche Daten Sie überhaupt eingeben. Cloud-Flaggschiffe wie GPT, Claude oder Gemini lassen sich in Geschäftsversionen mit EU-Bezug durchaus datenschutzkonform betreiben. Bei besonders schutzbedürftigen oder dem Amts- bzw. Berufsgeheimnis unterliegenden Daten sollten Sie die Konstellation jedoch genau prüfen und eine lokale oder hybride Lösung in Betracht ziehen.
Wann lohnt sich eine lokale KI?
Eine lokale, on-premises betriebene KI lohnt sich vor allem dann, wenn Sie volle Datenkontrolle benötigen, etwa bei Berufsgeheimnisträgern, sensiblen Personaldaten oder Verwaltungsvorgängen. Auch bei hohem Anspruch an digitale Souveränität und Unabhängigkeit von einzelnen Anbietern ist der lokale Weg attraktiv. Open-Weight-Modelle wie Llama, Mistral, DeepSeek oder Qwen machen das technisch möglich. Der Preis dafür ist ein höherer Aufwand für Hardware, Betrieb und Wartung.
Was kostet lokale KI gegenüber Cloud?
Die Kostenstruktur unterscheidet sich grundlegend. Cloud-KI ist typischerweise ein Betriebskostenmodell (Opex): Sie zahlen nutzungs- oder lizenzbasiert, ohne große Anfangsinvestition. Lokale KI ist eher ein Investitionsmodell (Capex): Server, GPU-Kapazität und Einrichtung verursachen anfänglich höhere Kosten, dafür sind die laufenden Kosten kalkulierbarer. Welcher Weg günstiger ist, hängt von Nutzungsintensität, Auslastung und Schutzbedarf ab – eine pauschale Aussage wäre unseriös.
Was ist ein Hybrid-Ansatz konkret?
Beim Hybrid-Ansatz kombinieren Sie beide Welten nach Schutzbedarf. Unkritische, allgemeine Aufgaben laufen über leistungsstarke Cloud-Modelle, während sensible Daten und vertrauliche Vorgänge ausschließlich lokal oder auf europäisch gehosteter Infrastruktur verarbeitet werden. So sichern Sie sich die Leistung der Cloud, behalten aber bei kritischen Daten die volle Kontrolle. Für viele KMU und Behörden ist dieser souveräne Mittelweg die praktikabelste Lösung.
Was bedeutet digitale Souveränität bei KI?
Digitale Souveränität bedeutet, dass Sie die Kontrolle über Ihre Daten, Modelle und die technische Roadmap behalten und nicht in eine vollständige Abhängigkeit von einem einzelnen Anbieter geraten. Praktisch heißt das: Kontrolle über den Speicherort der Daten, Wahlfreiheit zwischen Modellen sowie Schutz vor einseitigen Preis- oder Funktionsänderungen. Open-Weight-Modelle und EU-Hosting sind zwei zentrale Hebel, um diese Souveränität zu erhöhen.
Was fordert der EU AI Act von Anwendern?
Nach Artikel 4 des EU AI Act müssen Anbieter und Betreiber von KI-Systemen ein ausreichendes Maß an KI-Kompetenz ihres Personals sicherstellen. Diese Pflicht zur sogenannten AI Literacy ist seit dem 2. Februar 2025 anwendbar und gilt unabhängig davon, ob Sie Cloud-KI oder lokale Modelle einsetzen. Wer KI im Unternehmen oder in der Verwaltung nutzt, sollte den Aufbau dieser Kompetenz daher nachweisbar organisieren.
Wie hilft RAG bei Datenschutz und Halluzinationen?
RAG (Retrieval Augmented Generation) verbindet ein Sprachmodell mit einer kontrollierten eigenen Wissensbasis. Antworten lassen sich so an konkrete, dokumentierte Quellen koppeln, was die Nachvollziehbarkeit erhöht und das Risiko frei erfundener Aussagen senkt. Die Datenschutzkonferenz hat dazu im Oktober 2025 eine Orientierungshilfe veröffentlicht, die Transparenz durch Quellendokumentation, Datenminimierung und Zweckbindung betont – gerade beim Retrieval sollten nur die wirklich benötigten Daten herangezogen werden.
Unsicher, welches Modell zu Ihren Daten passt?
Im kostenlosen KI-Mini-Audit ordnen wir Ihre Anwendungsfälle nach Schutzbedarf ein und zeigen, ob Cloud, lokal oder hybrid der richtige Weg ist. Für KMU und Behörden.
Kostenloses KI-Mini-Audit buchenAuch lesenswert: KI-Schulungspflicht nach Artikel 4 · EU AI Act 2026: aktueller Stand · Dauerhaft AI-Act-konform mit dem Compliance-Retainer