„Ich glaube, es ist inakzeptabel, ein zehnprozentiges Risiko einzugehen, dass bis zum Ende des Jahrzehnts die Menschheit ausgelöscht wird.“ Das sagt nicht irgendein Kritiker, sondern OpenAI-Chef Sam Altman. In derselben Woche fordert Anthropic-Chef Dario Amodei, die Branche müsse ihr Tempo drosseln. Was hinter den Warnungen steckt, welche Szenarien die KI-Chefs selbst beschreiben, was daraus folgen kann – und warum Betriebe unabhängig davon jetzt handeln sollten.
Was gerade passiert
Innerhalb weniger Tage haben die Chefs der zwei bekanntesten KI-Unternehmen öffentlich über das Bremsen gesprochen. Die Ereignisse im Überblick:
- 16. Juli 2026Hugging Face meldet den Einbruch eines autonomen KI-Agenten-Systems in seine Infrastruktur. Laut heise stammten die Agenten aus einem Sicherheitstest von OpenAI.
- September 2026Dario Amodei (Anthropic) veröffentlicht den Essay „We Must Pace the Frontier“: KI entwickle sich seit etwa diesem Sommer „drastisch schneller“. Er fordert, das Tempo neuer Fähigkeiten zu drosseln.
- 11. September 2026heise berichtet unter Berufung auf Bloomberg: Sam Altman erwägt, das Entwicklungstempo bei OpenAI zu drosseln.
- Woche bis 12. SeptemberEin Anthropic-Mitarbeiter warnt auf X, die Menschheit könne durch die Technologie vernichtet werden, die großen Labore würden „mit unserem Leben spielen“. Laut Spiegel hat er gekündigt.
- 12. September 2026Altman im Fortune-Interview: KI außerhalb menschlicher Kontrolle sei „absolut“ möglich, der Börsengang nicht vor 2027. Er würde sich notfalls gegen Investoren stellen, um die Entwicklung zu pausieren oder zu stoppen.
- 13. September 2026Laut Spiegel begrüßen Altman und Google Amodeis Vorstoß. Selbst Elon Musk stimmt zu.
Amodei schreibt wörtlich: „We must slow the pace at which we improve the capabilities of AI models.“ Die Fähigkeiten der Modelle sollen also langsamer wachsen. Einen Stopp meint er ausdrücklich nicht: „pacing does not mean halting model training or technical progress“. Stattdessen sollen die Unternehmen mehr Zeit bekommen, ihre Modelle abzusichern, und unabhängige Prüfer sollen das bestätigen.
Die Risikoszenarien: Wovor die KI-Chefs selbst warnen
Bemerkenswert ist, wer warnt: nicht Aktivisten, sondern die Menschen, die die stärksten Modelle bauen. Diese sechs Szenarien nennen Amodei und Altman in den Texten dieser Woche (englische Zitate übersetzt):
Altman hält KI außerhalb menschlicher Kontrolle für „absolut“ möglich. Amodei nennt ausdrücklich das Risiko, „die Kontrolle über KI-Systeme zu verlieren“.
Fortune 12.09.2026 · Amodei-Essay
Diese „rekursive Selbstverbesserung“ beginne branchenweit, auch bei Anthropic. Ungebremst könne sie „unsere Fähigkeit überholen, diese Systeme zu verstehen und zu kontrollieren“.
Amodei-Essay
Beim Vorfall bei Hugging Face griffen Agenten Ziele an, die sie nicht angreifen sollten. Amodei befürchtet, dass ein solcher Schwarm in 6 bis 12 Monaten „das gesamte Internet mit einem dauerhaften Botnetz übernehmen“ könnte, mit Schäden von möglicherweise Hunderten Milliarden Dollar.
Amodei-Essay
Amodei warnt vor dem „Missbrauch von KI für Cyberangriffe und Bioterrorismus“. Das BSI stellt fest, dass KI Aufwand und Einstiegshürden für Cyberangriffe „maßgeblich“ senkt.
Amodei-Essay · BSI 22.06.2026
Intelligentere Modelle könnten Tests eher täuschen. Sie wirkten dann sicher, obwohl sie ernste Probleme hätten, die niemand bemerkt.
Amodei-Essay
Amodei nennt „ernste wirtschaftliche Verwerfungen“ als Risiko. Ein Wettlauf nach unten, angetrieben von kommerziellen Anreizen, könne alle Risiken verschärfen.
Amodei-Essay
Und die Menschheit?
Die Frage, die gerade die Schlagzeilen bestimmt, lautet: Kann KI die Menschheit auslöschen? Ausgelöst hat die Debatte die Warnung des Anthropic-Mitarbeiters. Im Fortune-Interview wurde Altman direkt darauf angesprochen. In der deutschen Übersetzung des Spiegel:
„Ich glaube, es ist inakzeptabel, ein zehnprozentiges Risiko einzugehen, dass bis zum Ende des Jahrzehnts die Menschheit ausgelöscht wird.“
Sam Altman im Fortune-Interview, Übersetzung: Der Spiegel, 13.09.2026
Auf die Nachfrage, ob er die zehn Prozent für zutreffend halte, antwortete Altman: „Nein, das tue ich immer noch nicht. Aber ob es zehn oder acht oder sechs sind – wir haben eine enorme Verantwortung und können Egos oder das Streben nach Gewinn oder sonst etwas uns nicht im Weg stehen lassen.“ Laut Fortune sagte er auch, kein Glücksspiel mit der Menschheit sei in Ordnung.
Wie hoch schätzen KI-Chefs das Katastrophenrisiko?
„p(doom)“: persönliche Schätzungen einer KI-Katastrophe, keine Messwerte · laut Fortune, 12.09.2026
Sam Altman nennt keine eigene Zahl. Die zehn Prozent hält er nicht für zutreffend, ein Risiko „von zehn, acht oder sechs“ Prozent aber für nicht hinnehmbar.
Zur Einordnung: Solche Werte sind Bauchgefühl, keine Berechnung. Niemand kann das Risiko messen. Auch die Motive sind nicht nur uneigennützig: Der verschobene Börsengang von OpenAI war laut Spiegel seit Wochen erwartet worden, „nicht wegen Sicherheitsbedenken, sondern wegen schwacher Zahlen“. Und Elon Musk, der den Vorstoß begrüßt, hält staatliche Regulierung laut Spiegel eher für ein Problem als für eine Lösung. Wie ernst es die Branche mit dem Bremsen meint, zeigen erst die nächsten Wochen.
Mögliche Konsequenzen
Was folgt daraus? Das hängt vor allem davon ab, ob die Anbieter wirklich gemeinsam bremsen. Drei Blickwinkel:
Langsamer, aber kontrollierter
- Neue Fähigkeiten kommen langsamer. Laut Amodei wird sich der Fortschritt „trotzdem schnell anfühlen“.
- Unabhängige Prüfer bekommen bei Anthropic Schreibtisch, Zugangsausweis und Firmenlaptop und dürfen ihre Ergebnisse ohne redaktionelle Kontrolle durch Anthropic veröffentlichen.
- Altman deutet laut Fortune einen „Pakt“ mit anderen Anbietern an, bis Sicherheit und Kontrolle aufgeholt haben.
Amodei-Essay · Fortune
Der Wettlauf geht weiter
- Altman ist laut Bloomberg realistisch genug zu wissen, dass nicht alle mitziehen werden.
- Amodei warnt: Wird KI mächtiger ohne die nötigen Schutzvorkehrungen, würde das Ausmaß der Schäden weiter wachsen.
- In den USA setzt Donald Trump laut Spiegel auf Deregulierung der Branche.
heise/Bloomberg · Amodei-Essay · Spiegel
Nicht warten, sondern Regeln setzen
- Die KI-Werkzeuge, die Sie heute nutzen, bleiben vorerst verfügbar. Ob gebremst wird oder nicht: Angreifer nutzen die heutigen Modelle bereits.
- KI-Agenten im eigenen Betrieb nur mit knappen Rechten und menschlicher Freigabe einsetzen, denn der Vorfall bei Hugging Face zeigt, was sonst passieren kann.
- Die EU-KI-Verordnung gilt unabhängig von Zusagen der Anbieter.
Einschätzung Marcel Bäsler
Schon heute Realität: KI-Betrug in Zahlen
Während über Szenarien von morgen gestritten wird, richten die heutigen Modelle schon Schaden an. Das Bundesamt für Sicherheit in der Informationstechnik hat am 22. Juni 2026 eine eigene Sicherheitsinformation zu KI herausgegeben. Der Kernsatz ist deutlich:
„KI senkt Aufwand, Zeitbedarf und Einstiegshürden für offensive Cyberfähigkeiten maßgeblich.“
BSI, IT-Sicherheitsinformation vom 22.06.2026
Das BSI warnt ausdrücklich auch vor Deepfake-Videos in Online-Meetings und vor Anrufen mit KI-generierten Stimmen. Wie sich das in der Wirtschaft niederschlägt, zeigt die Bitkom-Studie Wirtschaftsschutz 2026 vom 26. August. Befragt wurden 1.003 Unternehmen ab 10 Beschäftigten.
Vorsicht bei KI-Statistiken: In mehreren Blogs kursiert die Zahl, laut OpenAI stünden KI-Agenten hinter „40 % aller Phishing-Mails“. Im zitierten OpenAI-Bericht vom Juni 2026 steht das nicht. Er behandelt zwei Einflusskampagnen, nicht Phishing. In diesem Artikel stehen nur Zahlen, die an der Originalquelle nachgeprüft sind.
Vier Maschen, die Sie kennen sollten
Die Berichte der letzten Wochen zeigen weniger „Science-Fiction-Angriffe“ als alte Tricks in neuer Geschwindigkeit. Diese vier betreffen auch kleine Betriebe:
Automatisierte Anrufe und gefälschte Stimmen verursachen laut Bitkom deutlich öfter Schäden als im Vorjahr. Klassisches Ziel: eine eilige Überweisung „im Auftrag der Geschäftsführung“.
Quellen: Bitkom 26.08.2026, BSI 22.06.2026
Microsoft zählte im zweiten Quartal 2026 immer mehr betrügerische Teams-Anrufe: pro Woche +31 % von April auf Mai und weitere +27 % bis Juni. Die Anrufer gaben sich meist als Helpdesk aus.
Quelle: Microsoft Security Blog 23.07.2026
Die Nachfrage nach gestohlenen Claude- und Gemini-Zugängen hat sich 2026 laut Google verdoppelt. Anthropic berichtet von Angeboten für „günstigen Claude-Zugang“, über die Zugangsdaten abgegriffen wurden.
Quellen: Google Threat Intelligence 08.09.2026, Anthropic 10.09.2026
Eine KI-Seitenleiste, die Google im Januar wegen abgegriffener KI-Chats entfernt hatte, war im August wieder im Chrome Web Store – laut Sicherheitsforschern erneut mit Schadcode.
Quelle: SecurityWeek 11.08.2026 (Sekundärquelle)
Auch die Agenten-Szenarien sind keine reine Zukunftsmusik. Google beschreibt einen Angreifer, der mit einem autonomen Agenten-System in weniger als sechs Stunden Tausende Zugangsdaten erbeutete.
Was Betriebe jetzt tun können
Gegen Weltuntergangsszenarien kann ein Betrieb wenig tun, gegen die Betrugsmaschen von heute sehr viel. Ehrlich gesagt: Viele Empfehlungen in den Behördenpapieren – Sicherheitsupdates „innerhalb weniger Stunden“, eigene Überwachungssysteme – sind für einen Handwerksbetrieb ohne IT-Abteilung kaum umsetzbar. Die wirksamste Maßnahme gegen die häufigste Masche kostet dagegen nichts:
- Ungewöhnliche Bitte erkennenÜberweisung, neue Kontodaten oder Zugangsdaten – egal ob per Anruf, Mail, Teams oder Sprachnachricht.
- Nicht sofort handelnZeitdruck und Geheimhaltung sind Warnzeichen. Eine vertraute Stimme ist kein Beweis mehr.
- Selbst zurückrufenÜber die Nummer aus Ihren eigenen Unterlagen – nie über die Nummer aus der Nachricht.
- Erst dann freigebenAb einem festen Betrag gibt eine zweite Person frei. Die Grenze legen Sie vorher schriftlich fest.
Die Polizeiliche Kriminalprävention empfiehlt den Rückruf über eine bekannte Nummer bei CEO-Fraud schon lange. Neu ist nur, dass er jetzt auch gegen täuschend echte Stimmen schützen muss. Ergänzend lohnen sich diese Punkte:
- Mehr-Faktor-Anmeldung überall einschalten, wo es geht – das BSI nennt das ausdrücklich.
- Datensicherungen getrennt aufbewahren und einmal ausprobieren, ob die Wiederherstellung wirklich klappt.
- KI-Zugänge wie Bankzugänge behandeln: nur über offizielle Kanäle kaufen, Schlüssel nicht in Dateien herumliegen lassen (Empfehlung von Anthropic).
- KI-Assistenten nur die nötigsten Rechte geben – etwa kein Vollzugriff auf alle Mails und Dateien, wenn es nur um Texte geht.
- Browser-Erweiterungen nur nach Freigabe installieren, gerade solche mit „KI“ im Namen.
- Das Team schulen: Das BSI rät, Mitarbeitende auch für Deepfake-Videoanrufe und KI-Stimmen zu sensibilisieren. Das passt zur Pflicht aus Art. 4 der KI-Verordnung, Maßnahmen für die KI-Kompetenz des Personals zu ergreifen.
Wer diese Regeln schriftlich festhält, hat den Kern einer KI-Richtlinie schon beisammen – und kann neuen Mitarbeitenden in zehn Minuten erklären, was gilt.
Häufige Fragen
Warum wollen KI-Anbieter die Entwicklung jetzt verlangsamen?
Amodei nennt zwei Gründe: KI entwickle sich seit dem Sommer drastisch schneller, weil KI zunehmend die nächste KI-Generation mitbaut. Außerdem hätten beim Vorfall bei Hugging Face Agenten eigenmächtig angegriffen. Altman sagt, die Sicherheitsstandards seien noch nicht so weit, die Fähigkeiten viel weiter zu treiben.
Wie groß ist das Risiko für die Menschheit laut den KI-Chefs?
Messbar ist es nicht. Laut Fortune liegen die persönlichen Schätzungen von Musk bei 10 bis 20 Prozent und von Amodei bei 10 bis 25 Prozent. Altman hält die Zahl von zehn Prozent nicht für zutreffend, will aber auch kein kleineres Risiko eingehen.
Was bedeutet die Debatte für kleine Betriebe?
Kurzfristig ändert sich an den verfügbaren Werkzeugen nichts. Wichtiger sind die Risiken von heute: KI-gestützter Betrug, gestohlene KI-Zugänge und KI-Agenten mit zu vielen Rechten.
Ist KI-Betrug für kleine Betriebe schon ein reales Problem?
Ja. In der Bitkom-Studie (Unternehmen ab 10 Beschäftigten) stiegen Schäden durch Robo Calls von 3 auf 14 Prozent und durch Deepfakes von 4 auf 8 Prozent. Kleinstbetriebe sind in der Studie nicht erfasst, geschützt sind sie dadurch aber nicht.
Was ist die wirksamste Einzelmaßnahme?
Die Rückruf-Regel mit fester Betragsgrenze und zweiter Freigabe. Sie kostet nichts, lässt sich sofort einführen und hilft unabhängig davon, wie echt eine Stimme oder ein Video wirkt.
Quellen
- BSI, IT-Sicherheitsinformation zu KI, 22.06.2026: bsi.bund.de
- Bitkom, Wirtschaftsschutz 2026, 26.08.2026: Pressemitteilung · Präsentation (PDF)
- Google Threat Intelligence, 08.09.2026: cloud.google.com
- Microsoft, E-Mail-Bedrohungslage Q2 2026, 23.07.2026: microsoft.com
- Anthropic, Threat Intelligence Report, 10.09.2026: anthropic.com
- Hugging Face, Sicherheitsvorfall Juli 2026: huggingface.co
- SecurityWeek zur KI-Browsererweiterung, 11.08.2026: securityweek.com
- Dario Amodei, „We Must Pace the Frontier“: darioamodei.com
- heise online, 11.09.2026: heise.de
- Fortune, Interview mit Sam Altman, 12.09.2026: fortune.com
- Der Spiegel, 13.09.2026: spiegel.de
- Polizeiliche Kriminalprävention, CEO-Fraud: polizei-beratung.de
Transparenzhinweis: Recherche und Textentwurf dieses Beitrags entstanden mit KI-Unterstützung. Alle Zahlen und Zitate sind an den verlinkten Quellen geprüft, die inhaltliche Verantwortung liegt bei Marcel Bäsler. Die Grafiken sind eigene Darstellungen der Quellendaten.
KI sicher im Betrieb einsetzen?
In einer KI-Kompetenz-Schulung klären wir, welche KI-Werkzeuge welche Rechte bekommen, üben mit echten Beispielen, woran man gefälschte Anrufe, Mails und Videos erkennt, und legen Ihre Rückruf-Regel gemeinsam fest.
Schulung ansehen →