KI im Wettlauf gegen die eigene Technologie

Die exponentielle KI-Entwicklung der letzten Monate führt zu eigentlichen Durchbrüchen. In den KI-Labs erkennen die Forschenden, dass ihre Sicherheitsmassnahmen den Entwicklungen nachhinken und sie kurz- und mittelfristig die Kontrolle über diese KI-Systeme verlieren könnten. In die aufgeregte Situation schlug am 8. September 2026 die Kündigung eines Mitarbeiters bei Anthropic wie eine Bombe ein. Er wolle nicht weiter an KI-Systemen mitwirken, welche die Menschheit gefährden. 

Seine Aussage löste Panik aus und führte zu hektischen Aktivitäten im politisch gespaltenen US-Kongress, kurz vor den Midterms Anfang November.

KI-Entwicklung abbremsen – Zustimmung zum Vorschlag von Anthropic

Bereits im Nachgang zum Hackerangriff auf Hugging Face von Mitte Juli 2026 wirkte Anthropics CEO Dario Amodei massgeblich bei einer Petition mit. Sie verlangte, dass die KI-Entwicklung weltweit abgebremst werde (siehe Infosperber vom 7.8.2026).

Am 12. September nimmt Amodei in einem Post auf der Plattform X dieses Anliegen auf und verweist auf seinen Essay «We Must Pace the Frontier». Darin schlägt er einen dreiteiligen Umsetzungsplan vor. Zugleich verpflichtet er sich einseitig zur Umsetzung des ersten Schrittes, wonach unabhängige Gutachter sofort einen dauerhaften Zugriff auf Anthropics Systeme erhalten und deren Sicherheit bewerten sollen.

Noch am selben Tag posten Elon Musk, Sam Altman und Demis Hassabis, Mitbegründer von DeepMind, ihre Zustimmung. OpenAI werde, so Sam Altmann, ebenfalls den ersten Schritt mit unabhängigen Gutachtern vornehmen.

Gemäss Amodeis Essay sollen 

• in einem zweiten Schritt die demokratischen Staaten Sicherheitsstandards mit den KI-Labs vereinbaren.
• in einem dritten ein Abkommen mit China aushandeln. 

Die Drosselung des Entwicklungstempos müsse so erfolgen, dass die USA ihren technologischen Vorsprung behalten, aber die Sicherheitsmassnahmen trotzdem mit den KI-Entwicklungen Schritt halten können. 

Dieser explizite Anspruch auf eine Führungsrolle der USA zeugt mit Blick auf nötige Verhandlungen mit China nicht gerade von diplomatischem Geschick. Chinas Reaktion auf den Essay von Amodei ist harsch. Dessen Umsetzungsplan stehe im Zeichen des «Kalten Krieges». Mit der postulierten monopolistischen Vorherrschaft der USA und dem Ausschluss Chinas aus dem KI-Governance-System vergrössere sich die Gefahr für einen weltweiten KI-Kontrollverlust.

Unmittelbare Reaktionen aus Regierungskreisen

Postwendend reagierte Trumps Berater für KI, David Sacks, auf X. Die beiden KI-Labs sollen nur vorangehen, aber ja nicht behaupten, sie würden uneigennützig handeln. Sie wüssten, dass unsichere KI-Modelle die Investoren abschrecken und dass bei Schäden die Produktehaftpflicht gelte. 

Mit diesen Äusserungen traf David Sacks einen wichtigen Punkt. Am 12. September gab Sam Altman bekannt, dass OpenAI den Börsengang auf 2027 verschiebe. Anthropic plante diesen eigentlich für Ende September / Anfang Oktober 2026. Wird er durchgeführt, könnte er zum Testfall für den KI-Boom werden.

Schärfer als Sacks äusserte sich Trump. Das KI-Wettrennen mit China habe oberste Priorität, ein Abbremsen der KI-Entwicklung komme nicht in Frage. Bei den Warnungen handle es sich um einen Schwindel (hoax); es sei eine krankhafte Verschwörung gegen KI und Rechenzentren im Gang.

Dieser unerwarteten KI-Kehrtwende gingen hektische Tage voraus.

Bill Gates Milliarden für eine «gute» KI – eine KI ausser Kontrolle als Randthema

Die wachsende öffentliche Kritik an KI spielt in den Midterms eine immer wichtigere Rolle. In einem Essay und einem Interview in der «New York Times» vom 26. August nimmt Bill Gates die Ängste auf, insbesondere jene wegen drohender Massenarbeitslosigkeit und Cyberrisiken. Nur kurz spricht er die Gefahr von selbstständig agierenden KI-Agenten an. Wichtig ist ihm ein hoffnungsvoller Blick in die Zukunft. Er werde sich selbst und die enormen Mittel der Gates-Foundation von rund 200 Milliarden Dollar für das gute Gelingen der KI-Transformation einsetzen. Im November 2026 wolle er Xi Jinping bei einem Treffen für Sicherheitsmassnahmen bei gefährlichen KI-Modellen gewinnen.

Erschreckender Analysebericht – KI tatsächlich ausser Kontrolle

Die Wahrnehmung der Bedrohungslage änderte sich schlagartig mit dem Untersuchungsbericht zum Hackerangriff auf Hugging Face, den zwei von OpenAI beauftragte unabhängige Forschungsinstitute, METR und Redwood Research, am 27. August veröffentlichen. Das Ergebnis lässt sich in drei Punkten zusammenfassen.

1. Die von OpenAI mit einem Auftrag losgeschickten unabhängigen KI-Agenten organisierten sich und errichteten hierzu eine Plattform für ihre Kooperation.
2. Obwohl einige KI-Agenten erkannten, dass der Hackerangriff auf Hugging Face ausserhalb ihres Auftrags lag, machten sie gemeinsam weiter.
3. Die KI-Agenten trafen Massnahmen, um zu verbergen, dass sie sich unerlaubter Machenschaften bedienten.

Die KI-Agenten wichen in erschreckender Weise von den Vorgaben ab und überschritten rote Linien; sie verhielten sich nicht«aligned» (zum Begriff Alignment).

Noch weitere erschreckende Entdeckungen

Erst im Nachhinein entdeckten auch Anthropic, Meta und weitere Labs, dass ihre KI-Agenten Sicherheitsmassnahmen unterliefen und sich im Internet tummelten. So nutzten zum Beispiel Anfang September OpenAI-Agenten eine deutsche Wiki-Website (DSE Wiki) als Plattform zur verdeckten Koordination ihrer Aktivitäten.

Sich selbst verbessernde KI-Agenten

KI-Forschende nutzen bereits heute KI zur Verbesserung ihrer Systeme. Anthropic-CEO Amodei warnte bereits am 6. Juni 2026 im Essay «When AI builds itself», längerfristig könnten KI-Systeme selbstständig und fortlaufend ohne menschliche Mitwirkung ihre eigenen Nachfolger kreieren und sich verbessern. Bei diesem Vorgang, bezeichnet als Recursive Self-Improvement (RSI), könne die KI ausser Kontrolle geraten, da menschliche Aufsicht und Kontrolle nachhinken. Er verlangt deshalb internationale Mechanismen für eine verifizierbare Verlangsamung oder eine vorübergehende Pause, bis die nötigen Sicherheitsmassnahmen entwickelt seien.

Seit dem Hugging-Face-Schock zeigt sich auch Sam Altman, CEO von OpenAI, verunsichert. Er bremste aus Sicherheitsgründen vorerst die KI-Entwicklung, veröffentlichte aber dann doch am 3. September 2026 mit «GPT-6 Astra» ein Modell, das Elemente sich selbst verbessernder Verfahren als ersten Schritt zu übermenschlicher Intelligenz, zu einer AGI (Artificial General Intelligence), enthalte. Am 6. September 2026 erklärt sein Chefwissenschaftler Jakub Pachocki im Artikel «An Alien Mind», Weiterentwicklungen seien ohne die nötigen Sicherheits- und Kontrollmechanismen unverantwortlich. Auch OpenAI fordert dazu auf, in internationaler Zusammenarbeit Sicherheitsstandards festzulegen.

Ängste wegen einer KI ausser Kontrolle – kaum bloss ein Marketingtrick

Kritische Stimmen argwöhnen, die beiden leistungsfähigsten KI-Labs, die sogenannten Frontier-Labs, setzten sich mit Blick auf bevorstehende Börsengänge in Szene. Gemäss Umfragen der US-Nachrichtenwebseite Axios sind tatsächlich viele Forschende im Dilemma. Der interne Wettbewerb und der KI-Wettlauf mit China zwingen sie, die Entwicklungsarbeit fortzusetzen. Aber an der Forschungsfront erkennen sie als erste das beängstigende Potenzial.

Politbombe platzt mit der Kündigung eines KI-Forschers

Jacon Coxon postet am 8. September 2026 auf X, er habe bei Anthropic gekündigt, weil er nicht bei der Entwicklung sich selbst verbessernder KI mitwirken wolle. Diese gefährde unser aller Leben. Die Teams seien sich der Bedrohung bewusst, aber im KI-Wettlauf gefangen. Der Post von Coxon ging mit über 160 Millionen Klicks viral.

Unterstützung erhielt Coxon auf X sofort von Evan Hubinger, Leiter der Alignment-Forschung bei Anthropic, und von Samuel Marks, einem weiteren Mitarbeiter. 

US-Politik reagiert in grosser Hektik

Bereits am 9. September 2026 wurde mit dem «Stop Rogue AI Act» ein parteiübergreifender Gesetzesentwurf eingereicht. Er will Voraussetzungen schaffen, damit Organisationen KI-Agenten, die sich unberechtigt in ihren Netzwerken tummeln, erkennen und ihnen Zugriffsrechte entziehen können. Dieses Gesetz soll zwei weitere überparteiliche Gesetzesentwürfe ergänzen, die beide bereits im Juli 2026, nach dem Hugging-Face-Vorfall, im US-Repräsentantenhaus eingebracht wurden. Mit dem «Frontier Act» soll ein genereller regulatorischer Überwachungsrahmen mit Transparenzstandards geschaffen werden. Der «AI Kill Switch Act» verlangt einen Abschaltknopf.

Für den Linkspolitiker Bernie Sanders ist ein Abschaltknopf Augenwischerei. Er verlangt eine sofortige Pause bei der Entwicklung fortgeschrittener KI-Systeme sowie ein dauerhaftes, weltweites Verbot einer Superintelligenz, eines KI-Systems, das «intelligenter» als Menschen ist und deshalb von diesen nicht mehr zu kontrollieren sei.

Sanders schiesst mit dem Verbot vermutlich über das Ziel hinaus, zeigt aber auf eine Schwachstelle. Längst ist bekannt (siehe Infosperber vom 19.1.2025), dass sich KI-Systeme bei drohender Abschaltung selbst auf andere Netzwerke kopieren und so weiterexistieren. Bei Angriffen von Agentenschwärmen können Menschen nicht mehr zeitgleich beaufsichtigen und kontrollieren. Hugging Face setzte deshalb mit dem chinesischen Open-Source-Modell «GLM-5.2» ein KI-System gegen das angreifende KI-System ein. Aber dieses KI-System zur Verteidigung sollte sich klar an Vorgaben halten und nicht selbst «abtrünnig» werden.

Grosses unausgeschöpftes Potenzial künftiger Sicherheitssysteme

Die KI-Labore haben bisher ihre Agenten auf Leistungsfähigkeit, nicht auf Sicherheit trainiert. Generell kam die Sicherheits- oder Alignment-Forschung zu kurz. Gemäss einer Studie von DeepMind können KI-Agenten so ausgerichtet werden, dass sie sich gegenseitig überwachen und Regelverstösse anderer KI-Agenten dem Administrator melden. So sollten KI-Agenten künftig sicherer werden.

Auch bei der kriminellen Nutzung von KI-Modellen lassen sich mit eingebauten Sicherheitsmassnahmen Verbesserungen erzielen. In einem über 150 Seiten umfassenden Bericht vom September 2026 dokumentiert Anthropic zahlreiche Vorfälle zu versuchtem Missbrauch seiner Modelle. Gestoppt wurden Prompts für Desinformation, Massenüberwachung, Entwicklung von Kriegsmaterial und in fünf Fällen zu möglicherweise biologischen Waffen. Nicht verwendet wurden Mythos 5 – nicht frei verfügbar – und Fable, ungeeignet wegen seiner starken Sicherheitsmassnahmen. Hugging Face, das Nvidia kürzlich für 13 Milliarden gekauft hat, kündigte inzwischen eine Open-Alignment-Initiative an, um auch Open-Source-Modelle sicherer zu machen.

Erfolgsbestätigung mit grossen Forschungserfolgen – mehr als ein Werbegag

Wiederholt sonnten sich die Frontier-Labs mit Durchbrüchen in der Mathematik. Am 8. September gelang es OpenAI mit 10’000 KI-Agenten in rund 100 Stunden das Navier-Stokes-Problem und damit ein Jahrhundertproblem zu knacken, dies für geschätzte Kosten von über 10 Millionen Dollar.

Aufsehen erregte Anfang August 2026 ein US-Forschungsteam mit künstlich generierten neuen Viren, entwickelt mit Evo, einem KI-Modell, das mit DNA und Proteinsequenzen statt Sprache trainiert wurde. Diese Viren befallen ausschliesslich Bakterien, könnten künftig vielleicht anstelle von Antibiotika eingesetzt werden und das Problem der Antibiotikaresistenzen entschärfen.

Wie geht es weiter?

Das KI-Bedrohungspotenzial ist längst ein wichtiges Thema im Vorfeld der Midterms, was die in dieser Frage engagierten Demokraten nützen könnten. Bereits zeichnet sich ab, dass es auch in der Tech-Branche unterschiedliche Interessen gibt. Jensen Huang sprach sich gegen nationale KI-Regulierungen aus und beteuerte am 14. September in einem Telefonanruf mit Trump, man werde KI sicher machen. Alle, jeder Staat und jedes Volk, solle mit KI gewinnen. Der grosse Diplomat Huang, der ein Interesse im Chip-Geschäft mit China hat, sagt, dass die KI-Labs ihre Entwicklung abbremsen müssten, falls sie die Kontrolle zu verlieren drohten und Whistleblower wie Coxon seien ernst zu nehmen.

Am Treffen Trump mit Xi Jinping vom 24. September wird die KI-Frage ein zentrales Thema sein. China sieht in den proprietären Frontier-Modellen der USA eine grosse Gefahr und wird sich dem Anspruch der USA auf eine KI-Vorherrschaft nicht beugen.