KI ausser Kontrolle: Warum Europas Stunde schlagen könnte

Eine KI ausser Kontrolle könnte die Menschheit auslöschen: Diese Alarmrufe der US-Labs und ihre Forderung, die technische Entwicklung zu verlangsamen, lösten heftige Gegenreaktionen aus. Die Kritik, die KI-Labs verfolgten mit dieser Angstmacherei vor allem wirtschaftliche Interessen im Vorfeld ihrer geplanten Börsengänge, trifft zwar einen Punkt, greift aber in der Analyse viel zu wenig tief. 

Die Sachlage ist weit komplexer, und die Gefahren einer KI ausser Kontrolle sind real. Der Dissens in der Wahrnehmung von Sicherheitsrisiken hängt mit aktuellen Problemen der Supermächte zusammen: Die KI-Strategie der USA ist in einer Sackgasse, die chinesische ist erfolgreich, aber wegen ihrer ideologischen Grundierung höchst problematisch, und so eröffnen sich gerade Chancen für Europa.

Yoshua Bengio warnt 

Yoshua Bengio, kanadische KI-Koryphäe und Träger des Turing-Awards, brachte in seiner Ansprache (Video bei 1,16’, mit Transkript) anlässlich der Uno-Generalversammlung Ende September 2026 auf den Punkt, wovor Wissenschaftler seit Jahren warnen:

• Die Sicherheitsmassnahmen könnten mit den enormen KI- Entwicklungen nicht Schritt halten;
• KI drohe künftig ausser Kontrolle zu geraten.

Es gehe nun darum, KI sicherer zu machen und er sei mit seinen Forschungen an der Arbeit. Anschliessend kamen auch die CEO von OpenAI (Video bei 8:28), Anthropic (Video bei 17:54) und Hugging Face (Video bei 23:09) zu Wort.

Dass es mehr Sicherheitsforschung braucht, ist unbestritten. Die von den US-KI-Labs geforderte Drosselung des Entwicklungstempos wurde jedoch sofort sowohl in den USA als auch in China und in Europa kritisiert.

USA: Keine Verlangsamung und nur freiwillige Selbstkontrolle der KI-Labs

In den USA lehnt nicht nur Trump jegliches Abbremsen des Entwicklungstempos ab. Auch andere einflussreiche Persönlichkeiten erklären, der KI-Wettlauf mit China erlaube kein Entschleunigen. Der Nvidia-CEO sagte, er werde mitwirken, die KI sicher zu machen. Die bestehenden Gesetze – Produktehaftpflicht – genügten vollauf.

Am 29. September 2029 vereinbarten Trump und die führenden Tech- und KI-Chefs mit der Erklärung über Super Intelligence eine freiwillige Selbstkontrolle. Die KI-Labs verpflichten sich lediglich «moralisch bindend» zu griffigen Sicherheitsmassnahmen, unabhängigen, externen Auditoren und zur Schaffung eines Aufsichtsrats und damit letztlich zu nichts Neuem. Anthropic übererfüllt die Anforderungen, da gemäss Vertrag mit Accenture die Auditoren nicht nur vollen Einblick erhalten, sondern im Betrieb mitarbeiten sollen («embedded»). OpenAI führte bereits Tage zuvor sein neues Transparenz- und Meldeverfahren ein und holte sich mit Paul Christiano einen grossen Warner vor möglichem Kontrollverlust an Bord.

Kaliforniens KI-Gesetz mit Vorgaben für KI-Labs

Die Vereinbarung auf nationaler Ebene fällt hinter Kaliforniens Transparency in Frontier AI Act (SB 53) zurück. Seit 1. Januar 2026 gilt dieses Gesetz für die KI-Labs – alle domiziliert im Silicon Valley – mit vergleichbaren, jedoch verpflichtenden Vorgaben. Der Staat nimmt die Aufsicht wahr und das Gesetz wird mit behördlichen Sanktionen durchgesetzt. Betroffen sind nur die sehr grossen KI-Labs, nicht aber die zahlreichen Start-ups. Als viertgrösste Volkswirtschaft der Welt sieht sich Kalifornien als nationales KI-Vorbild. Noch vor dessen Unterzeichnung unterstützte Anthropic dieses Gesetz und veröffentlichte sein Compliance-Framework vor Ende 2025. OpenAI opponierte zuerst, vollzog nach der Hugging-Face-Attacke eine Kehrtwende und verlangte sogar strengere Vorgaben.

Das kalifornische KI-Gesetz SB 53 ärgert Präsident Trump. Aber er hatte bisher im Kongress keine Mehrheit, um schärfere bundesstaatliche KI-Gesetze mit einer nationalen Gesetzgebung auszuhebeln. Brisant, wohl als Schlag gegen Kaliforniens KI-Gesetz SB 53 gedacht, ist Trumps neuer Begriff «Super Intelligence». Dieser soll, so die Executive Order vom selben Tag, künftig den Begriff «Artificial Intelligence» ersetzen. Prompt ordnete Kaliforniens Gouverneur ebenfalls mit Executive-Order an, in seinem Bundesstaat sei weiterhin der Begriff «Artificial Intelligence» zu gebrauchen und postete dies sofort auf X. Zumindest muss OpenAI jetzt den Firmennamen nicht in OpenSI abändern.

Strategie der Trump-Regierung führt KI-Labs in Sackgasse

Die Strategie der Trump-Regierung lässt sich wie folgt zusammenfassen: Die USA sind im KI-Wettlauf mit China und müssten diesen unbedingt gewinnen, denn wer als erster eine Artificial General Intelligence (AGI) entwickelt, gewinne alles. Trump fasst es so: Whoever wins AI, wins! Staatliche Vorgaben würden die Innovation bremsen, die KI-Labs könnten und sollten die Risiken selbst unter Kontrolle bringen.

Mit der Strategie, der Innovation freien Lauf zu lassen, übertrugen die USA – nicht erst seit der Trump-Regierung – immer mehr demokratisch zu regelnde Infrastruktur- und Kontrollaufgaben privaten Akteuren. Die US-Aussen- und Verteidigungspolitik ist von Elon Musks Starlink abhängig. Die KI-Labs an der Forschungsfront entwickelten sich zu privaten Monopolen und zu einer Machtkonzentration mit enormen gesellschaftlichen Auswirkungen.

Allerdings stecken die privaten KI-Labs nun in der Sackgasse. Sie können die Entwicklung nicht mehr mit vollem Tempo vorantreiben, da die KI-Labs mangels greifender Sicherheitsmassnahmen unabsehbar grosse Risiken mit Haftpflichtfolgen eingehen. Das gefährdet Profite aus den investierten Milliarden.

Andere Strategie und Denkmuster in China

China reagierte negativ. Die Aufforderung zur Verlangsamung der KI-Entwicklung sei ein Rückfall in den Kalten Krieg. Die USA wollten ihre KI-Monopole schützen und das Reich der Mitte ausbremsen. China negiert die potenzielle Gefahr einer KI ausser Kontrolle nicht. Es hat für KI-Agenten bereits Richtlinien erlassen und arbeitet als weltweit erstes Land an einem nationalen Standard. Die Gefahr einer KI ausser Kontrolle, so ein Vertreter von Huawei, sei weniger akut als bei den beiden US-KI-Pionieren. Noch liege die chinesische KI-Entwicklung etwas zurück. China müsse weiter aufholen.

China versteht unter KI-Sicherheit – so die «New York Times» – etwas anderes als die westliche Welt. Es geht China um die mit KI transportierten Werte und darum, die nationale Stabilität und die politische Ordnung sicherzustellen. Gemäss Xi Jinpings Minister für staatliche Sicherheit, Chen Yixin, muss China feindlichen Kräften entgegenwirken, die im Krieg um die öffentliche Meinung Chinas Sicherheit bedrohen («…conducting public opinion and cognitive warfare against us, directly threatening our political, institutional, and ideological security…»). Sämtliche KI-Modelle werden auf dieses Sicherheitsrisiko überprüft und erst nach staatlicher Zensur freigegeben.

Unbehagen gegenüber chinesischen Open-Source-Modellen

Neue, raffinierte Technologien können versteckte, erst später aktivierbare Anweisungen, sogenannte «Schläferagenten», in die KI-Systeme einschleusen. Aber bereits mit den Sprachmodellen werden Denkmuster geprägt. Von diesen hängt ab, wie wir Urteile und Meinungen bilden. China setzt voll auf diese in der westlichen Welt vielfach noch unterschätzte, nicht offensichtliche Wirkung. Mit seinen preisgünstigen, flexibel einsetzbaren Open-Source-Modellen erobert China nicht nur den Weltmarkt, es verbreitet auch chinesische Denkmuster. Die chinesischen Open-Source-Modelle werden wegen ihres tiefen Preises auch in der westlichen Welt, in Hochschulen, Universitäten und Start-ups, genutzt. Aber es bleibt ein gewisses Unbehagen.

Mit der im Juli 2026 gegründeten World Artificial Intelligence Cooperation Organization (WAICO) und ihren bereits 29 Mitgliedstaaten, vor allem aus dem globalen Süden, positioniert sich Xi Jinping als Vorreiter einer neuen weltweiten KI-Ordnung.

Europäische Alternative 

Zwischen zwei gegensätzlichen Strategien – kaum regulierte KI in den USA einerseits und KI mit Zensur im Griff des chinesischen Regimes – eröffnet sich Europa ein dritter Weg mit einer KI-Governance, die der Innovation förderlich, aber mit den nötigen, demokratisch legitimierten staatlichen Kontrollinstrumenten ausgestattet ist.

Wie in China löste die verlangte KI-Verlangsamung auch in Europa Gegenreaktionen aus. In den USA seien Start-ups ausser Kontrolle, weil sie Sicherheitsmassnahmen vernachlässigt hätten. Das müsse jedoch nicht sein. Diesen Standpunkt vertritt prononciert Arthur Mensch, CEO von Mistral. Dieses französische Start-up rückte wegen Milliardeninvestitionen unter anderem aus den USA und Südkorea in den US-Fokus. Konform mit den EU-Normen fördert Mistral mit seinen proprietären Modellen und seinen Open-Source-Angeboten die technologische Souveränität in Europa und weltweit. Es wird bereits in 20 Ländern genutzt. Anfang Oktober präsentierte Arthur Mensch mit Mistral Large 4, «Le Chonk», ein grosses KI-Modell, das sowohl bestehende proprietäre wie quelloffene Modelle überflügle. Allerdings lancierte das US-Start-up Reflection fast gleichzeitig ein Konkurrenzprodukt mit seinem ersten KI-Modell «Beam».

Mit beiden Modellen können Organisationen und Unternehmen ihr eigenes, massgeschneidertes, lokales KI-System aufbauen. Diese Modelle können die bisher manchmal mit Unbehagen genutzten chinesischen Open-Source-Modelle ersetzen, und zwar teilweise sogar zu tieferen Kosten. Sie konkurrenzieren aber auch die viel teureren proprietären US-KI-Modelle, die ohnehin bereits in einer Sackgasse stecken.

Initiativen für Sicherheitsforschung

Sicherheitsforschung kommt nur in einer weltweit offenen Community voran. In geschlossenen Labs ist der Wissensaustausch zwangsläufig eingeschränkt. Mit ihrer Initiative «A Call for Open Science in AI Safety» wollen die beiden Eidgenössischen Technischen Hochschulen, ETHZ und EPFL, die KI-Modelle an der Forschungsfront in der Sicherheitsfrage unterstützen. Dazu benötigen sie Einblick in die proprietären Systeme, in die Codes, Trainingsprozesse, Sicherheitsmassnahmen und Evaluationsdaten. Mit dieser Initiative bringen sich die Hochschulen wieder als Partner in die KI-Spitzenforschung ein. Diese hatte sich in jüngster Zeit schleichend in private KI-Labs verlagert, weil diese viel grössere Ressourcen haben.

ETHZ und EPFL sind mit diesem Aufruf vom 18. September 2026 im Einklang mit der kurz darauf lancierten internationalen Initiative «A Call for Control of Frontier AI Models». Diese verlangt, dass unabhängige Evaluatoren Einblick in die KI-Labs an der Forschungsfront, die sogenannten Frontier-Labs, erhalten. Es sollen gemeinsame Sicherheitsstandards und eine internationale Kontrollbehörde geschaffen werden. Die Initiative wurde am Rande der Uno-Generalversammlung von 22, vor allem auch europäischen Ländern und der Präsidentin der EU-Kommission, Ursula von der Leyen, unterzeichnet.

Künftige KI-Entwicklung wird ohne «embedded» Experten zu gefährlich

Nur eine Woche später wurde diese politische Aktion mit einem Papier zur Wissensexplosion untermauert. Um zu verhindern, dass die KI mit der absehbaren künftigen exponentiellen Entwicklung ausser Kontrolle gerate, sollten unabhängige externe Experten in die KI-Labs eingebettet werden («…independent auditors embedded inside AI companies…»). Unter den Autoren zeichneten unter anderen Yoshua Bengio, Geoffrey Hinton, der OpenAI-Chefwissenschaftler Jakub Pachocki und Anthropic-Mitgründer Jack Clark.

Es braucht Sicherheitsmassnahmen – Chance der Schweiz

Die US-Alarmrufe spiegeln die künftig drohenden Gefahren einer ungenügend kontrollierten exponentiellen KI-Entwicklung. China und Europa setzen darauf, dass diese bei einem Entwicklungstempo im Gleichschritt mit verstärkten Sicherheitsmassnahmen steuerbar sind. Aber hierzu braucht es Massnahmen.

Offen ist, was von den KI-Treffen zwischen Trump und Xi Jinping zu erwarten ist. Als Ergebnis des ersten Treffens vom 24. September soll ein «heisser Draht» zwischen Washington und Beijing eingerichtet werden, um gefährliche Kurzschlussreaktionen zu verhindern. Infosperber berichtete, dass es wegen falscher KI-Analyse beinahe ungewollt zu einem gefährlichen Vorfall kam.

Die Uno diskutiert seit langem Fragen zur KI-Governance, aber ihre Vorschläge finden in Washington kaum Akzeptanz. Bleibt eine grosse Chance für die Schweiz am kommenden fünften internationalen KI-Summit 2027 vom 21./22. Juni 2027 in Genf. Mit ihrer Diplomatie könnte sie Wege für eine weltweit akzeptierbare Lösung pfaden.