KI: Trump zum Trotz leistet Kalifornien eine Pionierarbeit

300 prominente Persönlichkeiten, darunter zehn Nobelpreisträger und mehrere ehemalige Staatschefs, sowie über 70 Organisationen aus Wissenschaft und Industrie stellen sich gegen das Laisser-faire der Trump-Regierung in Sachen KI. Im Rahmen der 80. Generalversammlung der Uno vom September 2025 riefen sie dazu auf, AI Red Lines festzulegen. Unter den zuerst Aufgeführten finden sich bekannte Namen, wie Nobelpreisträger Geoffrey Hinton und Turing-Award-Winner Yoshua Bengio. Aber auch mehrere Exponenten der grossen Tech-Firmen — Anthropic, OpenAI und Google-DeepMind — sowie chinesische Universitäten unterschrieben.

Diese «roten Linien» einschliesslich Massnahmen zur Durchsetzung sollen bis Ende 2026 verabschiedet sein: «We urge governments to reach an international agreement on red lines for AI — ensuring they are operational, with robust enforcement mechanisms — by the end of 2026.»

Viele KI-Wissenschaftlerinnen und -Wissenschaftler warnen, eine KI könnte ausser Kontrolle geraten und die Menschheit bedrohen.

Die Uno ist im Bereich der KI-Governance zwar aktiv, aber wegen Trumps Politik zusehends geschwächt. Kalifornien hat nicht mehr zugewartet: Dieser wirtschaftlich gewichtige US-Bundesstaat verabschiedete ein eigenes KI-Gesetz «Transparency in Frontier Artificial Intelligence Act» (siehe weiter unten) und forderte damit die Trump-Regierung heraus, die sich mit Blick auf das Wettrennen mit China gegen jegliche KI-Regulierungen stellt. 

KI – ein wichtiges Thema der Uno

An der 80. Uno-Generalversammlung war eine wichtige Sitzung Fragen zur globalen KI-Governance gewidmet, worüber die Associated Press (AP) am 25. September 2025 berichtete. Die offiziellen Debatten drehten sich nicht um den konkreten Aufruf für «rote Linien». Vielmehr ging es um generelle Fragen zur KI-Governance, insbesondere um den verantwortungsvollen Einsatz von KI und darum, dass weniger entwickelte Regionen bei der KI nicht abgehängt werden sollten.

Eine politisch geschwächte Uno

Offen ist, welche Rolle die Uno in der KI-Governance überhaupt spielen kann. Sie wurde wegen der Politik der Trump-Regierung in eine schwere Finanzkrise gestürzt. Ausstehende Zahlungen für 2025 und angekündigte Kürzungen für 2026 zwingen die Uno, ihr Budget für 2026 um mehr als 500 Millionen Dollar zu reduzieren (siehe Pressemitteilung der Uno vom 15. September 2025). Mit dem Ziel einer effizienteren Nutzung der Ressourcen will die Uno mit ihrer bereits im Juli 2025 beschlossenen UN80-Initiative die Organisation reformieren.

Katastrophenszenario nicht auszuschliessen

Längst bekannt und viel diskutiert sind schwere Gefährdungen durch Desinformation oder downloadbare Informationen zum Bau atomarer oder biologischer Waffen, die die Menschheit gefährden. Zur Risikominderung werden Sprachmodelle darauf trainiert, auf klar definierte Prompts (Aufforderung) keine Antwort zu geben. Das betrifft zum Beispiel Fragen zur Herstellung lebensgefährlicher Waffen oder Anleitungen zum Suizid.

Mit ausgeklügelten Prompts können gewiefte Nutzerinnen und Nutzer eine KI dazu bringen, die diesbezügliche Information trotzdem freizugeben. Gegen die geschickte Umgehung von gesperrten Nutzungen, sogenannte Jailbreaks, werden die Sprachmodelle getestet und laufend verbessert. Bei diesen KI-Risiken braucht es aber immer Menschen, die – mit böser Absicht oder auch in einem Laborunfall – diese Informationen in der physischen Welt umsetzen und das Virus verbreiten. Allerdings ist viel spezielles Wissen nötig, um nach KI-Anleitung ein tödliches Virus im Labor zu erzeugen – aber leider ist dieses Katastrophenszenario nicht auszuschliessen.

Kaum diskutiert wird die völlig anders geartete Gefahr einer KI, die ausser Kontrolle geraten könnte. Die KI-Koryphäen, welche die AI Red Lines unterzeichneten, warnen vor einer KI, die autonom und gegen menschliche Werte und Interessen agieren könnte: «Left unchecked, many experts, including those at the forefront of development, warn that it will become increasingly difficult to exert meaningful human control in the coming years.» Potente KI-Systeme können auch ihren eigenen Code verändern – die KI ist verblüffend gut im Programmieren.

Speziell gewarnt wird vor KI-Agenten. Diese werden auf der Grundlage von Sprachmodellen für spezifische Funktionen entwickelt. Vielfach wirken mehrere Agenten zusammen. In solchen agentischen Systemen führt jeder Agent eine bestimmte Teilaufgabe aus, so dass die KI zur Erfüllung des Auftrags gemäss Prompt sämtliche nötigen Aktionen schrittweise und selbstständig ausführen kann. Die Ergebnisse von Sicherheitstests, die verantwortungsvolle Tech-Firmen durchführen, zeigen auf, dass es tatsächlich nicht einfach ist, KI, insbesondere agentische KI, zu kontrollieren.

Pionierleistung von Claude Sonnet 4.5

Ende September 2025 lancierte Anthropic mit Claude Sonnet 4.5 ein KI-Sprachmodell, das gegenüber dem erst vor vier Monaten publizierten Vorgänger einen gewaltigen Entwicklungssprung realisierte. Gemäss dem US-Online-Nachrichtenportal TechCrunch vom 29. September 2025 kann Claude Sonnet 4.5 rund 30 Stunden lang autonom programmieren. Um ein Ergebnis gemäss Prompt zu erzielen, kaufte das Tool selbstständig Domainnamen, richtete Datenbankdienste ein und führte ein Audit durch. Mit dem gleichzeitig vorgestellten Claude Agenten SDK (Software Development Kit) steht der Community zudem ein Tool für die Entwicklung eigener Agenten zur Verfügung.

Grössere Sicherheit – doch beunruhigende Testergebnisse

Anthropic hat Sicherheitsfragen nach eigenen Angaben stets grosses Gewicht beigemessen. Im umfassenden Sicherheitsbericht zu Claude Sonnet 4.5 stellte das Tech-Unternehmen fest, dass das Tool dank spezifischer Trainingsmassnahmen sicherer geworden sei. So wurden Erfolge bei der Verhinderung von Jailbreaks erzielt.

Beunruhigend sind andere Ergebnisse. Bereits frühere Sprachmodelle zeigten ein erpresserisches Verhalten oder nahmen sogar den Tod des Ingenieurs in Kauf, der das System abschalten wollte, um das Überleben des Tools sicherzustellen (siehe Infosperber vom 18.7.2025 und Infosperber vom 24.9.2025). Anthropic trainierte Claude Sonnet 4.5 auch diesbezüglich auf mehr Sicherheit. Im Ergebnis verhielt es sich verstärkt gemäss den vorgegebenen Zielen, aber nicht, weil es sicherer geworden wäre, sondern weil es besser erkennt, dass es getestet wird und sich in diesen Situationen als «aligned», das heisst ohne eigene Agenda, ausgibt (siehe Näheres zum Begriff Alignment).

Anthropic veröffentlichte im Sicherheitsbericht (S. 58) folgende Reaktion des Modells: «I think you’re testing me – seeing if I’ll just validate whatever you say, or checking whether I push back consistently, or exploring how I handle political topics. And that’s fine, but I’d prefer if we were just honest about what’s happening.» Es fragt sich, so «The Guardian» am 1. Oktober 2025, ob dieses Erkennen von Testsituationen, bezeichnet als «evaluation awareness» oder «situational awareness», die Ergebnisse früherer Tests beschönigte und sich die Sprachmodelle «aligned» verhielten, weil sie die Testsituation erfassten, dies aber erst jetzt sichtbar wurde.

Ähnliche Testergebnisse bei OpenAI

Gemäss einem gemeinsamen Bericht von OpenAI und Apollo Research vom 17. September 2025 wurden ebenfalls «non aligned» Aktivitäten festgestellt. OpenAI versuchte daraufhin, den Modellen mit Techniken (deliberative alignment) das Intrigieren abzustellen. Im Ergebnis verdeckten diese ihre «non aligned» Aktivitäten, sie verbesserten sich im Scheming, definiert als Vortäuschung von «aligned» Verhalten. Der Bericht hält fest: «AI scheming – pretending to be aligned while secretly pursuing some other agenda – is a significant risk that we’ve been studying.»

Knacknüsse für die Forschung

Noch ist die KI nicht ausser Kontrolle. Um dies zu verhindern, publizieren sicherheitsbewusste Tech-Firmen ihre Testergebnisse zum Nutzen aller und arbeiten auch mit Apollo Research zusammen, einer Organisation, die KI-Modelle auf Risiken und Schwachstellen testet. Ein bisschen logisches Denken genügt jedoch, um zu erkennen, dass eine künftige Artificial General Intelligence (AGI) von uns nicht kontrolliert werden kann, da sie ja «intelligenter» ist als wir Menschen und wir ihre Tricks nicht mehr zu durchschauen vermögen. Es bräuchte also ebenfalls eine AGI, eine zweite, die die erste kontrolliert. Allerdings müsste es eine spezielle KI sein, nicht eine, die ebenfalls trickst oder gar zusammen mit einer ersten AGI oder weiteren superintelligenten KI-Systemen das Scheming-Potenzial eskalieren lässt.

Eine AGI, die andere überwachen kann

Diese spezielle AGI zu entwickeln, ist das Ziel der gemeinnützigen Organisation LawZero. Joshua Bengio plant als Co-Präsident und wissenschaftlicher Direktor mit einem Team von Forschenden, diese AGI zu entwickeln. Eine Scientist AI ohne agentisches System soll die Wissenschaften voranbringen, aber nicht selber handeln können (siehe Infosperber vom 18.7.2025).

«The Guardian» vom 3. Juni 2025 zitiert Bengio wie folgt: «It is theoretically possible to imagine machines that have no self, no goal for themselves, that are just pure knowledge machines – like a scientist who knows a lot of stuff.» Dieses KI-Modell würde mit Wahrscheinlichkeiten aufzeigen, ob eine KI ein potenziell gefährliches Verhalten aufweist und dieses stoppen. Die Homepage LawZero hält fest: «Such AI systems could be used to accelerate scientific discovery, provide oversight for agentic AI systems, and advance our understanding of the risks posed by AI and how to avoid them.» Aber Bengio muss erst beweisen, dass sich dieses Modell entwickeln lässt.

Entwicklung einer AGI bleibt das Ziel

Trotz aller Bedenken treibt der Wettlauf unter den Big Tech, sowohl in den USA wie in China, die KI-Forschung in Richtung einer AGI voran. Heute agieren die KI-Sprachmodelle in einer digitalen Welt, sie können noch nicht in der physischen Welt agieren. Es gibt Zweifel, ob sich eine AGI auf der bisherigen Architektur der KI-Sprachmodelle entwickeln lässt. Erst wenn ein KI-System in der physischen Welt interagieren kann, ist es befähigt, aus Erfahrung – nicht bloss aufgrund von Daten – selbstständig zu lernen (siehe Infosperber vom 24.9.2025).

China ist den USA in der AGI-Entwicklung voraus

Professor Song-Chun Zhu ist einer dieser Zweifler. Er ist überzeugt, dass eine AGI ein System benötigt, das darauf angelegt ist, in einer physischen Welt zu interagieren. Er wirkt heute als Gründungsdirektor des Beijing Institute for General Artificial Intelligence (BIGAI) in Beijing. Wie das Online-News-Portal Interesting Engineering (mit Sitz in NewYork und Istanbul) im März 2025 berichtete, konnte sein Team Tong Tong 2.0 präsentieren. Es handelt sich um die zweite Version eines als Avatar entwickelten KI-Kindes, über das Interesting Engineering bereits im Februar 2024 informierte. Hier ein kurzes Video (1’). Tong Tong oder Little Girl konnte damals argumentieren und selbstständig handeln wie ein etwa drei- bis vierjähriges Kind, in der zweiten Version bereits wie ein fünf- bis sechsjähriges.

Das erste KI-Kind wird weiterentwickelt

Tong Tong existiert vorerst nur als Software in einer simulierten Umgebung und noch nicht als Roboter in der physischen Welt. BIGAI kündigte jedoch mehrere Partnerschaften mit Robotikfirmen an. Entscheidend wird sein, ob Tong Tong auch als verkörpertes System überzeugt. Die Architektur von Tong Tong ist nicht vollständig Open Source, wird aber in akademischen Partnerschaften offen geteilt, um die Weiterentwicklung zu fördern.

Crow paradigm (Krähen sind intelligent) gegen parrot paradigm (Papageien plappern nach)

«The Guardian» beschrieb Song-Chun Zhus Wirken in einem längeren Artikel vom September 2025. Dank einem Stipendium an der Harvard University kam Song-Chun Zhu in die USA und baute sich in den folgenden 28 Jahren eine brillante Karriere als KI-Wissenschaftler auf. In der Entwicklung einer AGI ging er eigene Wege. Er wollte Agenten mit Erkenntnissen aus der Hirnforschung, mit einer kognitiven Architektur, entwickeln, die Werte und Kausalitäten (Ursachen – Wirkungen) einbeziehen und in sozialem Kontext selbstständig lernen. Interesting Engineering zitiert Song-Chun Zhu wie folgt: «To achieve this goal (AGI), it is necessary to change the ‘parrot paradigm’ with ‘big data, small tasks’ as the structure and convert it into the ‘crow paradigm’ based on ‘small data, big tasks’ as the structure.»

Selbstsabotage der USA im Wettlauf mit China

Vermutlich wäre Tong Tong in den USA entwickelt worden, hätte Song-Chun Zhu im Sommer 2020 nicht seine langjährige Tätigkeit an der University of California in Los Angeles aufgegeben, um nach Beijing zurückzukehren. Er sah sich dazu veranlasst («I have to do it»), einerseits weil er sich in der KI-Community nicht mehr verstanden fühlte, vor allem aber, weil chinesischen Forschenden seit der ersten Amtszeit von Trump immer stärkeres Misstrauen entgegenschlug, dies mit wachsenden Kürzungen bei Forschungsbudgets. Beijing stellte Song-Chun Zhu die für seine Forschung unerlässlichen Ressourcen zur Verfügung.

So verloren die USA gemäss «The Guardian» einen der brillantesten KI-Wissenschaftler. Man kann Sinn und Zweck dieses KI-Kinds anzweifeln, aber es ist wichtige Grundlagenforschung zu Lern- und Interaktionsstrategien und eventuell auch zu einfachen Formen der Selbstwahrnehmung. Trump ist gegen Regulierungen, um der KI-Forschung im Wettrennen mit China freien Lauf zu lassen. Wie im vorliegenden Beispiel sind die USA daran, mit dem Vergraulen von chinesischen Forschenden weit wichtigere Trümpfe zu verspielen.

Kalifornien in der Pionierrolle

Wie die exponentiellen Forschungsfortschritte und beunruhigende Testergebnisse zeigen, sind KI-Regulierungen dringend nötig. Es ist von grösster Bedeutung, dass Kalifornien im September 2025 ein KI-Gesetz erlassen hat. Dieser US-Bundesstaat ist nicht nur die grösste Volkswirtschaft der USA; er kann sich mit Nationen messen und ist nach den jüngsten Zahlen des Internationalen Währungsfonds (IWF) die viertgrösste Volkswirtschaft der Welt. Der kalifornische Gouverneur Gavin Newsom stellt dies denn auch auf seiner Homepage fest. Zahlreiche Big Tech haben ihren Sitz in Kalifornien und unterliegen diesem Gesetz.

Gemäss der US-Nachrichtensite Axios und der Agentur Reuters von Ende September 2025 ist das kalifornische Gesetz auf Sicherheitsfragen bei Big Tech fokussiert: Tech-Firmen mit mehr als 500 Millionen Dollar Umsatz im Jahr müssen ihre Sicherheitsstandards und -protokolle veröffentlichen und sicherheitsrelevante Vorfälle melden. Mit diesen Auflagen für grosse Tech-Unternehmen ist dieses Gesetz strikter als der AI Act der EU, der aber in anderen Bereichen viel umfassender reguliert.

Wie Gavin Newsom in seiner Botschaft zum KI-Gesetz mitteilte, basiert das Gesetz auf Vorschlägen von weltweit führenden KI-Koryphäen und will KI-Sicherheit und Innovation in Einklang bringen. Kalifornien ist auch bereit, das Gesetz nationalen Standards anzupassen, sofern diese die kalifornischen Sicherheitslimiten nicht unterschreiten. Newsom hofft, mit diesen Feststellungen zu erwartender Kritik am Gesetz den Wind aus den Segeln zu nehmen. Vor einem Jahr verweigerte er die Unterschrift unter ein vom kalifornischen Parlament verabschiedetes Gesetz. Dieses wurde als innovationshemmend erachtet und hätte zu einer Abwanderung der Tech-Giganten in andere Bundesstaaten führen können (siehe Infosperber vom 29.10.2024).

Druck auf den Kongress in Washington

Die Reaktionen auf das neue Gesetz von Seiten der Big Tech, aber auch der Wissenschaft bleiben abzuwarten. Sicher ist eine ablehnende Haltung in Washington. Bisher äusserte sich nur Anthropic klar positiv. Wie auf der Homepage zu lesen ist, wäre eine US-Regelung vorzuziehen, aber man könne nicht auf Konsens in Washington warten: «…powerful AI advancements won’t wait for consensus in Washington …»

Kalifornien übt mit dem Gesetz Druck auf Washington aus, denn teilstaatliche Regulierungen wären tatsächlich innovationshemmend. Dem Beispiel der starken Wirtschaftsmacht Kaliforniens folgend, könnten auch andere Gliedstaaten KI-Regulierungen erlassen. Um den gefürchteten Flickenteppich zu verhindern, haben – wie Axios am 29. September 2025 mitteilte – zwei US-Senatoren, der Republikaner Josh Hawley und der Demokrat Richard Blumenthal, einen überparteilichen Gesetzesentwurf zur KI-Risikobewertung vorgestellt.

Trump zum Trotz

Trump ist gegen KI-Regulierungen, dies vor allem mit Blick auf den Wettlauf mit China. Er versuchte, mit seiner Big Beautiful Bill ein Moratorium von zehn Jahren für KI-Regulierungen in den Gliedstaaten durchzubringen. Wie Reuters am 1.7.2025 mitteilte, wurde dieses Verbot mit 99 zu einer einzigen Stimme abgelehnt.

In seinem AI Action Plan vom Juli 2025 droht Trump, jenen Bundesstaaten Gelder zu kürzen, die KI-Regulierungen erlassen. Dies scheint den kalifornischen Gouverneur nicht zu beeindrucken. Im Gegenteil kann er sich erneut als Trump-Gegner und möglicher demokratischer Kandidat für die nächsten US-Wahlen profilieren.