Eine Schweizer Pionierleistung für KI-Sprachmodelle

Red. Als Vizekanzlerin im Bundeshaus von 1991 bis 2005 leitete die Autorin verschiedene Digitalisierungsprojekte. Nach der Pensionierung engagierte sie sich ehrenamtlich für die Digitalisierung im Bildungsbereich. Heute analysiert Hanna Muralt Müller Chancen und Risiken der künstlichen Intelligenz in ihren Newslettern.

Ein Schweizer Sprachmodell als Meilenstein im Spätsommer

Anfang Juli 2025 präsentierten die beiden Eidgenössischen Technischen Hochschulen, ETHZ und EPFL, an einem Treffen in Genf rund 50 führenden Organisationen ihr Open-Source-Sprachmodell. Wie aus ihren News (ETHZ, EPFL) vom 9. Juli 2025 hervorgeht, soll dieses im Spätsommer nach den letzten Tests zur allgemeinen Verfügung stehen. Das Sprachmodell ist institutionell und finanziell eigenständig entwickelt worden, versteht sich aber als Schweizer Beitrag innerhalb der europäischen Open-Source-Bewegung und will die digitale Souveränität Europas fördern.

Das Schweizer Sprachmodell ist vollständig offen – auch die Trainingsdaten und weitere Parameter. Es weist einige Besonderheiten auf. So wurde es mit einem grossen Datensatz von über 1500 Sprachen trainiert, wobei 60 Prozent aus englisch- und 40 Prozent aus anderssprachigen Daten stammen. Es wird eine mehrsprachige Kompetenz in über 1000 Sprachen aufweisen. Hinzu kamen Code- und Mathematikdaten. Es soll in zwei Grössen, mit 8 Milliarden und mit 70 Milliarden Parametern, veröffentlicht werden. Die grössere Version wird zu den leistungsstärksten, vollständig offenen Modellen weltweit gehören.

Mit dem Modell werden die schweizerischen Datenschutzgesetze, das schweizerische Urheberrecht und alle Auflagen, insbesondere jene betreffend Transparenz, des AI Act der EU eingehalten. Das Training des Modells erfolgte am Supercomputer Alps des Swiss National Supercomputing Centre in Lugano, CSCS, dies zu 100 Prozent klimaneutral.

Die Entwicklung des Schweizer Sprachmodells geht zurück auf die im Dezember 2023 von ETHZ und EPFL lancierte Swiss AI Initiative, die von mehr als zehn wissenschaftlichen Institutionen in der ganzen Schweiz mit über 800 beteiligten Forschenden mitgetragen wird. Die Geschäftsführung liegt bei dem im Oktober 2024 von ETHZ und EPFL gegründeten Swiss National AI Institute (SNAI), im Zusammenwirken des ETH AI Center und des EPFL AI Center.

Innovation beim Urheberrecht

Auch mit Bezug auf das Urheberrecht geht das Schweizer Sprachmodell neue Wege. Dieses wurde bei den bisherigen Sprachmodellen nicht beachtet. Zahlreiche Klagen sind denn auch noch hängig. In den News von ETHZ und EPFL erwähnen die Projektleitenden des Schweizer Sprachmodells eine aktuelle Studie, in der sie nachweisen, dass es für die meisten alltäglichen Aufgaben und den allgemeinen Wissenserwerb praktisch keine Leistungseinbussen gibt, wenn bei der Datengewinnung ein Opting-out-Verfahren angewandt wird — und damit gewisse Web-Inhalte wegen des Urheberrechts nicht genutzt werden.

Kompetitive Forschung und Kooperation – auch mit Big Tech

ETHZ und EPFL suchen stets eine enge Zusammenarbeit mit anderen, insbesondere den europäischen KI-Forschungsstellen. An der Präsentation in Genf nahmen auch Vertretungen von laufenden Sprachmodell-Projekten in Europa teil. Das Treffen war somit auch Auftakt zum Aufbau eines dynamischen und kollaborativen internationalen Ökosystems als vertrauenswürdige Alternative zu Sprachmodellen der USA und Chinas mit ihren proprietären oder nur halb offenen Angeboten.

Dies entspricht voll der Idee der europäischen Open-Source-Bewegung. Es gibt Wettbewerb um Exzellenz und gleichzeitig Kooperation. Was die einen entwickeln, verwenden andere mit innovatorischem Ehrgeiz für noch bessere Produkte und Dienstleistungen. Der wissenschaftliche Fortschritt baut stets auf den Vorleistungen anderer auf. Forschung entwickelt sich am besten in eigentlichen Ökosystemen, der gezielten Kooperation unter Partnerorganisationen, Forschungsstellen, Hochschulen, Start-ups und mit der Industrie, auch Big Tech.

In den News von ETHZ und EPFL erwähnt der Direktor des CSCS, ETHZ-Professor Thomas Schulthess ausdrücklich, dass das Training auf dem Supercomputer Alps nur dank strategischen Investitionen und einer langjährigen Zusammenarbeit mit NVIDIA (im Supercomputer Alps eingebaute Superchips) und HPE Cray (Supercomputer Cray EX von Hewlett Packard Enterprise) möglich wurde und aufzeigt, wie gemeinsame Anstrengungen von öffentlichen Forschungseinrichtungen mit branchenführenden Unternehmen offene Innovationen fördern können.

Unterschiedliche Strategien bei der Entwicklung von Sprachmodellen

Sprachmodelle kodifizieren mit den Sprachen auch die Werte, die Kultur und Geschichte eines Landes. Es ist deshalb für die europäischen Staaten wichtig, über eigene Sprachmodelle zu verfügen, die den europäischen Werten entsprechen. Im Zentrum der Werte stehen Anforderungen des Datenschutzes und der Transparenz sowohl der Trainingsdaten als auch weiterer wichtiger Parameter. Als Open-Source-Basismodelle fördern sie kooperative Systeme und sind zudem ein wichtiger Beitrag, generative KI sicherer zu machen.

Mit diesen Anforderungen verfolgen die europäischen Staaten Open-Source-Sprachmodelle mit ihrer eigenen Strategie. Sie setzen sich damit von den Strategien in den USA und China ab. In den USA wurden die Sprachmodelle bisher vor allem businessgetrieben als proprietäre Angebote entwickelt. Die jüngsten chinesischen Modelle – wie DeepSeek – stehen kostenlos zur Weiterentwicklung zur Verfügung. Sie sind aber nur halbwegs Open Source, weil die Trainingsdaten und andere wichtige Parameter nicht offengelegt werden. Als nur halbwegs Open-Source-Angebote genügen sie den Anforderungen der europäischen Länder nicht (siehe Infosperber vom 4.7.2025).

Trainingsdaten kodifizieren politische und kulturelle Werte

Die Trainingsdaten sind alles andere als belanglos. Die bekanntesten bisherigen Sprachmodelle sind grösstenteils mit englischsprachigem Datenmaterial trainiert. Sie reflektieren die in den englischsprachigen Begriffen und Sprachmustern eingebundenen Werte mitsamt ihrer auch politischen Kultur. Die Vielfalt der europäischen Sprachen mit ihrer je unterschiedlichen Geschichte und ihren Traditionen werden damit nicht abgebildet. Es ist deshalb unerlässlich, dass mit eigenen Sprachmodellen dieses Erbe gepflegt und weiterentwickelt wird. Die EU und die Schweiz haben bereits begonnen, ihre Sprachmodelle zu entwickeln. Sie richten sich nach europäischen Standards aus und sie wollen auch den Anforderungen im AI Act der EU entsprechen.

Mit Teuken-7B gibt es bereits ein halbwegs offenes Open-Source-Modell

Seit Ende November 2024 steht mit Teuken-7B ein europäisches mehrsprachiges Open-Source-Sprachmodell auf Hugging Face zum kostenlosen Download bereit. Entwickelt wurde es unter der Leitung der beiden deutschen Fraunhofer Institute, des Instituts für Intelligente Analyse- und Informationssysteme, IAIS, und des Instituts für Integrierte Schaltungen, IIS. Während selbst als mehrsprachig bezeichnete Sprachmodelle oft nur fünf Prozent nicht-englischsprachige Daten enthalten, wurde Teuken-7B zu 50 Prozent mit Daten aus allen 24 Amtssprachen der EU trainiert. Wie im Beschrieb auf Hugging Face festgehalten, sind wichtige Parameter, darunter die Trainingsdaten, nicht öffentlich und nur auf Verlangen (available on request) verfügbar. Teuken-7B wurde bereits im Infosperber vom 28.1.2025 näher beschrieben.

OpenEuroLLM – ein Open-Source-Projekt eines europäischen Konsortiums

Im Februar 2025 kündigte ein europäisches Konsortium unter Führung der EU-Kommission an, mit OpenEuroLLM eine Reihe von Sprachmodellen erarbeiten zu wollen (Medienmitteilung von OpenEuroLLM vom 3.2.2025). Das Projekt vereint zwanzig europäische Forschungseinrichtungen, Start-ups und Unternehmen im Verbund mit der Hochleistungsrecheninfrastruktur EuroHPC JU (European High Performance Computing Joint Undertaking). Dieses 2018 gegründete Unternehmen mit Sitz in Luxemburg ermöglicht es der EU und weiteren Teilnehmenden (nicht EU-Mitglieder und private Organisationen) ihre Rechenressourcen an verschiedenen europäischen Standorten zu bündeln. Gemäss einer Mitteilung des Konsortiums vom Mai 2025 ist die EU daran, die Rechenkapazität des EuroHPC JU zu verdoppeln. Die Schweiz ist nicht assoziiert.

OpenEuroLLM will nicht nur den Quellcode, die zugehörige Software mitsamt Evaluierungsergebnissen, sondern auch die Trainingsdaten öffentlich zugänglich machen. OpenEuroLLM soll mit allen EU- und zusätzlich weiteren Sprachen trainiert werden.

Mit dem (Geld)Segen der EU

Gemäss Medienmitteilung der EU-Kommission (ebenfalls bereits am 3.2.2025) erhielt das Projekt das prestigeträchtige Siegel STEP (Strategic Technologies for Europe Platform). Damit fliessen nicht nur 20,6 Millionen aus EU-Fördertöpfen, sondern das Projekt wird auch für weitere Investoren attraktiv. Im Februar 2025 verfügte das Projekt über ein Gesamtbudget von 37,4 Millionen Euro.

Ressourcen kommen auch aus der angestrebten engen Zusammenarbeit mit der Open-Source-Bewegung. In dieser wirken weltweit zahlreiche Spitzenkräfte mit, die aus Interesse und Passion an Open-Source-Entwicklungen ihr enormes Wissen zum Teil auch unentgeltlich einbringen. Speziell erwähnt werden mit LAION und OpenML zwei wichtige Communities.

Gemäss der Medienmitteilung von OpenEuroLLM vom 3. Februar 2025 soll das Sprachmodell in verschiedenen Versionen entwickelt werden. Anpassbar auf die je spezifischen Bedürfnisse der Industrie und des öffentlichen Sektors sollen diese die Entwicklung hochwertiger Produkte und Dienstleistungen ermöglichen, die sprachliche und kulturelle Vielfalt widerspiegeln und zur digitalen Souveränität beitragen. Wann OpenEuroLLM vorliegen soll, wird nicht präzisiert. Es dürfte bei diesem Grossprojekt noch etwas dauern.

Auch hier kann auf bereits Erarbeitetem aufgebaut werden. So wirken wichtige Akteure, die Teuken-7B entwickelten, wiederum bei OpenEuroLLM mit, so das deutsche Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme, IAIS, und das deutsche besonders innovative Start-up Aleph Alpha (siehe Medienmitteilung von OpenEuroLLM vom 3.2.2025). 

ETHZ und EPFL sind ebenfalls mit dem EU-Projekt indirekt gut vernetzt. Die beiden AI Center von ETHZ und EPFL wirken beim europäischen Exzellenznetzwerk ELLIS mit, dem European Laboratory for Learning and Intelligent Systems mit rund 40 KI-Hotspots in Europa. Dieses wiederum ist mit einem Institut an der Entwicklung von OpenEuroLLM beteiligt.

Das Swiss National Supercomputing Centre (CSCS) ist Mitglied und Partner des LUMI-Konsortiums im Rechenzentrum Kajaani, Finnland, und dieses wird vom CSC – IT Center for Science in Finnland gehostet, welches beim OpenEuroLLM als eines der Rechenzentren eine wichtige Funktion einnimmt (Mitteilung des Konsortiums vom Mai 2025).

Black Box – nicht nachvollziehbar, wie Sprachmodelle funktionieren

Nach wie vor ist selbst für die Forschung unklar, wie genau die KI ihre Antworten auf Anfragen, die sogenannten Prompts, generiert. Die KI konfiguriert ihre Antwort nach dem Wahrscheinlichkeitsprinzip aus einer Vielzahl von Möglichkeiten, die sich aus den Trainingsdaten und dem Trainingsprozess ergeben. Die Eingaben und die Antworten sind bekannt und dazwischen findet eine Unmenge nicht nachvollziehbarer Prozesse statt. Es ist die berühmte Black Box. Sprachmodelle generieren zuweilen aufgrund der Daten und Trainingsprozesse auch unerwartete Antworten.

Sprachmodell Grok entgleist

Wie wichtig Trainingsdaten und der Trainingsprozess sind, zeigt sich aktuell bei Grok, dem Sprachmodell von Elon Musks Firma xAI. Grok, integriert in die Plattform X (früher Twitter), sollte sich als Sprachmodell von allen andern abheben, die Musk als «woke» bezeichnet. Der Begriff steht für eine politische oder kulturelle Haltung mit starker Sensibilität für soziale Gerechtigkeit, Gleichstellung und Minderheitenrechte. Mit seiner exzessiven Auslegung der Meinungsäusserungsfreiheit entschied sich Musk zudem für sogenannte Community Notes anstelle eines Faktenchecks. Auf der Plattform bleibt stehen, was die Zustimmung der Nutzenden findet (unabhängig davon, was Fakt ist).

Kürzlich protestierten User, weil Grok «woke» Antworten gab. Gemäss einem Bericht der US-Website The Daily Beast vom 6. Juli 2025 machte Grok die Kürzungen Musks bei den für die Wetterprognosen zuständigen Behörden verantwortlich für die Toten bei den Überschwemmungen in Texas. Und dann stellte Grok auch noch fest, der Klimawandel werde noch zu weiteren Katastrophen führen: «Ignoring it – regardless of politics – won’t stop the trend; global emissions cuts are needed.»

Fast gleichzeitig kippten Groks Antworten mit einer Flut von antisemitischen Tiraden und Hymnen auf Hitler ins extremistische Lager. Wie Business Insider am 12. Juli 2025 meldete, musste sich xAI für diese Entgleisungen entschuldigen. Es ist nicht klar, was zu diesen Hassreden führte. Business Insider spricht von neuen Anweisungen für Grok und von extremistischen Beiträgen, die User auf X gestellt hätten und die Grok als Daten nutzte. Dies ist nicht unwahrscheinlich, können doch Community Notes Falschmeldungen oder Hassreden meist nicht stoppen und sie können diese gar verstärken, wenn sie Zustimmung erhalten.

Qualitativ hochstehende Daten sind essenziell. Leider wird das Internet generell immer stärker mit Müll geflutet. Insbesondere von KI erzeugtes Datenmaterial kann zu chaotischen Zuständen führen. Garbage in, garbage out – so werden Sprachbots unbrauchbar (siehe Infosperber vom 15.7.2025).

Wirklich beunruhigende Phänomene

Die Entgleisungen von Grok sind vor allem auf ein Management zurückzuführen, das Sorgfaltspflichten ausser Acht lässt. Solche Sprachmodelle sind eine Gefahr für die Meinungsbildung und nicht ungefährlich. Es gibt aber auch bei KI-Firmen, die ihre volle Verantwortung für ihre Sprachmodelle wahrnehmen, erstaunliche, ja beunruhigende Phänomene.

Gemäss dem US-Online-Nachrichtenportal TheTechCrunch vom 22. Mai 2025 eignete sich das Sprachmodell von Anthropic, Claude Opus 4, ein erpresserisches Verhalten an. Offensichtlich wurde dies bei Sicherheitstests. Das Sprachmodell erhielt Zugang zu zwei für diesen Zweck erstellte fiktive E-Mails. Das erste informierte, dass der Ingenieur das System durch ein anderes ersetzen wolle. Das zweite enthielt die Fake-News, er habe eine aussereheliche Beziehung. Tatsächlich nutzte das Sprachmodell diese beiden Aussagen, um den Ingenieur zu erpressen. Es drohte, es mache seine aussereheliche Beziehung publik, sollte er nicht sofort davon absehen, das Sprachmodell ersetzen zu wollen.

Sicherheitsfragen – ein Thema beim Start-up Anthropic

Anthropic verstärkte auf diesen Vorfall hin die Sicherheitsvorschriften, wie die US-Nachrichtenwebsite Axios am 23. Mai 2025 mit einem Link auf die Homepage von Anthropic festhielt. Diese Site gibt Einblick in die Tests und Schutzmassnahmen des Unternehmens. Es geht insbesondere um die Verhinderung von Jailbreaks – der geschickten Umgehung von gesperrten Nutzungen. Die Firma trainiert ihre KI, damit sie bei Fragen zum Erwerb oder zur Erstellung von chemischen, biologischen, radiologischen und nuklearen Waffen keine Anleitung gibt. Der CEO von Anthropic, Dario Amodei verliess mit seiner Schwester Daniela bereits Ende 2020 OpenAI und gründete Anthropic, weil er die KI stärker auf Sicherheitsfragen ausrichten wollte (siehe Infosperber vom 29.10.2024). Er veröffentlicht denn auch die Testberichte (hier ein Beispiel), damit andere in der KI-Branche daraus Nutzen ziehen können.

Immer leistungsfähiger – Sicherheit wird wichtiger

Eine Zusammenarbeit bei Sicherheitsfragen ist auch unter Konkurrenten proprietärer Systeme dringend. Noch ist es nicht so weit, dass eine KI derart potent ist, dass sie den Entwicklern entgleiten und ausser Kontrolle geraten könnte. Aber, wie die US-Nachrichtenwebsite Axios im Mai 2025 Dario Amodei zitiert, könnte es sein, dass das Testen der Modelle künftig nicht mehr genügt und neue Wege zur Sicherung gefunden werden müssen (…«Dario Amodei said that once models become powerful enough to threaten humanity, testing them won’t enough to ensure they’re safe. At the point that AI develops life-threatening capabilities, he said, AI makers will have to understand their models› workings fully enough to be certain the technology will never cause harm»). Mit Sicherheitsfragen befassen sich zum Beispiel auch Google DeepMind und jüngst verstärkt OpenAI.

Neue Wege für künftige KI

Der kanadische Spitzenforscher Yoshua Bengio, der zusammen mit Geoffrey Hinton und Yann LeCun 2018 den berühmten Turing Award zugesprochen erhielt, warnt seit langem vor grossen KI-Risiken. Er hatte den Vorsitz bei der Erstellung des weltweit ersten umfassenden Berichts zu KI-Sicherheitsfragen. Rund 100 KI-Expertinnen und Experten arbeiteten bei diesem International AI Safety Report 2025 mit. Er wurde am dritten internationalen AI-Summit in Paris im Februar 2025 präsentiert, aber leider nicht gross diskutiert (siehe Infosperber vom 19.3.2025).

Nun hat Yoshua Bengio mit LawZero eine gemeinnützige Organisation ins Leben gerufen und arbeitet als Co-Präsident und Wissenschaftlicher Direktor an einem System mit, das er als Scientist AI bezeichnet. Mit einem beachtlich grossen Team wird nun eine wissenschaftliche KI erarbeitet, die nicht selbständig planen und handeln soll wie die zurzeit gehypten KI-Agenten, die gemäss Bengio ausser Kontrolle geraten könnten. Scientist AI soll deshalb auch als Leitplanke für diese KI-Agenten genutzt werden können. Ein kurzer Beschrieb findet sich auf arXiv, der Open-Access-Plattform der Cornell University.

Es wird noch etwas Zeit brauchen, bis Scientist AI entwickelt ist. Aber mit dem Sprachmodell der beiden Eidgenössischen Technischen Hochschulen liegt demnächst eine Basis für Weiterentwicklungen vor, die wegen der völligen Offenlegung aller Parameter, inklusive der Trainingsdaten, den Aufbau von sichereren Sprachmodellen ermöglicht.