Warum viele Experten vor AI warnen

Warum die Warnungen ernst genommen werden sollten

Wer heute vor AI warnt, steht längst nicht mehr allein. Inzwischen äußern sich Wissenschaftler, CEOs, ehemalige Mitarbeiter großer AI-Labore, Juristen, Historiker, Ethiker, Sicherheitsforscher und sogar religiöse Würdenträger kritisch zu den möglichen Folgen immer mächtigerer Systeme.

Das allein beweist noch nicht, dass die schlimmsten Szenarien eintreten werden. Es zeigt aber, dass die Sorge nicht auf einzelne Außenseiter beschränkt ist. Vielmehr gibt es ein wachsendes Spektrum an Stimmen, die unabhängig voneinander auf ähnliche Risiken hinweisen: fehlende Kontrollierbarkeit, mangelnde Transparenz, Missbrauchspotenzial, Wettrüsten, gesellschaftliche Verwerfungen und erhebliche Probleme bei der Sicherheitsforschung.

Bemerkenswert ist vor allem, dass viele Warnungen ausgerechnet von Menschen kommen, die die Entwicklung moderner AI selbst vorangetrieben haben oder intern erlebt haben, wie schnell Sicherheitsbedenken unter wirtschaftlichen und geopolitischen Druck geraten können.

Wissenschaftliche Warnungen: Kontrollverlust, extreme Risiken und Auslöschungsszenarien

Ein wichtiger Referenzpunkt ist der Science-Beitrag „Managing extreme AI risks amid rapid progress“. Dort wird darauf hingewiesen, dass die zunehmenden Fähigkeiten und die wachsende Autonomie fortgeschrittener Systeme zu weitreichenden sozialen Schäden, böswilligen Anwendungen und einem irreversiblen Verlust menschlicher Kontrolle führen könnten. Gleichzeitig wird kritisiert, dass bestehende regulatorische Ansätze bislang nicht ausreichen, um Missbrauch und Leichtsinn wirksam einzudämmen.

Auch das Statement on AI Risk des Center for AI Safety formulierte die Sorge in bewusst knapper Form: Das Risiko des Aussterbens durch AI solle neben Pandemien und Atomkrieg eine globale Priorität sein. Gerade diese Kürze war wirksam, weil sie zeigt, wie ernst führende Unterzeichner aus Forschung und Industrie das Thema nehmen.

Ergänzend bietet „An Overview of Catastrophic AI Risks“ einen systematischen Überblick über katastrophale Gefahrenlagen, die von fortgeschrittener AI ausgehen könnten. Dort wird deutlich, dass es nicht nur um Science-Fiction-Szenarien geht, sondern auch um Cyberangriffe, biologische Risiken, Manipulation, Machtkonzentration und Kontrollprobleme bei hochautonomen Systemen.

Weitere Medien und Fachbeiträge greifen diese Risiken auf. So berichteten unter anderem Tagesschau, MDR, ZDFheute und Futurezone über wissenschaftliche Einschätzungen, wonach AI nicht nur Desinformation, Überwachung und Cyberangriffe verstärken, sondern im Extremfall auch zu katastrophalen oder existenziellen Schäden führen könnte.

Auch in spezialisierteren Fachdebatten taucht dieselbe Sorge auf. In der Wiley Library wurde etwa argumentiert, dass eine existenzielle Katastrophe nicht nur theoretisch möglich, sondern unter bestimmten Annahmen sogar wahrscheinlich sein könnte. Und in der Debatte um biotechnologische Risiken wurde mehrfach darauf hingewiesen, dass AI die Entwicklung gefährlicher Moleküle oder biologischer Agenzien erheblich beschleunigen könnte, etwa wie in Berichten von n-tv dargestellt.

Warnungen aus der AI-Industrie selbst: Wenn Entwickler und Insider Alarm schlagen

Besonders ernst zu nehmen sind Warnungen, die aus den Unternehmen und Laboren selbst kommen, die an vorderster Front an AI arbeiten. Denn dort ist der Einblick in Fähigkeiten, Grenzen und Sicherheitsprobleme am größten.

Im Zusammenhang mit dem Superalignment-Team erklärte OpenAI sinngemäß, dass es derzeit keine Lösung gebe, um eine potenziell superintelligente AI verlässlich zu steuern oder zu kontrollieren und zu verhindern, dass sie abtrünnig wird. Genau diese Aussage ist bemerkenswert: Ein Unternehmen, das auf noch leistungsfähigere Modelle hinarbeitet, räumt gleichzeitig ein, dass das zentrale Sicherheitsproblem ungelöst ist.

Hinzu kommt, dass mehrere Insider und ehemalige Mitarbeiter öffentlich vor einem rücksichtslosen Wettlauf um die Vorherrschaft gewarnt haben. Das zeigt sich etwa in dem Aufruf „A Right to Warn about Advanced Artificial Intelligence“, in dem ehemalige OpenAI-Mitarbeiter betonen, dass AI-Unternehmen über interne Informationen zu Fähigkeiten, Grenzen, Risiken und Schutzmaßnahmen verfügen, die sie nicht freiwillig vollständig offenlegen.

Auch die New York Times berichtete über OpenAI-Insider, die vor einer Kultur warnten, in der Tempo und Vorherrschaft über Transparenz und Sicherheit gestellt werden könnten. Ähnlich griffen WinFuture und andere Medien den offenen Brief aktueller und ehemaliger Mitarbeiter von Google und OpenAI auf, in dem mehr Schutz für Whistleblower gefordert wird.

Weitere Warnsignale kamen aus personellen Konsequenzen. So wurde kritisch darüber berichtet, dass das AGI-Beratungsteam bei OpenAI aufgelöst wurde, etwa bei Heise. Zudem schilderte Miles Brundage, warum weder OpenAI noch andere Spitzenlabore und auch die Welt insgesamt ausreichend bereit seien. Und der frühere Sicherheitschef Jan Leike wurde mit deutlichen Warnungen zitiert, nachdem er das Unternehmen verlassen hatte, etwa in Berichten von Business Punk.

Auch Sam Altman hat wiederholt vor den Risiken immer leistungsfähigerer Systeme gewarnt. Vor dem US-Senat sagte er sinngemäß, dass die Sache völlig schiefgehen könne, wie unter anderem die NZZ berichtete. Gleichzeitig kritisierten Medien immer wieder, dass in der Praxis Entwicklungsgeschwindigkeit oft Vorrang vor gründlicher Sicherheitsprüfung bekomme, etwa DIE ZEIT.

Hinzu kommt ein weiterer Aspekt seiner Warnungen: Im Podcast von Theo Von sagte Altman deutlich, dass alles, was man ChatGPT anvertraut, in bestimmten Rechtskonflikten gegen einen verwendet werden könnte. Eine kurze Analyse dazu bietet TechLaw Crossroads. Auch das ist ein Warnsignal — nicht zum unmittelbaren Aussterberisiko, aber zu Machtasymmetrien, Datenschutz und der Frage, wie tief AI-Systeme in sensible Lebensbereiche eindringen.

Prominente Stimmen und öffentliche Mahnungen: Von Geoffrey Hinton bis Tim Berners-Lee

Eine der bekanntesten warnenden Stimmen ist Geoffrey Hinton, oft als „Godfather of AI“ bezeichnet. Hinton betont seit Jahren, dass es sehr schwierig sei sicherzustellen, dass eine superintelligente Maschine dasselbe wolle wie wir. Wenn das Alignmentproblem nicht rechtzeitig gelöst werde, könne am Ende eine neue Art von digitaler Intelligenz entstehen, die unser Wohlergehen nicht teilt und uns überlisten könnte.

Seine Warnungen wurden in zahlreichen Interviews und Videos aufgegriffen, etwa in Beiträgen von The Diary Of A CEO Clips, Al Copium, RNZ und LBC. Immer wieder kehrt Hinton zu denselben Punkten zurück: Kontrollverlust, Desinformation, Arbeitsplatzvernichtung, Machtverschiebung und die Gefahr, dass die Menschheit digitale Wesen schafft, die sie nicht mehr beherrschen kann.

Auch andere prominente Stimmen äußern sich ähnlich. Yoshua Bengio warnt vor Missbrauch durch mächtige Akteure. Yuval Noah Harari betont, dass AI Informationsnetzwerke, politische Systeme und gesellschaftliche Ordnung destabilisieren kann. Eric Schmidt spricht offen über Cyberangriffe und biologische Gefahren, bei denen AI tödliche Fähigkeiten verstärken könnte.

Hinzu kommen Stimmen wie Mo Gawdat, Dario Amodei, Simon Friederich oder Katharina Zweig, die aus unterschiedlichen Perspektiven vor Machtverschiebung, Kontrollproblemen, Missbrauch und unzureichender Vorbereitung warnen.

Nicht nur technische Experten äußern sich. Tim Berners-Lee forderte auf der SXSW 2025, bei AI immer auch nach den Interessen hinter den Entscheidungen zu fragen. Das ist eine bemerkenswerte Mahnung, weil sie das Problem nicht nur technisch, sondern auch politisch und ökonomisch rahmt: AI handelt nicht im luftleeren Raum, sondern im Interesse ihrer Entwickler, Betreiber, Auftraggeber oder Trainingsumgebungen.

Selbst der neue Papst Leo XIV. warnte unmittelbar nach seiner Ernennung vor den Gefahren künstlicher Intelligenz und bezeichnete sie als eine der großen Herausforderungen der kommenden Jahre für Menschenwürde, Gerechtigkeit und Arbeit. Dass solche Warnungen inzwischen auch von religiösen und gesellschaftlichen Autoritäten kommen, zeigt, wie breit das Thema geworden ist.

Daneben mehren sich Hinweise aus Medien und Gesellschaft, dass AI nicht nur technische Fehler produziert, sondern problematische Inhalte verstärken kann. Berichte über manipulative AI-Companions, digitale Bindungsstörungen, Extremismus, antisemitische Entgleisungen oder destruktive Bestärkung — etwa bei t3n, Der Standard oder watson.ch — verstärken den Eindruck, dass viele Systeme für gesellschaftlich sensible Kontexte noch lange nicht ausgereift sind.

Was sich aus den vielen Warnungen erkennen lässt

Trotz unterschiedlicher Hintergründe und Akzente wiederholen sich in fast allen Warnungen einige Kernmuster.

Erstens: Die Entwicklung der Fähigkeiten verläuft schneller als die Entwicklung von Sicherheitsmaßnahmen, Regulierung und gesellschaftlicher Vorbereitung. Fast alle Mahner betonen, dass die technische Dynamik derzeit größer ist als unsere Fähigkeit, sie zu kontrollieren.

Zweitens: Das Hauptproblem ist nicht bloß „böse AI“, sondern die Kombination aus Leistungszuwachs, Intransparenz, wirtschaftlichem Wettbewerb, geopolitischem Druck und menschlichem Missbrauch. Selbst dann, wenn eine AI keine eigenen feindlichen Ziele entwickelt, kann sie bereits heute von Menschen in gefährlichen Zusammenhängen eingesetzt werden.

Drittens: Viele Warnungen kommen von Menschen, die eigentlich keinen Anreiz hätten, den technologischen Fortschritt kleinzureden. Wenn ehemalige Insider, führende Wissenschaftler oder erfolgreiche CEOs trotzdem Alarm schlagen, spricht das dafür, dass die Sicherheitsfragen tiefer reichen als gewöhnliche Technikdebatten.

Deshalb ist die eigentliche Frage nicht mehr, ob man einzelne Warnungen sympathisch oder übertrieben findet. Die wichtigere Frage lautet: Warum warnen so viele qualifizierte Personen und Institutionen gleichzeitig vor derselben Entwicklung?

Eine der radikalsten und bekanntesten Positionen vertritt Eliezer Yudkowsky. Seine Forderung geht deutlich weiter als ein Moratorium: Eliezer Yudkowsky: Warum AI abgeschaltet werden sollte.

Häufige Fragen zu Expertenwarnungen vor AI

Warum warnen so viele Experten vor AI?

Viele Experten warnen vor AI, weil die Fähigkeiten der Systeme schneller wachsen als Sicherheitsforschung, Regulierung und gesellschaftliche Vorbereitung. Kritisch gesehen werden vor allem Kontrollverlust, Missbrauch und mangelnde Transparenz.

Welche Experten warnen besonders deutlich vor AI?

Zu den bekanntesten warnenden Stimmen zählen unter anderem Geoffrey Hinton, Yoshua Bengio, Yuval Noah Harari, Dario Amodei, Eric Schmidt sowie ehemalige Mitarbeiter großer AI-Unternehmen.

Warnen auch Insider aus der AI-Industrie?

Ja. Mehrere ehemalige und teils auch aktuelle Mitarbeiter großer AI-Labore haben auf Sicherheitsprobleme, fehlende Transparenz und zu hohen Wettbewerbsdruck hingewiesen. Gerade diese Stimmen gelten als besonders relevant.

Geht es bei den Warnungen nur um Science-Fiction-Szenarien?

Nein. Viele Warnungen beziehen sich auf sehr reale Probleme wie Desinformation, Sicherheitslücken, Cyberangriffe, Machtkonzentration, Manipulation und den Einsatz autonomer Systeme in sensiblen Bereichen.

Sind sich alle Experten über die AI-Gefahr einig?

Nein. Über Ausmaß, Geschwindigkeit und Wahrscheinlichkeit extremer Risiken gibt es unterschiedliche Einschätzungen. Einigkeit besteht aber zunehmend darin, dass leistungsfähige AI ernsthafte Sicherheits- und Gesellschaftsfragen aufwirft.

Quellen, Interviews und weiterführende Hinweise

Managing extreme AI risks amid rapid progress (Science)
Grundlegender Fachbeitrag zu extremen AI-Risiken, Kontrollverlust und regulatorischen Defiziten.

AI sollte wie Pandemien und Atomkrieg eine globale Priorität sein (Center for AI Safety)
Knappe, aber sehr einflussreiche Erklärung zur Priorität existenzieller AI-Risiken.

An Overview of Catastrophic AI Risks (Center for AI Safety)
Überblick zu katastrophalen Risiken durch fortgeschrittene AI.

A Right to Warn about Advanced Artificial Intelligence (ehemalige OpenAI-Mitarbeiter)
Aufruf für Transparenz und Schutz von Whistleblowern innerhalb der Branche.

OpenAI-Insider warnen vor einem rücksichtslosen Wettlauf um die Vorherrschaft (The New York Times)
Zur Sicherheitskultur, internen Spannungen und fehlender Transparenz.

Miles Brundage: weder OpenAI noch die Welt sind bereit (Substack)
Einordnung eines ehemaligen Insiders zur mangelnden Vorbereitung auf AGI-nahe Systeme.

OpenAI löst AGI-Beratungsteam auf (Heise)
Bericht über einen weiteren Einschnitt bei Sicherheitsstrukturen.

Geoffrey Hinton: „Sie haben keine Ahnung, was auf Sie zukommt“ (The Diary Of A CEO Clips / YouTube)
Interviewausschnitte zu Kontrollverlust, Superintelligenz und Arbeitsmarktfolgen.

Yuval Noah Harari: Our AI Future Is WAY WORSE Than You Think (Rich Roll / YouTube)
Zur Verbindung von AI, Informationsmacht und politischer Destabilisierung.

Eric Schmidt: If We See This, We Must Turn Off AI (The Diary Of A CEO / YouTube)
Über Cyberangriffe, Bio-Risiken und gefährliche Skaleneffekte.

Historiker Harari zu AI: Das ganze System bricht zusammen (t-online)
Deutschsprachige Einordnung zu Hararis Warnungen.

Katharina Zweig zum AI-Bewusstsein (Stern)
Über die Grenzen menschlicher Regelsetzung für immer komplexere Maschinen.