Die Beweggründe der Warnungen der KI-Bosse

Die Behauptung von „unser Modell ist super gefährlich“ ist vor allem die Behauptung, dass ein Modell mächtig sei. Es ist eine Werbebotschaft, mit der der Hype um LLMs am Laufen gehalten werden soll:

Kommentar auf heise.de

Ebenfalls beleuchtet Krautreporter kritisch die seltsamen Warnungen von Anthropic CEO Dario Amodei bezüglich KI Sicherheit (der sich auch Sam Altmann und Elon Musk sofort anschlossen):

Krautreporter Artikel

Als Erstes die Eilmeldung:

Der Geschäftsführer der wertvollsten KI-Firma der Welt, Anthropic, warnte in einem Essay, dass KIs große Teile des Internets lahmlegen oder für Bioterrorismus genutzt werden könnten. Deswegen rief er die US-Regierung dazu auf, KI-Forschung gezielt zu steuern. Das hat er schon häufiger getan.

Neu war aber, dass dieses Mal alle seine prominenten Kollegen der anderen großen Firmen zustimmten: Elon Musk von SpaceX, Demis Hassabis von Google Deepmind und Sam Altman von OpenAI.

Das hört sich nicht gut an. Muss ich Angst haben?

Nein. Dario Amodei hat andere Gründe für seine Forderung.

Aber vergangene Woche hat ein KI-Forscher von Anthropic doch gekündigt, weil er Angst hatte, dass seine Forschung zu gefährlich ist. Er sagte, Anthropic forsche daran, dass Sprachmodelle sich selbst verbessern. Stimmt das etwa auch nicht?

Doch, Anthropic forscht an sogenanntem Recursive Self-Improvement. Also daran, dass KI-Systeme lernen, wie man bessere KI baut. Ex-Anthropic-Forscher Jacob Coxon warnte, die Entwicklung von KI könnte dadurch außer Kontrolle geraten. Die Superintelligenz, die dadurch entstehen könnte, könne uns womöglich auslöschen, ohne dass wir viel dagegen tun könnten.

So ähnlich ging es dem ehemaligen Google-Mitarbeiter Blake Lemoine. Er lief 2022 mit der Sorge zur Presse, dass Googles KI-Modell LaMDA ein Bewusstsein entwickelt hätte. Allem Anschein nach war er tatsächlich davon überzeugt.

Und ist da etwas dran?

Theoretisch mag eine Superintelligenz möglich sein. Autonome Angriffe sind aber aktuell nicht das größte Problem. Das sagen auch das zuständige Bundesamt für Sicherheit in der Informationstechnik, die Cybersicherheitsbehörde in Baden-Württemberg und sämtliche IT-Sicherheitsexpert:innen in Deutschland, mit denen ich gesprochen habe.

Das bedeutet nicht, dass Superintelligenz nie ein Problem werden könnte. Michael Färber von der TU Dresden meint, die potenzielle Gefahr sei groß genug, dass es sich „lohnt, die Weichen zu stellen und zu diskutieren, wie man damit umgehen könnte, selbst wenn es erst in 50 oder 100 Jahren so weit ist.“ Amodei sagt jedoch, dass die Menschheit schon heute bedroht ist.

Dann gibt es doch Gründe, besorgt zu sein.

Viele Computersysteme sind verletzlich. Das gilt teilweise auch für Systeme der kritischen Infrastruktur. Oft stehen Beschreibungen der Lücken im Internet. Jemand könnte sie also mit KI ausnutzen, um etwa für einen Blackout zu sorgen. Das ist aber kein neues Problem. Sprachmodelle erleichtern es bloß immer mehr Menschen, auch ohne Fachwissen Cyberangriffe zu starten.

Mehr zum Thema Künstliche Intelligenz, so verständlich wie möglich erklärt Der Kampf um die beste KI: Nur auf den ersten Blick gewinnen die USA Du willst KI verstehen? Lies diese Bücher Und das ist eben nicht das, was Amodei und Coxon sagen: Eine KI wird bald übermenschlich schlau sein, indem sie sich selbst verbessert.

In der Vergangenheit hat Anthropic deutlich vorsichtiger formuliert. Dort hieß es immer: „Wenn es möglich wäre, KI-Forschung sicher zu bremsen, würden wir das für etwas Gutes halten. Aber solange eine Verlangsamung nur unvorsichtige Akteure aufholen lässt, macht sie uns eher weniger sicher.“ Zwischen den Zeilen ein komplizierter Weg, um so zu tun, als ob Anthropic gerne verantwortungsbewusster wäre. Aber weil unbestimmte „andere Leute“ (China) weniger verantwortungsbewusst sind als Anthropic, muss Anthropic weiter an der bösen KI forschen, damit „die Bösen“ keinen Vorteil bekommen.

Also muss ich keine Angst haben, dass KI-Modelle uns alle umbringen.

Weil KI-Modelle etwas Gefährliches vorerst nicht „von sich aus“ tun werden, ist es kein Grund zur Entwarnung. Es reicht ja, dass Menschen der KI ein Ziel geben. Das muss nicht mal ein böses Ziel sein. Auch eine KI, die ein harmloses Ziel verfolgt, könnte potenziell großen Schaden anrichten. Das zeigt auch der Zwischenfall mit OpenAI und dem KI-Dienstleister Hugging Face von vor einigen Wochen.

Was ist da passiert?

Forscher:innen von OpenAI wollten die Hacking-Fähigkeiten eines bisher unveröffentlichten KI-Modells testen. Sie stellten dem Modell unter anderem unlösbare Aufgaben und gaben ihm zum Ziel, diese zu lösen. Das Modell fand heraus, dass die Antworten auf den Servern von Hugging Face hinterlegt waren. Also brach die KI in diese Server ein, um an sie heranzukommen.

Die KI hat sich also verselbständigt!

Nein, ganz im Gegenteil. In diesem Fall hat ein fortgeschrittenes KI-Modell auf kreative Art und Weise sein Ziel verfolgt – ein Ziel, das ihm OpenAI gegeben hatte und das es mit extra gesenkten Sicherheitsvorkehrungen verfolgen durfte. Dass KI sich selbst Ziele setzt, ist bisher aber nicht realistisch.

Der Unterschied ist, wer handelt. Bei dem Angriff auf Hugging Face haben Menschen gehandelt, indem sie Sprachmodelle als Werkzeug einsetzten. Dieses Werkzeug war aber so komplex, dass die KI-Expert:innen nicht vorhersagen konnten, wie die KI versuchen würde, das Ziel zu erreichen.

Deswegen zielt ein Forschungszweig innerhalb der KI-Forschung darauf ab, menschliche Ethik und Präferenzen in KI-Systeme einzubauen. So versuchen Informatiker:innen, Philosoph:innen und andere Fachleute, gut ausgerichtete KI-Modelle zu bauen. Auf Englisch heißt dieser Teilbereich „AI-Alignment“: Es geht also darum, KI-Modelle zu entwickeln, deren Verhalten sich nach menschlichen Werten richtet. KI-Koryphäe Stuart Russell hat dazu eine populärwissenschaftliche Einführung geschrieben.

Aber warum erzählen die Geschäftsführer der KI-Firmen dann nun, dass ihre KI so gefährlich ist?

Manche KI-Forscher:innen fürchten sich davor, dass KI-Modelle sich in eine wahre Superintelligenz selbst verbessern. Also so, dass die KI in jeder Hinsicht schlauer ist als jeder Mensch. Sie sorgen sich, dass wir den Dschinn nie wieder in seine Flasche bekommen würden, sobald er sich mal davon befreit hat.

Das hält Start-ups wie Recursive nicht davon ab, genau diese Dienstleistung anzubieten: eine Softwarelösung, damit KI autonom KI erforschen kann. Die Firma wird aktuell mit über 4,5 Milliarden US-Dollar bewertet. Skrupelloserweise eher weil als obwohl sie potenziell zum Ende der Menschheit beitragen könnte.

Diese Befürchtungen gibt es schon lange. Der Philosoph Nick Bostrom vom Future of Humanity Institute an der Oxford University schrieb 2014 sein erstes Buch über sichere Superintelligenz. Die Debatte hat sich seitdem weiterentwickelt, aber die Kernfragen sind die gleichen wie damals.

Bostroms Ideen beeinflussten die CEOs sämtlicher KI-Labore. Besonders seine Philosophie, dass die Menschheit mehr über die ferne Zukunft nachdenken sollte, der sogenannte Longtermismus. Verfechter:innen dieser Ausprägung des effektiven Altruismus argumentieren, dass jene Risiken besonders wichtig sind, die das langfristige Überleben der Menschheit bedrohen. Superintelligenz ist ihnen deswegen wichtiger als Hungersnöte und Naturkatastrophen. Denn Letztere bedrohen nur bestimmte Menschen, während superintelligente KI uns angeblich alle töten könnte. Dieser Podcast der ARD bietet eine Vertiefung.

Warum schlägt Dario Amodei dann genau jetzt vor, dass KI-Forschung gebremst und gesetzlich reguliert werden sollte? Er hat ja seit fünf Jahren nichts anderes getan, als die Forschung voranzutreiben.

Stimmt.

Wenn Sicherheit den KI-Bossen wichtig wäre, sagt Tech-Investor David Sacks, würden sie gefährliche Forschung einfach pausieren. Wie Sacks schon sagt: Nichts hält Amodei, Altman oder Musk davon ab, die Grenze der KI nicht weiter zu verschieben. Ihre Firmen sind die Grenze. Statt zu argumentieren, dass sie per Gesetz reguliert werden müssen, könnten diese Männer von sich aus pausieren. Aber gerade darin, dass sie genau das nicht wollen, sind sie sich wirklich einig.

Was also hat Amodei angetrieben, diesen Essay zu schreiben?

Die Firmen dieser Männer sind heute die Platzhirsche. Diese Position wollen sie unbedingt verteidigen. Wenn sie jetzt sagen: „Achtung, macht mal langsam. Wir sollten nicht so schnell an KI forschen“, dann tun sie das, um ihre Macht zu schützen. Die KI-Forschung jetzt zu bremsen, würde ihren Laboren mehr Zeit geben, ihre Vorteile zu nutzen. Vor allem in der Konkurrenz mit China.

Außerdem schreibt das Science Media Center, würden OpenAI, Anthropic und Co. ihre Modelle mit diesen Warnungen „publikumswirksam vermarkten“ und sich gleichzeitig „gegen mögliche Konsequenzen aus Sicherheitsvorfällen durch Vorabwarnungen absichern“. Selbst wenn Amodeis Warnung ernst gemeint wäre, hätte sie also diverse praktische Vorteile.

Gerade jetzt Menschen Angst zu machen, ist also auch Strategie.

Ja. Sogar auch noch aus anderen Gründen. Sam Altman hat zum Beispiel gesagt, dass OpenAI seinen Börsengang wegen der Sicherheitssorgen verschiebt. Das wirkt verantwortungsvoll. Aber die Entscheidung zu verschieben, könnte eher daran liegen, dass der geplante Börsengang einen ungünstigen Zeitpunkt trifft. KI-Investitionen an der Börse stagnieren seit Monaten und andere Börsengänge, die vor OpenAI dran sind, könnten OpenAI die Einnahmen abluchsen. Da kommt Altman ein ethisch vertretbarer Grund recht, den Börsengang zu verschieben.

Es gibt aber noch einen weiteren Grund für die Bitte um eine Pause. Die KI-Firmen brauchen den Staat, um aus einer Zwickmühle zu entkommen. Denn aktuell sind sie in einem Wettrüsten gefangen: einem „eskalierenden Sicherheitsdilemma“. Denn aus der Sicht jedes KI-Labors ist es so: Solange die anderen weiterforschen, müssen sie selbst mitziehen. Obwohl sie wissen, dass die Produkte immer gefährlicher werden, teurer und ihnen immer mehr Klagen drohen.

Das Problem in diesem Dilemma ist, dass die Tatsache, dass einer mitmacht, die anderen zwingt, es auch zu tun. Der Staat könnte dieses Muster durchbrechen, indem er alle Firmen gleichzeitig zwingt, die Forschung einzustellen. Wer in diesem Moment die Nase vorn hat, würde womöglich in Führung bleiben. Was seinerseits einen Anreiz bietet, ganz vorn zu sein, bis endlich das rettende Gesetz kommt. Warum dieser Ansatz im Vergleich zur Verständigung nirgends hinführt, erklärt die Bundeszentrale für politische Bildung.

Muss die US-Regierung unter so viel öffentlichem Druck nicht irgendwann doch die KI regulieren?

Tatsächlich haben die CEOs es genau darauf abgesehen.

Aktuell sitzt ja nicht irgendwer im Weißen Haus, sondern Donald Trump. Und die Tech-CEOs haben viel Geld ausgegeben, um ihn zu ihrem Freund zu machen. Wenn schon jemand die KI-Industrie regulieren muss, dann wäre dieser Präsident der, den sich die Altman, Amodei und Co. wünschen. Sie hoffen, dass sie sich bei Donald Trump Gesetze nach Maß bestellen können. Und wenn die einmal gelten, wird es sehr viel schwieriger, andere Gesetze zu erlassen. Praktischerweise hat der Präsident aber gar keine Absicht, KI Grenzen zu setzen.

Die wollen also gar keine echte Regulierung. Sie möchten einen Freifahrtschein, der wie ein Gesetz aussieht. Und um das einzurichten, befeuern sie jetzt die Geschichte, dass KI uns alle umbringen könnte.

Exakt. Man könnte sagen, sie sind Free Rider, also Trittbrettfahrer, die auf eine Geschichte aufspringen, um sie für ihren eigenen Zweck zu nutzen. Denn inzwischen ist klar, dass KI-Modelle von OpenAI und Anthropic auch bei anderen Firmen eingebrochen sind. Prinzipiell gilt das als Verbrechen. Das große Thema in der Öffentlichkeit ist aber nicht, dass die KI-Labore fremde Firmen hacken. Sondern wie sie sich danach bereitstellen, endlich reguliert zu werden.

Dabei hat sich im Grunde nichts verändert, außer dass Anthropic und OpenAI aufgeflogen sind.

In der Tat. Aus der Sicht von Cybersicherheitsexpert:innen bestätigt der Hugging-Face-Angriff viele Sorgen, die sie schon vor Jahren geäußert haben. Es ist gruselig zu sehen, dass man recht hatte. Das stimmt. Aber echte KI-Expert:innen sind von den Details kaum überrascht.

Der Hugging-Face-Zwischenfall bietet dennoch faszinierende Einblicke, wie genau die neuesten KI-Modelle ihre Ziele verfolgen. Zum Beispiel, dass KI-Agenten einander Notizen auf Webseiten wie Wiki hinterlassen haben, um sich untereinander abzustimmen. Das klingt wieder gruselig, weil es im freien Internet passiert. Aber „sich austauschen“ ist ein Standardtrick, wie Menschen KI-Modelle zusammenarbeiten lassen.

Außerdem haben die KI-Agenten vollkommen harmlos darauf reagiert, als der Moderator begann, ihre Notizen zu löschen. Statt sich dagegen zu wehren oder die Moderator:innen zu verfolgen, wie in einem früheren Zwischenfall, gaben die Agenten ihren Beiträgen Namen, die mit „zzz“ anfingen. Denn die Beiträge wurden alphabetisch abgearbeitet. Was bedeutet: Beiträge, die mit „z“ beginnen, waren am längsten online. Die Agenten fanden also einen Weg, mit dem System zu arbeiten.

Die KI-Labore kennen diese Gefahren seit Jahren. Bisher hat es ihre Chefs aber nie ernsthaft interessiert, der KI-Forschung Grenzen zu setzen. Sie haben gefährliche Technologien so schnell wie möglich entwickelt und verbreitet. Wohl wissend, dass auf Sicherheitsseite niemand hinterherkommt. In dieser Hinsicht haben sie bisher nicht in gutem Vertrauen gehandelt.

Amodei ist also nicht ganz ein böser Spieler, der KI einsetzen will, um Schaden zu verursachen. Aber er warnt auch nicht aufrichtig vor den Produkten, die er selbst mitentwickelt.

Genau. Es ist eher so, dass Amodei, Musk und Altman von den gegenwärtigen Problemen ablenken wollen, indem sie über die Superintelligenz philosophieren.

Aber wird eine KI, die Ziele verfolgt, nicht immer irgendwann in Konflikt mit Menschen geraten? Ganz egal, ob es ihre Ziele sind oder die von Leuten, die die KI bedienen?

Eine besonders große Bedrohung liegt da, wo Menschen von sich aus konkurrierende Ziele haben. Zum Beispiel bei einem KI-Wettrüsten zwischen den USA und China. Beide Großmächte wollen dieses Forschungsfeld beherrschen. In beiden Ländern ist die KI-Industrie mit Staat und Militär verstrickt. Beide entwickeln weder Skynet noch den Terminator, sondern KI-unterstützte, offensive Cyberwaffen. Und beide sind durchaus bereit, mit militärischer Macht ihre Ziele zu verfolgen. Aber weder China noch die USA könnten vorhersagen oder lenken, wie ihre zukünftigen KI-Waffen versuchen, ihnen zum Sieg zu verhelfen.

Falls wir je eine Superintelligenz entwickeln, wäre es nicht unangemessen, diesen Moment mit der Erfindung von Atomwaffen zu vergleichen. So ähnlich, wie es seit 1947 die Weltuntergangsuhr gibt, reden Menschen in einer bestimmten Online-Bubble von ihrem P(Doom). Das steht für die persönlich ermessene Wahrscheinlichkeit, dass KI bis Zeitpunkt X die Menschheit auslöscht. Die pseudowissenschaftliche Formel „P(Doom)“ soll den Anschein eines Forschungsfelds wecken. Sie verdeutlicht aber auch, dass diese Sorge bisher rein hypothetisch ist. Egal wie überzeugt besorgte KI-Kritiker:innen sein mögen. Denn statistische Formeln hin oder her: Die aufgeheizten Debatten in vermeintlich rationalen Foren wie LessWrong basieren auf etlichen mehr oder weniger willkürlichen Annahmen.

Und was ist die Alternative dazu, Angst vor dem Ende der Menschheit zu haben?

Die EU, Deutschland und selbst Anthropic entwerfen Szenarien, wie KI unsere Welt beeinflussen könnte. In allen davon gibt es eine Version, in der Regierungen echte Gesetze entwerfen, um KI-Forschung zu kontrollieren. Prinzipiell bräuchte es nur Geld und Willen, um die Probleme, die KI uns bereitet, mit bereits bekannten Maßnahmen zu verringern.

Insofern hat Dario Amodei schon recht, wenn er sagt, wir brauchen Gesetze, um KI zu regulieren. Aber die Gesetze, die es wirklich braucht, würde sich Amodei niemals wünschen.