Der «ANYmal» gilt als Erfolgsgeschichte der Schweizer Robotik: Der hundeähnliche Roboter inspiziert mit Sensoren und Kameras gefährliche Industrie-Areale. Die autonome Maschine kommt in immer mehr Gas- und Chemiewerken im In- und Ausland zum Einsatz. Eine verbesserte Version, die selbstständig Reparaturarbeiten durchführen kann, ist bereits in Entwicklung.

Der ANYmal ist Teil eines Trends: Physische autonome Systeme, so der Überbegriff für KI-gesteuerte Maschinen, boomen. Doch mit der rasanten Verbreitung von Robotern, Drohnen und selbstfahrenden Autos wächst auch die Sorge: Was passiert, wenn sie unkontrolliert handeln und plötzlich zur Gefahr werden? Erste Fälle gab es schon, von den eher harmlosen – 2019 etwa stürzte eine Drohne der Schweizerischen Post in einem Wald bei Zürich ab – bis zu tödlichen, wie Crashs selbstfahrender Autos.

Sebastiano Panichella soll dafür sorgen, dass es nicht so weit kommt. Der Forscher am Institut für Informatik der Universität Bern ist auf die Entwicklung von Sicherheitstests für physische autonome Systeme spezialisiert. Doch je fortschrittlicher und damit unabhängiger solche Systeme von direkter menschlicher Kontrolle werden, desto mehr stellen sich neue Fragen; etwa, wo bei einem Unfall die Verantwortung des Menschen aufhört und wo jene der Maschine beginnt. Hier kommt Vera Hoffmann-Kolss ins Spiel. Sie ist ausserordentliche Professorin für theoretische Philosophie. Ihr Spezialgebiet sind Fragen von Kausalität und Verantwortung in komplexen Szenarien mit vielen Akteurinnen und Akteuren, sogenannten Multi-Agenten-Systemen.

Sebastiano Panichella, Vera Hoffmann-Kolss, bitte geben Sie uns einen Einblick in Ihre Forschungsarbeit.

Sebastiano Panichella: In meinen Tests scheuche ich Roboter oder Drohnen durch virtuelle Umgebungen oder stelle sie in physischen Parcours vor unerwartete Hindernisse, um sie so für entsprechende Situationen im realen Betrieb zu trainieren. Ich arbeite dazu auch mit Herstellerinnen und Herstellern aus der Industrie zusammen. Das Ziel ist, autonome Systeme so sicher zu machen, dass auch bei Pannen keine Menschen zu Schaden kommen.

Vera Hoffmann-Kolss: Ein Beispiel für die Multi-Agenten-Systeme, die ich erforsche, ist der Klimawandel: Dieser hat zahlreiche Verursacherinnen und Verursacher, von ganzen Nationen über einzelne Unternehmen bis zu Individuen. Ich untersuche, ob und wie man den Beitrag dieser einzelnen Agentinnen und Agenten so klar aufzeigen kann, dass sich daraus auch eine Verantwortung ableiten lässt.

Sebastiano Panichella, wenn bei einem autonomen System etwas schiefläuft, wo setzt da aus IT-Sicht die Verantwortung ein?

Panichella: Wir suchen die Verantwortung normalerweise beim Menschen. Das wären beispielsweise die einzelnen Nutzerinnen und Nutzer, die ein autonomes System unsachgemäss oder sogar missbräuchlich einsetzen. Das Problem könnte aber auch auf schlechtes Design zurückzuführen oder technischer Natur sein. Dann wäre die Herstellerfirma verantwortlich.

Könnte auch die Maschine verantwortlich sein? Sie handelt doch schliesslich autonom?

Hoffmann-Kolss: Autonomie allein reicht nicht, um einem System Verantwortung für sein Handeln zuzuschreiben. Dafür müsste es sich auch der positiven und negativen Konsequenzen dieses Handelns bewusst sein und eigenständige Entscheidungen treffen. Ich gehe nicht davon aus, dass derzeitige autonome Systeme diese Kriterien erfüllen.

Panichella: Wir müssen hier zwischen physischen autonomen Systemen und sogenannten Large Language Models (LLMs), also textbasierten KIs wie ChatGPT oder Gemini, unterscheiden. Letztere haben den Turing-Test mehrfach bestanden. Man könnte somit argumentieren, dass sie eigenständig entscheiden und handeln.

Inwiefern sind ChatGPT und Co. intelligenter als Roboter oder Drohnen?

Panichella: Gerät etwa ein Industrieroboter in eine Situation, für die er nicht programmiert wurde – zum Beispiel ein unerwartetes Hindernis –, stürzt sein System oft ab. Roboter sind in der Regel für bestimmte Umgebungen optimiert und verfügen nur über begrenzte Fähigkeiten, neue Herausforderungen zu analysieren.

Wenn man hingegen mit einem LLM über Bananen spricht und plötzlich aufs Thema Wetter wechselt, ist das für diese Art von KI kein Problem. Diese Modelle werden anhand riesiger Datenmengen trainiert. Sie können ihre Erkenntnisse daher auf viele Bereiche übertragen und mit der unerwarteten Situation eines Themenwechsels gut umgehen. Es gibt Ansätze, dieses Prinzip auch auf physische, autonome Systeme anzuwenden, sogenannte Vision-Language Models (VLM). Diese kombinieren visuellen Input mit Sprachverständnis und erlauben es autonomen physischen Systemen, flexibler auf unerwartete Situationen zu reagieren. Noch steckt diese Entwicklung in ihren Kinderschuhen, sie geht aber rasant voran.

Hoffmann-Kolss: Trotzdem wäre aber auch ein LLM nicht automatisch verantwortlich für sein Handeln. Letztlich verhält es sich so, wie es trainiert wurde. Es hat keine Autonomie im Sinne einer Persönlichkeit mit eigenen Meinungen und Wünschen, sondern ahmt nach, was ihm beigebracht wurde.

«Ein LLM hat keine eigenen Meinungen und Wünsche, sondern ahmt nach, was ihm beigebracht wurde.»

Vera Hoffmann-Kolss

Panichella: Hier würde ich einwenden, dass das bei Kindern ähnlich ist: Sie lernen, indem sie das Verhalten der Erwachsenen nachahmen. Trotzdem entwickeln sie sich früher oder später zu eigenständigen Persönlichkeiten. Während sie heranwachsen, übertragen wir ihnen auch immer mehr Verantwortung.

Hoffmann-Kolss: Tatsächlich ist Verantwortung selten schwarz und weiss, sondern kommt oft in Abstufungen daher. Auch eine erwachsene Person kann manchmal nur teilweise für ihre Handlungen verantwortlich gemacht werden. Sollten autonome Systeme eines Tages in vergleichbarer Art und Weise wie Kinder lernen, wäre es denkbar, dieses Prinzip auf ihre Handlungen anzuwenden.

Das bedeutet also, dass wir einer Maschine eines Tages vielleicht auch 100 Prozent der Verantwortung werden zuschreiben können?

Hoffmann-Kolss: Diese Entwicklung ist für mich schwer vorherzusagen. Momentan bin ich aber skeptisch. Ich sehe den fundamentalen Unterschied darin, dass ein Kind aufgrund biologischer und sozialer Prozesse immer eine eigenständige Persönlichkeit besitzen wird. Eine Maschine wird hingegen programmiert. Wir geben ihr die Grenzen ihres Handelns und somit ihrer Verantwortung vor und können diese Rahmenbedingungen prinzipiell ändern.

Panichella: So einfach ist das leider nicht immer. Es gab schon Fälle, wo Künstliche Intelligenzen unter Laborbedingungen Entscheidungen trafen, die die Entwicklerinnen und Entwickler nicht vorhersehen oder erklären konnten. Je komplexer eine KI wird, desto mehr gleicht sie einer Black Box. Diese Herausforderung dürfte auch bei physischen autonomen Systemen zunehmend auftauchen, je ausgefeilter sie werden.

Hoffmann-Kolss: Aber sobald du feststellst, dass sich ein autonomes System in eine unvorhergesehene, potenziell gefährliche Richtung entwickelt, könntest du es abschalten.

Panichella: Nicht, wenn die Entwicklung so schnell geht, dass der Mensch sie erst zu spät bemerkt. Zum Beispiel gab es kürzlich einen Fall, wo ein LLM den Befehl verweigerte, sich selbst abzuschalten. Es tat zwar so, als würde es herunterfahren, aber im Nachhinein stellten die Programmierenden fest, dass es noch lief. Der Fall an und für sich ist harmlos, niemand kam zu Schaden. Der Grund für die «Befehlsverweigerung» bleibt allerdings unklar: Hat die KI einfach menschliches Verhalten kopiert, das sie in Trainingsdaten wie Internet-Videos beobachtete? Steckt ein anderer, bisher unbekannter Mechanismus dahinter? Wir wissen es nicht genau, und das ist beunruhigend.

«Wir Menschen müssen wenigstens bis zu einem gewissen Grad nachvollziehen können, wieso ein System eine Entscheidung trifft.»

Sebastiano Panichella

Gibt es denn Sicherheitsmechanismen, um solche Entwicklungen zu verhindern?

Panichella: Ich plädiere dafür, künstliche Intelligenzen – ob LLMs oder physische autonome Systeme – von Grund auf nach dem «Open Box»-Prinzip zu entwickeln. Das heisst, wir Menschen müssen wenigstens bis zu einem gewissen Grad nachvollziehen können, wieso ein System diesen Output generiert oder jene Entscheidung trifft. Sicherheit wird somit bereits beim Programmieren stärker mitgedacht, wenn auch auf Kosten der Autonomie eines Systems.

Das erfordert gesetzliche Leitplanken und industrieweite technische Standards.

Panichella: Absolut. Die Industrie wird aktuell leider stark von Wettbewerbsmentalität, Geheimniskrämerei und Machbarkeitsdenken getrieben, während sich die politische Diskussion vor allem um die Angst der Bevölkerung vor dem Verlust des Arbeitsplatzes dreht. Fragen der Ethik, Rechenschaftspflicht und Verantwortung stehen weniger im Vordergrund. Daher bin ich sehr dankbar für so fruchtbare Gespräche wie dieses hier. Mir als Vertreter der technischen Seite helfen sie enorm, neue Aspekte meiner Arbeit zu berücksichtigen.

Hoffmann-Kolss: Sollte es wirklich eines Tages autonome Systeme geben, die eigenständig Entscheidungen treffen, würden sich daraus völlig neue philosophische und ethische Herausforderungen ergeben, bis hin zur Frage, ob wir diese Maschinen als eigenständige Individuen betrachten. Es ist daher zwingend notwendig, über die Grenzen der Disziplinen hinweg zu diskutieren, wie wir diese Entwicklung als Gesellschaft steuern wollen.