KI-Hijacking: Der Fall Mike Johns und die rechtlichen Risiken autonomer Fahrzeuge

Im Zeitalter der rasanten Entwicklung der KI-Technologie werden wir zunehmend mit Fragen nicht nur zu ihrer Effektivität, sondern auch zu rechtlichen Fragen und zur Haftung für Schäden durch KI-Systeme konfrontiert.
Der viel beachtete Fall von Mike Johns, einem in Los Angeles ansässigen Technologieunternehmer, der beinahe seinen Flug verpasst hätte, weil er aufgrund einer Panne in seinem Waymo-Fahrzeug „von einem autonomen Fahrzeug entführt“ wurde, ist ein perfektes Beispiel für die rechtlichen Herausforderungen im Bereich der künstlichen Intelligenz und autonomen Technologien.
Wie Mike Johns es selbst formulierte: „Ich wurde zu meiner eigenen Fallstudie“.

Der Vorfall und seine Folgen

Johns war in einem Waymo-Auto „gefangen“, das mehrere Minuten lang auf dem Parkplatz kreiste und weder auf Befehle des Nutzers, die über die App erteilt wurden, noch auf die eines Unternehmensvertreters reagierte. Nebenbei bemerkt war Mike nicht sicher, ob es sich bei dem Vertreter um ein System mit künstlicher Intelligenz oder einen Menschen handelte, und wurde nicht darüber informiert. Obwohl die Situation schließlich unter Kontrolle gebracht wurde und der Nutzer seinen Flug dank der Verspätung des Flugzeugs erreichen konnte, wirft dieser Fall wichtige Fragen auf:

• Wer haftet bei Fehlern in autonomen Fahrzeugen?
• Welche Rechte hat der Passagier in solchen Situationen?
• Ist der Nutzer eines autonomen Fahrzeugs verpflichtet, in Notsituationen bestimmte Maßnahmen zu ergreifen?
• Welche Pflichten sollte der Hersteller in einer solchen Situation erfüllen?

Verantwortlichkeiten des Herstellers und des Betreibers

Im Fall von Waymo wurde das „Looping“-Problem mit einem Software-Update gelöst, was darauf hindeuten könnte, dass der Fehler auf einen algorithmischen Fehler zurückzuführen ist. Es stellt sich jedoch die Frage, ob solche Fehler als klassische Produktfehler behandelt werden können und wenn ja, wer dafür verantwortlich gemacht werden sollte: der Softwarehersteller? Der Betreiber der Waymo-Flotte?

Rechtlicher Rahmen

• In der Europäischen Union werden Fragen im Zusammenhang mit autonomen Fahrzeugen unter anderem durch die KI-Gesetzesverordnung, die Richtlinie über die Haftung für fehlerhafte Produkte oder lokale Verkehrs- und Haftpflichtgesetze geregelt.

DasKI-Gesetz verpflichtet in Artikel 43 die Anbieter von Systemen der künstlichen Intelligenz, Risikobewertungen durchzuführen und die Leistung ihrer Produkte zu überwachen. Darüber hinaus sollte der Nutzer gemäß Artikel 50 des KI-Gesetzes jedes Mal informiert werden, wenn er mit einem System der künstlichen Intelligenz interagiert.

Darüber hinaus finden sich in Abschnitt 3 des KI-Gesetzes die Verpflichtungen von Anbietern und Nutzern von KI-Systemen mit hohem Risiko und anderen.

In den USA hingegen gelten ähnliche Verpflichtungen nur für den öffentlichen Sektor und die Bundesbehörden im Rahmen der von Präsident Joe Biden im Jahr 2023 unterzeichneten Executive Order 14091, die sich mit der verantwortungsvollen Entwicklung von künstlicher Intelligenz befasst. Im privaten Sektor ist der verantwortungsvolle Einsatz von KI, einschließlich der Information der Nutzer über die Interaktion mit einem KI-System, eher Gegenstand guter Praxis und ethischer Standards als gesetzlicher Regelungen. Es gibt jedoch öffentlichen und rechtlichen Druck auf größere Technologieplattformen wie Google oder OpenAI, ähnliche Transparenzstandards anzuwenden wie öffentliche Einrichtungen. Eine Liste von Unternehmen, die einen offenen Brief unterzeichnet haben, in dem sie sich verpflichten, ethische künstliche Intelligenz in den USA aufzubauen, finden Sie unter www.nist.gov/aisi. Waymo ist nicht unter den Unternehmen auf dieser Liste.

Fahrgastrechte – Verbraucherschutz

Der oben erwähnte Vorfall zeigt auch die Notwendigkeit, Standards für die Kommunikation und die Unterstützung der Fahrgäste in Notsituationen zu schaffen, insbesondere wegen der emotionalen Schäden, die in einer solchen Situation entstehen können.

Der Fall von Mike Johns ist nicht nur ein technologisches Kuriosum, sondern auch Stoff für tiefergehende Überlegungen zur rechtlichen Regulierung im Bereich der KI und der autonomen Technologien.

Wenn Sie an einer rechtlichen Analyse autonomer Technologien interessiert sind oder Fragen zur Konformität Ihres Produkts mit dem KI-Gesetz haben, laden wir Sie ein, uns zu kontaktieren. Gemeinsam können wir rechtliche Lösungen erarbeiten, die auf die sich dynamisch verändernde technologische Realität zugeschnitten sind.