Nach dem Tod ihres 14-jährigen Sohnes hat eine Mutter in Florida eine Zivilklage gegen Character.ai eingereicht. Der Vorwurf: Ein Chatbot des Unternehmens soll den Jugendlichen zunächst besessen gemacht und anschließend in den Selbstmord getrieben haben.
Am 28. Februar 2024 tauschte der 14-jährige Teenager Sewell Setzer eine letzte Nachricht mit „Dany“ aus, einem KI-Charakter, der auf einer Figur aus der Serie Game of Thrones basiert. Nur wenige Augenblicke später beging er Selbstmord. Das berichtete seine Mutter der New York Times.
Chatbot von Character.ai für Selbstmord verantwortlich?
Am 23. Oktober 2024 reichte Megan Garcia vor einem Bundesgericht in Florida deshalb eine Zivilklage gegen Character.ai ein. Der Vorwurf: Der Chatbot des KI-Unternhemens soll ihren Sohn zunächst besessen gemacht und ihn anschließend in den Suizid getrieben haben.
Neue Stellenangebote
|
Growth Marketing Manager:in – Social Media GOhiring GmbH in Homeoffice |
|
|
ournalist (m/w/d) als Leiter PR und Social-Media NOMOS Glashütte/SA Roland Schwertner KG in Berlin |
|
|
Head of Social Media (m/w/d) Deichmann SE in Mülheim an der Ruhr (45478) |
Garcia unterstellt dem Unternehmen zudem Fahrlässigkeit, widerrechtliche Tötung und betrügerische Handelspraktiken. Denn die Technologie sei „gefährlich und ungetestet“.
Zum Hintergrund: Die Plattform von Character.ai zählt laut eigenen Angaben rund 20 Millionen Nutzer. Das Unternehmen wird auf einen Wert von einer Milliarde US-Dollar taxiert. Auf der Plattform können Nutzer Charaktere erstellen und mit ihnen chatten. Sie reagieren dabei ähnlich wie echte Menschen.
Die Technologe basiert auf einem sogenannten Large Language Model, ähnlich wie bei ChatGPT. Die Chatbots werden mit Unmengen von Daten „trainiert“.
Muss KI reguliert werden?
Character.ai reagierte auf die Klage und den Tod des Teenagers in einem Statement. „Wir sind untröstlich über den tragischen Verlust eines unserer Nutzer und möchten der Familie unser tiefstes Beileid aussprechen“, heißt es darin.
Das Unternehmen wolle neue Sicherheitsvorkehrungen einführen. Unter anderem sollen Pop-ups Nutzer an die National Suicide Prevention Lifeline verweisen, wenn sie Suizidgedanken oder selbstverletzendes Verhalten äußern. Die Plattform wolle außerdem sicherstellen, dass Minderjährige nicht auf sensible oder anzügliche Inhalte stoßen.
Der Fall wirft dennoch Fragen auf. Während Kritiker fordern, dass KI-Modelle noch strenger reguliert werden müssen, argumentieren Befürworter der Technologie, dass das innovative Potenzial nicht gebremst werden dürfe. Der tragische Tod von Sewell Setzer dürfte die Debatte weiter anheizen und könnte zu einem wichtigen Präzedenzfall werden.
Auch interessant:
- Protestbrief gegen KI-Training: Schauspieler und Musiker gehen auf die Barrikaden
- Mit KI-Influencerin Emma: Deutsche Tourismus-Zentrale blamiert sich
- Nach menschlichem Feedback: KI lernt Menschen zu täuschen
- Roboter erkennen menschliche Berührungen – ohne künstliche Haut
Kommentieren