Nach dem Tod ihres 14-jährigen Sohnes hat eine Mutter in Florida eine Zivilklage gegen Character.ai eingereicht. Der Vorwurf: Ein Chatbot des Unternehmens soll den Jugendlichen zunächst besessen gemacht und anschließend in den Selbstmord getrieben haben.
Am 28. Februar 2024 tauschte der 14-jährige Teenager Sewell Setzer eine letzte Nachricht mit „Dany“ aus, einem KI-Charakter, der auf einer Figur aus der Serie Game of Thrones basiert. Nur wenige Augenblicke später beging er Selbstmord. Das berichtete seine Mutter der New York Times.
Chatbot von Character.ai für Selbstmord verantwortlich?
Am 23. Oktober 2024 reichte Megan Garcia vor einem Bundesgericht in Florida deshalb eine Zivilklage gegen Character.ai ein. Der Vorwurf: Der Chatbot des KI-Unternhemens soll ihren Sohn zunächst besessen gemacht und ihn anschließend in den Suizid getrieben haben.
Neue Stellenangebote
|
Growth Marketing Manager:in – Social Media GOhiring GmbH in Homeoffice |
|
|
Social Media Content Creator:in (w/m/d) Arthrex GmbH in München |
|
|
Marketing Manager – Branding / PR / Social Media (m/w/d) AURICON Group in Düsseldorf |
Garcia unterstellt dem Unternehmen zudem Fahrlässigkeit, widerrechtliche Tötung und betrügerische Handelspraktiken. Denn die Technologie sei „gefährlich und ungetestet“.
Zum Hintergrund: Die Plattform von Character.ai zählt laut eigenen Angaben rund 20 Millionen Nutzer. Das Unternehmen wird auf einen Wert von einer Milliarde US-Dollar taxiert. Auf der Plattform können Nutzer Charaktere erstellen und mit ihnen chatten. Sie reagieren dabei ähnlich wie echte Menschen.
Die Technologe basiert auf einem sogenannten Large Language Model, ähnlich wie bei ChatGPT. Die Chatbots werden mit Unmengen von Daten „trainiert“.
Muss KI reguliert werden?
Character.ai reagierte auf die Klage und den Tod des Teenagers in einem Statement. „Wir sind untröstlich über den tragischen Verlust eines unserer Nutzer und möchten der Familie unser tiefstes Beileid aussprechen“, heißt es darin.
Das Unternehmen wolle neue Sicherheitsvorkehrungen einführen. Unter anderem sollen Pop-ups Nutzer an die National Suicide Prevention Lifeline verweisen, wenn sie Suizidgedanken oder selbstverletzendes Verhalten äußern. Die Plattform wolle außerdem sicherstellen, dass Minderjährige nicht auf sensible oder anzügliche Inhalte stoßen.
Der Fall wirft dennoch Fragen auf. Während Kritiker fordern, dass KI-Modelle noch strenger reguliert werden müssen, argumentieren Befürworter der Technologie, dass das innovative Potenzial nicht gebremst werden dürfe. Der tragische Tod von Sewell Setzer dürfte die Debatte weiter anheizen und könnte zu einem wichtigen Präzedenzfall werden.
Auch interessant:
- Protestbrief gegen KI-Training: Schauspieler und Musiker gehen auf die Barrikaden
- Mit KI-Influencerin Emma: Deutsche Tourismus-Zentrale blamiert sich
- Nach menschlichem Feedback: KI lernt Menschen zu täuschen
- Roboter erkennen menschliche Berührungen – ohne künstliche Haut
Neue Stellenangebote
|
|
Growth Marketing Manager:in – Social Media GOhiring GmbH in Homeoffice |
|
|
|
Marketing Manager – Branding / PR / Social Media (m/w/d) AURICON Group in Düsseldorf |
|
|
Online Marketing Manager – Social Media / SEO / Grafikdesign / CMS (m/w/d) reputatio AG in Pforzheim |
|
|
Performance Marketing Manager – Google Analytics / SEA / Social Media (m/w/d) bits & likes GmbH in Dortmund |
|
|
Social Media Manager – Performance Marketing / Paid Ads (m/w/d) POLO Motorrad und Sportswear GmbH in Jüchen |
|
|
Social Media Manager/in (m/w/d)/ Projektmanager Events KOSMOS KG in Berlin |
|
|
Social-Media-Manager, befristet für 2 Jahre (m/w/d) Deutsche Kreditbank AG (DKB) in Berlin |
|
|
Social Media Manager (m/w/d) Young ISO Media GmbH in München, Hybrid |
Kommentieren