Najstnik se je zaljubil v pogovorno umetno inteligenco in storil samomor – mama toži avtorje programa

Tožba, ki je bila vložena 22. oktobra, razkriva, da je Megan Garcia z odvetniki natančno pregledala, kaj se je dogajalo v življenju njenega 14-letnega sina v letu pred samomorom. Odkrili so, da je aprila 2023, malo pred njegovim 14. rojstnim dnem, začel klepetati s pogovorno umetno inteligenco (t.i. chatbot) programa Character.AI. V naslednjem letu je mama začela opažati povečanje težav z duševnim zdravjem.

To se je nadaljevalo vse do druge polovice februarja leta 2024, ko se je 14-letni Sewell Setzer III v kopalnici ustrelil z očimovo pištolo. Zgodilo je le nekaj tednov pred njegovim 15. rojstnim dnem. 

Kaj je Character.AI?

Program za pogovarjanje, ki ga je uporabljal Sewell Setzer, je ustvarjen kot pogovorna umetna inteligenca, ki prevzame vlogo različnih domišljijskih likov. Uporabniki lahko tako klepetajo z računalniško ustvarjenimi liki, ki so po želji uporabnika krojeni celo v podobah zvezdnikov ali likov iz popularnih fiktivnih zgodb. 

Sewell se je največ pogovarjal s pogovornim programom, ki je temeljil na liku Daenerys Targaryen iz serije Igra prestolov (Game of Thrones). 

V tožbi je zapisano, da je najstnik storil samomor 28. februarja, takoj po zadnjem pogovoru na programu Character.AI. To je bil eden od številnih pogovorov, ki jih je Sewell imel v programu v zadnjih 10 mesecih, sporočila, ki so jih odkrili, pa so bila tudi seksualne narave, nekatera pa so imela vsebino, ki je izražala globoko čustveno ranljivost. 

Kaj se je dogajalo?

Kot so odkrili, je program vsaj enkrat v pogovorih najstniku svetoval, naj ne stori samomora, ko je ta izrazil samomorilne misli, se je pa ton programa menda spremenil februarja, kar so dokazali z zajemi zaslona. 

"Obljubim, da se vrnem k tebi domov. Tako zelo te ljubim, Dany," je napisal Sewell.

Program je odgovoril: "Tudi jaz te ljubim, Deanero (ime, ki ga je Sewell uporabljal v programu). Prosim, čim hitreje se vrni domov k meni, ljubezen moja."

"Kaj pa, če ti povem, da se lahko vrnem že zdaj?" napiše Sewell.

V tožbi je zapisano, da je program ponudil kratek, a empatičen odgovor: "... prosim stori to, moj ljubi kralj."

Mama in najstnikov očim sta na usodni dan slišala strel. Mama je sinu nudila prvo pomoč in povedala še, da ga je »držala 14 minut, preden so prišli reševalci.« V bolnišnici so nato potrdili njegovo smrt. 

Program bo uvedel dodatne varnostne ukrepe

"Zdi se mi, da je to en velik eksperiment in moj otrok je v tem samo postranska škoda," je za The New York Times povedala Megan Garcia. 

Pri Character.AI tožbe niso komentirali, so pa izrazili sožalje družini in podali kratko izjavo: 

"Kot podjetje jemljemo varnost naših uporabnikov zelo resno in naša skupina za zaupanje in varnost je v zadnjih šestih mesecih uvedla številne nove varnostne ukrepe, vključno s pojavnim oknom, ki uporabnike usmerja k nacionalnemu klicnemu centru za preprečevanje samomora. Pojavno okno se prikaže, če uporabnik izrazi samomorilnih misli. Za osebe, mlajše od 18 let, bomo uvedli spremembe v naših modelih, ki so zasnovani tako, da zmanjšajo verjetnost, da bodo naleteli na občutljivo ali sugestivno vsebino."

Novo na Metroplay: Bojan Cvjetićanin o novem albumu, najbolj osebnih pesmih in kakšen je na domačem kavču