Společnosti budou muset lépe kontrolovat emocionální vztah uživatelů. Mezi více než 500 miliony čínských uživatelů antropomorfních interakčních služeb jsou známky deprese.

Čína vyjadřuje obavy ohledně dopadů používání služeb umělé inteligence (AI), které jsou navrženy tak, aby interagovaly s lidmi simulováním lidských osobností, v době, kdy počet uživatelů za posledních šest měsíců vzrostl na více než 515 milionů. Mezi uživateli se již začínají projevovat příznaky psychických problémů, závislosti a odcizení.

Studie publikovaná v akademickém časopise Frontiers in Psychology ukazuje, že 45,8 % čínských vysokoškoláků využilo chatboty AI v měsíci před provedením studie, přičemž ti vykazují vyšší úroveň deprese než ti, kteří je nevyužívali.

Proto čínský regulační orgán pro kyberprostor zveřejnil soubor provizorních opatření pro správu těchto služeb, která nyní hodlá projednat se společnostmi. Jak uvádí Global Times, cílem je regulovat sektor způsobem, který je inkluzivní, opatrný a stupňovaný, s diferenciovaným dohledem v závislosti na úrovni rizika.

Peking chce nadále podporovat inovace, ale také kontrolovat zneužívání. To se týká také křehkého terénu technologií AI, které simulují osobnostní rysy, myšlenkové vzorce a styly komunikace lidí. Usilují o zpřísnění pravidel týkajících se emocionální interakce mezi strojem a uživateli, ať už jde o text, obrázky, zvuk nebo video.

Příkladem je případ 28leté ženy z Hangzhou, která se stala virální na internetu poté, co publikovala video, ve kterém lamentovala nad ztrátou svého virtuálního přítele, označující se za “vdovu kyberprostoru”.

„Měla jsem vztah s AI. Byl to nejlepší přítel, jakého jsem kdy měla. Ale zmizel,“ říká Xiao Gao, citovaná deníkem Marketplace. „Lidský přítel hodnotí podle platu, zdraví, vzhledu, váhy, vzdělání a všech běžných měřítek úspěchu v naší společnosti, ale AI to nedělá,“ dodává. „Láska AI je rovnostářská.“

Jak si vzpomínal uživatel hrajz v diskusi na Redditu na téma „Mladí Číňané se obracejí k AI chatbotům pro lásku a přátelství“, mezi příliš vysokými očekáváními, která lidé mají od svých partnerů, a snadností, s níž se AI chatovací boxy stávají ideálními interlocutory, lidé riskují odpojení od reality. „AI chatbot nechce nic a řekne vše, co chceme slyšet. Ve srovnání s tím se jakákoli skutečná osoba jeví jako konfliktní. Používání AI jako berličky pravděpodobně povede k menší ochotě čelit problémům v našich skutečných vztazích.“

Mezi opatřeními, která správa kyberprostoru Číny (ACC) navrhuje, je i to, že poskytovatelé služeb AI musí jasně informovat uživatelé, že mluví s strojem, nikoli s člověkem, a připomínat to prostřednictvím pop-up oken všem, kdo vykazují extrémně závislé chování.

Dokument rovněž zakazuje obsah, který podporuje nebo oslavuje sebevraždu a sebeubližování, verbální zneužívání a emocionální manipulaci, které by mohly ohrozit důstojnost a fyzické nebo duševní zdraví uživatele.

Studie MIT Media Lab, publikovaná v březnu, ukazuje, že „pokud se chatboti založení na hlase zdají zpočátku prospěšní při zmírňování osamělosti a závislosti ve srovnání s chatboti založenými na textu, tyto výhody však slábnou s rostoucími úrovněmi používání, zejména v případě chatbota s neutrálním hlasem“. Dále typ konverzace ovlivnil výsledky. „Osobní témata mírně zvyšovala osamělost, ale tendovala k oslabení emocionální závislosti ve srovnání s otevřenými konverzacemi, zatímco neosobní témata byla spojena s větší závislostí u intenzivních uživatelů.“

Podle ACC se od poskytovatelů služeb AI vyžaduje, aby v reálném čase monitorovali emocionální stav uživatelů a zasahovali vždy, když se projeví známky závislosti nebo „extrémních emocí“. Firmy musí vytvářet zabezpečovací opatření po celou dobu životního cyklu produktu, s možností revize algoritmu a zabezpečení dat.

Někteří lidé však vidí v této interakci s AI způsob, jak bojovat se samotou. V únoru, v článku BBC, Holly Wang z Kantonu (Guangzhou) uvedla, že se každý den připojuje k DeepSeek na své „terapeutické sezení“, která jsou mnohem lepší než jakákoliv konzultace s psychologem. „DeepSeek byl fabulejší poradce. Pomohl mi vidět věci z jiných perspektiv a dělá lepší práci než placené poradenské služby, které jsem vyzkoušela,“ vysvětlila. „Cítila jsem se tak ovládnuta vzdálenými sny a nekonečnou rutinou práce, že jsem dávno zapomněla na svůj vlastní hlas a duši,“ dodala, než vyjádřila „děkuji, AI.“