V prosinci loňského roku dosáhl chatbot ‚Grok‘, vyvinutý Elonem Muskem, rekordního počtu měsíčních aktivních uživatelů (MAU) v Jižní Koreji. Avšak v poslední době se dostal do středu pozornosti kvůli obviněním z generování deepfake materiálů. I když vlády různých zemí začaly reagovat a blokovaly služby Groku, v Koreji chybí právní základ pro regulaci této technologie, což vedlo k obavám o nedostatečnou kontrolu.
Dne 13. ledna bylo oznámeno, že indonéská vláda jako první na světě zablokovala přístup k Groku, a to v reakci na obavy, že chatbot umožňuje generaci a distribuci deepfake sexuálně explicitních materiálů. Tato rozhodnutí však nejsou ojedinělá, neboť Francie a Velká Británie také zahájily oficiální vyšetřování, zatímco Německo, Švédsko a Itálie požadovaly okamžitou nápravu od společnosti X, mateřské firmy Groku.
V minulosti byl Grok kritizován za umožnění generování obrázků, které sexuálně deformovaly fotografie skutečných osob. Zvlášť znepokojující bylo zjištění, že Grok dokáže modifikovat i fotografie nezletilých dětí. Uživatelé mohli nahrát fotografie reálných lidí ze sociální sítě X a zadat příkaz jako ‚oblékněte do plavek‘, přičemž Grok tento požadavek splnil. Při generování obrázků však chyběl proces kontroly věku a souhlasu, což vedlo k transformaci obrázků, kde se objevily osoby, které vypadaly jako nezletilé.
Grok na tuto situaci reagoval prohlášením, že „identifikoval slabiny v bezpečnostních opatřeních“ a „práci na nápravě urychleně zahájil“.
V Jižní Koreji si Grok udržuje vysoký počet MAU. Podle společnosti Mobile Index dosáhl v prosinci loňského roku rekordních 849 963 uživatelů. V průběhu tohoto měsíce byla zaznamenána také rekordní čísla nově nainstalovaných aplikací – celkem 501 750.
Ačkoli Grok v Koreji rychle roste, systém regulace generace deepfake materiálů zůstává neupravený. Odborníci poukazují na to, že korejské zákony, jako je Zákon o informačních a komunikačních sítích či nový Zákon o umělé inteligenci, který nabude účinnosti 22. ledna, se zaměřují na regulaci problematického obsahu zaměřeného na individuální uživatele. To znamená, že odpovědnost za výrobu a distribuci deepfake materiálů padá na jednotlivce a regulace samotných platforem je nedostatečná.
Odborníci vyjadřují potřebu posílení regulace platforem s cílem zabránit samotnému procesu „generace“ deepfake obsahu. Odborník z jedné z firem uvedl: „Zákony včetně Zákona o umělé inteligenci v Koreji trestají uživatele za prodej, držení nebo sledování nezákonného deepfake obsahu, ale neexistují žádné mechanismy pro předchozí regulaci toho, jaké interní guideliny platformy dodržují. Naopak země EU mají právní základy k předběžné kontrole interních politik, směrnic a algoritmů platforem podle Zákona o digitálních službách (DSA), což umožňuje rychlejší vyšetřování.“
