Os fãs de K-pop são conhecidos como uma força a ser reconhecida na internet, com alguns fãs mantendo lealdades e paixões ferozes quando se trata de artistas específicos. Nas redes sociais, alguns fãs obsessivos estão usando IA generativa para criar o que é essencialmente fan-fiction auto-inserido – vídeos assustadores e imagens deles mesmos se beijando, abraçando e recebendo vários tipos de pombinhos amorosos com seus ídolos favoritos. O resultado é uma mutação contemporânea e tecnológica da cultura ídolo que leva a arte dos fãs a novos extremos, e muitas pessoas nas comunidades de fãs de K-pop estão compreensivelmente bastante chateadas com isso.
Usuários do Reddit e de vários fóruns de K-pop expressaram indignação com essas fantasias falsas, pedindo a outros fãs que denunciem aqueles que usam ferramentas de IA para gerar vídeos não consensuais de seus galãs de K-Pop. Em um tópico no subreddit K-pop Uncensored, um usuário postou capturas de tela editadas de um vídeo gerado por IA por outro fã mostrando-se sendo abraçado e beijado na bochecha por Keonho do grupo masculino CORTIS, que é menor de idade. “Alguns fãs podem pensar que é inofensivo, mas se você tolerar isso, estará abrindo portas para coisas muito piores no futuro”, escreveu o usuário do Reddit wbu_lizzie no tópico. “Os ídolos não consentiram com isso, eles são pessoas reais vivendo suas vidas, não um bando de personagens do wattpad/ao3.”
“As pessoas têm recortado e colado esse tipo[s] das coisas para sempre, mas quanto mais realistas as imagens ficam, mais arriscado fica psicologicamente”, escreveu o usuário Goldie_Prawn, em outro tópico no K-pop Uncensored denunciando o uso de IA. “Acho que mesmo com o Photoshop tradicional, o trabalho e a habilidade necessários proporcionam ao criador algum nível de proteção mental que não existe com a IA.”
Sarah Keith, professora da Universidade MacQuarie, na Austrália, que fez uma extensa pesquisa sobre o fandom de K-pop, diz que os vídeos deepfake de IA vêm de um longo legado de conteúdo criado por fãs que vai muito além do mundo do K-pop. A fanfic e a arte sempre foram um componente essencial da cultura dos fãs e, embora essas criações muitas vezes ultrapassem os limites dos direitos autorais, geralmente não são vistas como assustadoras ou exploradoras. Mas com o advento de ferramentas generativas de IA que podem criar rapidamente imagens e vídeos realistas de pessoas reais, Silicon Valley construiu uma solução técnica para a lei e as normas sociais de consentimento.
“Os fãs de K-pop (como todos os fãs de cultura pop) há muito tempo são produtores ativos de materiais de fãs sobre seus ídolos preferidos. No entanto, até o momento, estes não têm sido ‘convincentes’ como artefatos que poderiam ter envolvido o próprio ídolo”, disse Keith à 404 Media. “É uma questão paralela que envolve tanto os fãs como as ferramentas de IA. Devido a estes dois factores, existe agora uma maior facilidade para os fãs criarem grandes volumes de conteúdo, que não respeitam a integridade pessoal dos ídolos, e que podem ser distribuídos online de formas que prejudicam a reputação dos ídolos (por exemplo, deepfakes sexualizados).”
Enquanto muitos fãs se manifestaram contra esses comportamentos assustadores, outros apontaram a culpa para o modelo de negócios da indústria K-pop que incentiva o fandom parasocial enquanto explora muitos artistas e fãs.
“Este é um triste efeito colateral de uma indústria que durante anos [has] empurraram relações parassociais para seus fãs”, escreveu Serious-Wish4868, em um tópico no r/kpop, pensamentos sobre a sexualização de ídolos alimentada por IA. “Quando os ídolos e as empresas estão constantemente pressionando você a viver suas fantasias românticas e sexuais com os ídolos em tudo o que eles fazem, desde postagens nas redes sociais até interações ao vivo, o que acontece com você? [you] espera que aconteça?”
Mas algumas das agências de entretenimento que administram artistas de K-pop – e os próprios artistas – também expressaram que não estão felizes com a situação. Membros de grupos K-pop extremamente populares como BTS e Amanhã X Juntos manifestaram-se contra o uso de IA generativa para criar simulacros digitais usando imagens de artistas. Em março a OA Entertainment uma gravadora fundada e representando a integrante do Blackpink Jennie alertou em comunicado à imprensa que começaria a tomar “ações legais fortes, incluindo processos civis e criminais, contra quaisquer atos que violem a reputação, os direitos, os direitos de retrato e outros direitos de propriedade intelectual do artista”. A declaração veio em resposta a incidentes de assédio e perseguição envolvendo os artistas e implicava fortemente a questão do conteúdo gerado por IA, sem nomeá-lo explicitamente.
Ao mesmo tempo, muitas destas empresas de talentos ídolos estão a adotar ferramentas generativas de IA como veículo para reduzir custos em toda a indústria. SM Entretenimentouma das maiores gravadoras da Coreia que representa bandas importantes como Girls Generation e Super Junior, descreveu a integração generativa de IA como uma parte central de sua estratégia de negócios e, no ano passado, lançou um videoclipe totalmente gerado por IA para o grupo feminino Aespa. E em dezembro passado, o mundo do K-pop viu o lançamento de um grupo ídolo totalmente sintético chamado GLXE (pronuncia-se “galaxy”), que combina músicas geradas por IA com avatares de IA misteriosos.
“Eles automatizariam toda a indústria se pudessem ganhar dinheiro”, disse Lindsey Knuth, fã de K-pop e editora associada da Notícias emaranhadasdisse à 404 Media. “Deepfakes pornográficos de ídolos menores são um problema, assim como a (falta de) resposta da indústria para mim.”
A tolerância cultural para resíduos de IA gerados por fãs varia dependendo da região e do contexto. Coreia do Sul atualmente ocupa o primeiro lugar no consumo de conteúdo residual de IAà medida que a indústria tecnológica do país impulsiona a adoção e aceitação cultural da tecnologia. Nos EUA, contudo, as sondagens mostram consistentemente que a maioria dos os jovens têm opiniões extremamente negativas sobre as ferramentas de IA e conteúdo gerado por IA – e estão se tornando cada vez mais anti-IA à medida que empregos, escolas e instituições os pressionam ou os forçam a usá-los.
Keith observa que, embora as gravadoras e as empresas de talentos sempre tenham sido muito ativas na proteção dos artistas e de suas reputações, elas só o fazem na perspectiva da proteção de um investimento. Os fãs, por outro lado, geralmente tendem a ser mais investidos emocionalmente e propensos a defender os ídolos como seres humanos, tanto de fãs assustadores quanto das próprias empresas.
E, tal como acontece com a IA e a tecnologia em geral, a falta de salvaguardas técnicas ou legais contra os efeitos da tecnologia muitos bem documentado prejudica tornou a vergonha social um dos únicos impedimentos eficazes contra o comportamento abusivo no mundo K-pop.
“É reconfortante que muitos fãs estejam denunciando abertamente o uso não consensual de IA e deepfakes, porque na ausência de barreiras técnicas para esse tipo de conteúdo, a aceitabilidade social é realmente o que importa”, disse Keith. “Então, sim, é reconfortante que muitos fãs ativos online estejam construindo uma cultura de respeito onde as imagens dos ídolos não são usadas de forma não consensual.”