Tradução do artigo Artificial Personas and Public Discourse, de Bruce Schneier, publicado no blog Schneier on Security em 13 de janeiro de 2020.

A campanha presidencial está oficialmente – oficialmente – às portas, e isso significa que é hora de encarar as peculiares e insidiosas formas pelas quais a tecnologia vem moldando a política. Uma das maiores ameaças à vista: as personas artificiais estão chegando, e estão preparadas para assumir o debate político. O risco é proveniente de duas ameaças que caminham juntas: texto gerado por inteligência artificial e chatbots de mídias sociais (NdoT: chatbot é um programa que assume o papel de um ser humano capaz de responder mensagens de um usuário de computador). Essas “pessoas” geradas por computador vão se sobrepor às discussões humanas reais na internet.

Softwares de geração de texto já são suficientemente bons para enganar a maior parte das pessoas durante a maior parte do tempo. Eles escrevem reportagens, particularmente de esportes e finanças. Conversam com clientes em sites de comércio. Escrevem convincentes artigos de opinião nos jornais (apesar das limitações). E estão sendo usados para dar força ao “jornalismo pink-slime” – websites feitos para parecer sites de notícias regionais verdadeiras mas que, em vez disso, publicam propaganda.

Há, também, o episódio de um conteúdo gerado por algorítmo que pretendia se passar por conteúdo gerado por ser humano. Em 2017, a Federal Communications Commission abriu uma consulta pública online sobre os seus planos de extinguir a neutralidade da internet. Um espantoso volume de 22 milhões de comentários foi recebido. Muitos deles – talvez metade – eram fake, usando identidades roubadas. Os comentários eram também rudimentares; 1,3 milhão haviam sido gerados pelo mesmo modelo, com alteração de algumas palavras para que parecessem ter sido feitos por pessoas. Eles não resistiam sequer a uma análise superficial.

Esses esforços ficarão cada vez mais sofisticados. Em recente experimento, Max Weiss, formando em Harvard, usou um programa de geração de texto para criar mil comentários em resposta a uma solicitação do governo sobre uma questão médica. Todos os comentários eram individualizados e pareciam terem sido feitos por pessoas reais defendendo uma opinião específica. Eles enganaram os administradores da Medicaid.gov, que aceitaram os comentários como considerações legítimas feitas por seres humanos reais. Como era uma pesquisa, Weiss posteriormente identificou os comentários e pediu que fossem removidos para que o debate real sobre as diretrizes médicas não ficasse enviesado. O próximo grupo que tentar isso não será tão nobre.

Há anos os chatbots têm enviesado as discussões nas mídias sociais. De acordo com uma estimativa, cerca de um quinto dos tweets da eleição presidencial de 2016 foram publicadas por bots; cerca de um terço dos tweets da votação do Brexit também. Um relatório do Oxford Internet Institute do ano passado encontrou indícios do uso de bots para espalhar propaganda em 50 países. Esse tipo de bot tende a ser um programa simples repetindo slogans cegamente: um quarto de milhão de tweets pró-sauditas “Todos confiamos em Mohammed bin Salman” após o homicídio de Jamal Khashoggi, por exemplo. Detectar muitos bots com poucos seguidores é mais difícil do que detectar poucos bots com muitos seguidores. E medir a efetividade desses bots é difícil. As melhores análises indicam que eles não afetaram a eleição presidencial americana de 2016. Mais provavelmente, eles distorceram a percepção que as pesssoas têm sobre a opinião pública e a sua crença no debate político fundamentado. Todos estamos passando por um experimento social inédito.

Ao longo dos anos, os bots algorítmicos evoluíram a ponto de se tornarem personas. Eles têm nomes falsos, biografias falsas e fotos falsas – às vezes geradas por Inteligência Artificial. Em vez de vomitar propaganda incessantemente, eles publicam comentários apenas ocasionalmente. Os pesquisadores podem detectar que se trata de bots e não pessoas reais com base nos padrões de postagem mas a tecnologia dos bots está melhorando constantemente, superando as tentativas de detecção. Futuros grupos não serão identificados tão facilmente. Eles se incorporarão a grupos sociais humanos de uma forma melhor. A propaganda será sutil e imiscuída em tweets de tópicos relevantes àqueles grupos sociais.

Misture essas duas tendências e você terá a receita para que a tagalerice não humana domine o discurso político atual.

Em breve, personas movidas por inteligência artificial serão capazes de escrever cartas personalizadas a jornais e dirigentes eleitos, dar sugestões individuais em processos de elaboração de leis e debater questões políticas em mídias sociais de forma inteligente. Elas serão capazes de postar comentários em mídias sociais, sites de notícias e em qualquer outro lugar, criando personas consistentes que parecerão reais mesmo para alguém que as investigue. Elas serão capazes de se passar por indivíduos nas mídias sociais e postar textos personalizados. Elas serão reproduzidas aos milhões e se engajarão nas discussões 24 horas por dia, enviando bilhões de mensagens, longas ou curtas. Resumindo, elas serão capazes de dominar qualquer debate real na internet. Não apenas nas mídias sociais mas em qualquer lugar onde haja comentários.

Esses bots de personas serão talvez controlados por atores estrangeiros. Talvez por grupos políticos domésticos. Talvez pelos próprios candidatos. Mais provavelmente, por todos eles. A lição mais importante da eleição de 2016 com respeito à má informação não é se houve má informação; a lição mais importante é o quão barato e fácil é informar mal a população. Melhorias técnicas futuras tornarão tudo isso ainda mais acessível.

O nosso futuro consistirá de debates políticos tempestuosos, principalmente de bots discutindo com outros bots. Não é nisso que pensamos quando louvamos o debate de ideias ou qualquer outro processo político democrático. A democracia precisa de duas coisas para funcionar bem: informação e instituições. Personas artificiais podem a privar a população de ambas.

É difícil imaginar soluções. Podemos regulamentar o uso de bots – um projeto de lei na Califórnia exige que os bots se identifiquem – mas isso só funciona no caso de campanhas de influência legítimas, como publicidade. As operações de influência clandestinas são de muito mais difícil detecção. A solução mais óbvia é desenvolver e padronizar melhores métodos de autenticação. Se as redes sociais verificarem que há uma pessoa real por trás de cada conta, poderão então eliminar personas falsas de uma forma melhor. Por outro lado, contas falsas já são criadas regularmente para pessoas reais sem o conhecimento ou o consentimento delas, e o anonimato é essencial para o debate político saudável, especialmente quando uma pessoa pertence a um grupo marginalizado ou desfavorecido. Não existe um sistema de autenticação que ao mesmo tempo proteja a privacidade e consiga suportar bilhões de usuários.

Podemos ter a esperança de que a nossa capacidade de identificar personas artificiais acompanhe a nossa capacidade de criá-las. Se a corrida armamentista entre deep fakes e a detecção de deep fakes serve de parâmetro, a luta será bem difícil. As tecnologias de ofuscação (NdoT: técnicas de ocultação ou embaralhamento de informações para confundir a vítima) parecem estar sempre um passo à frente das tecnologias de detecção. E as personas artificiais serão projetadas para agirem exatamente como pessoas reais.

Ao fim e ao cabo, as soluções, quaisquer que sejam, terão de ser não técnicas. Temos de reconhecer as limitações dos debates políticos online e priorizar novamente as interações face a face. Estas são difíceis de automatizar, e sabemos que as pessoas com quem estamos conversando são pessoas reais. Seria uma mudança cultural de distanciamento da internet e das postagens de texto, um passo para atrás das mídias sociais e dos riscos dos comentários. Isso parece, hoje, uma solução completamente impensável.

Os esforços para informar a população de forma enganosa hoje são comuns ao redor do mundo, levados a cabo em mais de 70 países. Essa é a forma normal de promover propaganda em países com inclinações autoritárias, e está se tornando a forma de fazer campanha política, seja para um candidato ou para uma causa.

Personas artificiais são o futuro da propaganda. E embora talvez não sejam capazes de conseguir fazer o debate pender para um lado ou para o outro, elas facilmente dominam o debate por completo. Não sabemos o efeito desse ruído na democracia, sabemos apenas que ele será pernicioso e que ele é inevitável.

Este ensaio foi publicado primeiramente no TheAtlantic.com.

***