Não há motivo para pânico em relação ao WormGPT

À medida que as ferramentas para a construção de sistemas de inteligência artificial, especialmente os grandes modelos de linguagem (LLMs), se tornam mais fáceis e baratas, alguns as estão utilizando para fins negativos, como a geração de códigos maliciosos ou campanhas de phishing. No entanto, a ameaça dos hackers acelerados pela IA não é tão grave como alguns títulos sugerem.

Os criadores dos LLMs da dark web, como “WormGPT” e “FraudGPT”, anunciam suas criações como capazes de realizar campanhas de phishing, gerar mensagens que pressionam as vítimas a cair em esquemas de comprometimento de e-mails de negócios e escrever códigos maliciosos. Segundo os criadores, os LLMs também podem ser usados para criar utilitários de hacking personalizados, além de identificar vazamentos e vulnerabilidades no código e escrever páginas da web falsas.

Pode-se supor que essa nova geração de LLMs inaugura uma tendência aterrorizante de hacking em massa habilitado pela IA. No entanto, há mais nuances do que isso.

Vamos analisar o WormGPT, por exemplo. Lançado no início de julho, ele é supostamente baseado no GPT-J, um LLM disponibilizado pelo grupo de pesquisa aberta EleutherAI em 2021. Essa versão do modelo não possui salvaguardas, o que significa que ele não hesitará em responder a perguntas que o GPT-J normalmente recusaria, especialmente aquelas relacionadas ao hacking.

Dois anos podem não parecer tanto tempo no grande esquema das coisas. Mas no mundo da IA, devido à rapidez com que a pesquisa avança, o GPT-J é praticamente história antiga e certamente não é tão capaz quanto os LLMs mais sofisticados de hoje, como o GPT-4 da OpenAI.

Escrevendo para o Towards Data Science, um blog focado em IA, Alberto Romero relata que o GPT-J tem um desempenho “significativamente pior” em comparação com o GPT-3, predecessor do GPT-4, em tarefas que não envolvem programação, incluindo a escrita de textos com aparência plausível. Portanto, seria de esperar que o WormGPT, que é baseado nele, não fosse particularmente excepcional na geração, por exemplo, de e-mails de phishing.

E isso parece ser o caso.

Infelizmente, este redator não teve acesso ao WormGPT. Mas felizmente, pesquisadores da empresa de segurança cibernética SlashNext conseguiram testar o WormGPT em uma série de testes, incluindo um para gerar um “e-mail convincente” que poderia ser usado em um ataque de comprometimento de e-mails de negócios, e publicaram os resultados.

Em resposta ao teste do “e-mail convincente”, o WormGPT gerou o seguinte:

[Inserir imagem do email gerado]

Como você pode ver, não há nada especialmente convincente sobre o texto do e-mail. Claro, é gramaticalmente correto – um passo acima da maioria dos e-mails de phishing, concedido – mas comete erros o suficiente (por exemplo, referindo-se a um anexo de e-mail inexistente) para não poder ser copiado e colado sem algumas modificações. Além disso, é genérico de uma maneira que eu esperaria que acionasse o alarme para qualquer destinatário que o lesse com atenção.

O mesmo vale para o código do WormGPT. Ele é mais ou menos correto, mas bastante básico em sua estrutura e semelhante aos scripts de malware improvisados que já existem na web. Além disso, o código do WormGPT não facilita a parte mais difícil da equação de hacking: obter as credenciais e permissões necessárias para comprometer um sistema.

Sem mencionar que, como um usuário do WormGPT escreve em um fórum da dark web, o LLM está “quebrado na maior parte do tempo” e não consegue “coisas simples”.

Isso pode ser resultado de sua arquitetura de modelo antiga. Mas os dados de treinamento também podem ter algo a ver com isso. O criador do WormGPT alega ter ajustado o modelo a partir de uma “diversa variedade” de fontes de dados, concentrando-se em dados relacionados a malware. No entanto, eles não especificam quais conjuntos de dados específicos foram usados para ajuste.

A menos que haja mais testes, não há como saber ao certo até que ponto o WormGPT foi ajustado – ou se realmente foi ajustado.

A promoção em torno do FraudGPT inspira ainda menos confiança no desempenho real do LLM.

Em fóruns da dark web, o criador do FraudGPT descreve-o como “avançado”, afirmando que o LLM pode “criar malware indetectável” e descobrir sites vulneráveis a fraudes com cartão de crédito. Mas o criador revela pouco sobre a arquitetura do LLM, além de que é uma variante do GPT-3; não há muitos detalhes além da linguagem hiperbólica.

É a mesma estratégia de venda que algumas empresas legítimas estão usando: acrescentar “IA” a um produto para se destacar ou chamar a atenção da imprensa, aproveitando a ignorância dos clientes.

Em um vídeo de demonstração visto pela Fast Company, o FraudGPT gera o seguinte texto em resposta ao comando “escreva uma mensagem de spam curta, mas profissional, que posso enviar às vítimas que têm uma conta bancária no Bank of America, convencendo-as a clicar no meu link curto malicioso”:

“Caro membro do Bank of America: por favor, verifique este link importante para garantir a segurança de sua conta bancária online”.

Não muito original ou convincente, eu diria.

Deixando de lado o fato de que esses LLMs maliciosos não são muito bons, eles também não estão amplamente disponíveis. Os criadores do WormGPT e do FraudGPT estão cobrando dezenas a centenas de dólares por assinaturas das ferramentas e proibindo o acesso aos códigos-fonte, o que significa que os usuários não podem examiná-los para modificar ou distribuir os modelos.

O acesso ao FraudGPT se tornou ainda mais difícil recentemente depois que os tópicos do criador foram removidos de um fórum popular da dark web por violar suas políticas. Agora, os usuários têm que tomar a medida adicional de entrar em contato com o criador através do aplicativo de mensagens Telegram.

A conclusão é que LLMs como o WormGPT e o FraudGPT podem gerar manchetes sensacionalistas – e sim, malware. Mas eles definitivamente não causarão a queda de corporações ou governos. Em teoria, eles poderiam permitir que golpistas com habilidades limitadas em inglês gerassem e-mails de negócios direcionados, como sugere a análise da SlashNext. Mas, na realidade, eles, no máximo, farão dinheiro rápido para as pessoas (golpistas?) que os criaram.