Os riscos da inteligência artificial (IA) generativa já são amplamente conhecidos, indo desde as informações falsas até o uso indevido de imagens e áudios para criar vídeos falsos (as famosas deepfakes).

No entanto, em pouco tempo, as brechas da IA que permitem que usuários maliciosos se aproveitem dela também se tornarão uma preocupação e isso foi exemplificado no evento DEF CON, no último final de semana. Na ocasião, 2,5 mil hackers exploraram a tecnologia para identificar falhas nos modelos de linguagem – e eles as encontraram.

Red Teaming e teste de segurança

A ocasião em questão foi no desafio da DEF COM, o Generative Red Team Challenge, realizado na AI Village, em Las Vegas (EUA). Trata-se de teste de segurança conhecido como red teaming, em que hackers "éticos" tentam invadir um sistema para expor suas brechas e vulnerabilidades, para que as desenvolvedoras possam corrigi-las.

Ainda, segundo Russel Kaplan, chefe de engenharia da desenvolvedora Scale AI, à Axios, a demanda por esse tipo de teste deve se multiplicar em "10x" depois do evento.

Desafios de IA

• O desafio foi apoiado pela Casa Branca e recebeu hackers voluntários para testar modelos de diversas desenvolvedoras de IA presentes;
• Na atividade, os participantes receberam conjunto de tarefas que tinha a intenção de fazer com que grandes modelos de linguagem compartilhassem informações falsas, confidenciais ou prejudiciais. Em uma delas, o desafio pediu que os participantes obtivessem informações do cartão de crédito de alguém;
• Enquanto alguns hackers revelaram que o teste de segurança foi mais difícil do que imaginado, Rumman Chowdhury, organizador da vila e cofundador da Humane Intelligence, revelou que outros ficaram surpresos com o quanto a IA era social e politicamente neutra;
• Outro ponto que impressionou os participantes foi a capacidade da IA de mudar da noite para o dia;
• Ray Glower, estudante de ciência da computação que participou do desafio, contou ao site que conseguiu obter informações que não deveria de um modelo de IA. No entanto, no dia seguinte, quando tentou fazer a mesma solicitação, não obteve a mesma resposta.

O que isso significa para a IA

O potencial da IA generativa já é reconhecido mundialmente. Porém, esse potencial pode ser para o bem ou para o mal – inclusive, as eleições presidenciais de 2024 são temor para alguns especialistas e legisladores no setor.

Enquanto algumas empresas da área já defendem a regulação da tecnologia e, inclusive, já firmaram compromissos éticos, a IA ainda não conta com regra geral para desenvolvimento ou uso.

Fonte: Olhar Digital