OnzeLabsuma startup de IA que oferece serviços de clonagem de voz com suas ferramentas, baniu o usuário que criou um áudio deepfake de Joe Biden usado na tentativa de atrapalhar as eleições, segundo Bloomberg. O áudio representando o presidente foi usado em uma chamada automática enviada a alguns eleitores em New Hampshire na semana passada, dizendo-lhes para não votarem nas primárias de seu estado. Inicialmente não estava claro qual tecnologia foi usada para copiar a voz de Biden, mas um análise minuciosa pela empresa de segurança Pindrop mostrou que os perpetradores usaram ferramentas da ElevanLabs.
A empresa de segurança removeu o ruído de fundo e limpou o áudio da chamada automática antes de compará-lo com amostras de mais de 120 tecnologias de síntese de voz usadas para gerar deepfakes. O CEO da Pindrop, Vijay Balasubramaniyan, disse Com fio que “voltou bem ao norte de 99 por cento de que era ElevenLabs”. Bloomberg afirma que a empresa foi notificada das descobertas do Pindrop e ainda está investigando, mas já identificou e suspendeu a conta que fez o áudio falso. ElevenLabs disse à organização de notícias que não pode comentar sobre o assunto em si, mas que está “dedicado a prevenir o uso indevido de ferramentas de IA de áudio e [that it takes] qualquer incidente de uso indevido extremamente sério.”
A chamada robótica deepfaked de Biden mostra como tecnologias que podem imitar a imagem e a voz de outra pessoa podem ser usadas para manipular votos nas próximas eleições presidenciais nos EUA. “Isso é apenas a ponta do iceberg do que poderia ser feito em relação à supressão de eleitores ou aos ataques aos trabalhadores eleitorais”, disse Kathleen Carley, professora da Universidade Carnegie Mellon. A colina. “Foi quase um prenúncio de todos os tipos de coisas que deveríamos esperar nos próximos meses.”
É apenas fiquei na internet alguns dias depois que a ElevenLabs lançou a versão beta de sua plataforma para começar a usá-la para criar clipes de áudio que soam como celebridades lendo ou dizendo algo questionável. A startup permite que os clientes usem sua tecnologia para clonar vozes para “discursos artísticos e políticos que contribuam para debates públicos”. Isso é página de segurança alerta os usuários que eles “não podem clonar uma voz para fins abusivos, como fraude, discriminação, discurso de ódio ou para qualquer forma de abuso online, sem infringir a lei”. Mas é evidente que precisa de implementar mais salvaguardas para evitar que maus actores utilizem as suas ferramentas para influenciar os eleitores e manipular eleições em todo o mundo.
Este artigo apareceu originalmente no Engadget em https://www.engadget.com/elevenlabs-reportedly-banned-the-account-that-deepfaked-bidens-voice-with-its-ai-tools-083355975.html?src=rss
Fonte: