Discord enfrenta problemas con su moderación de IA

Usuarios afectados por prohibiciones erróneas debido a fallos en el sistema automatizado

Discord ha reconocido un error en su sistema de moderación basado en inteligencia artificial, que resultó en la prohibición incorrecta de más de 8,000 usuarios en los últimos dos meses. La confusión surgió cuando la IA identificó imágenes inofensivas, como hojas de cálculo y tableros de ajedrez, como contenido dañino.…

Discord ha reconocido un error en su sistema de moderación basado en inteligencia artificial, que resultó en la prohibición incorrecta de más de 8,000 usuarios en los últimos dos meses. La confusión surgió cuando la IA identificó imágenes inofensivas, como hojas de cálculo y tableros de ajedrez, como contenido dañino. Este problema pone de manifiesto los desafíos actuales en el uso de IA para moderar contenido en línea, un recurso cada vez más utilizado por plataformas que buscan gestionar grandes volúmenes de datos.

Desde mayo, las cuentas afectadas por este fallo se han incrementado, y recientemente se añadieron 200 cuentas más antes de que Discord resolviera el problema. La compañía está trabajando en la restauración de las cuentas y ha destacado su compromiso de mejorar las medidas de seguridad para prevenir incidentes similares. La moderación automatizada, aunque eficiente en la detección de material ilegal, puede generar falsos positivos, como ha sido el caso.

Usuarios han compartido sus experiencias en redes sociales, expresando frustración por las prohibiciones permanentes generadas automáticamente. Estas suspensiones afectan a quienes dependen de Discord para trabajo o conexiones sociales, subrayando la importancia de un equilibrio entre automatización y revisión humana. Además de Discord, otras plataformas como Instagram y Grupos de Facebook también enfrentan críticas por problemas similares, aunque no han confirmado públicamente la implicación de la inteligencia artificial en estos incidentes.