Discord enfrenta desafíos en moderación de IA

Prohibiciones erróneas a usuarios revelan fallos en sistemas automatizados

Discord ha reconocido un problema en su sistema de moderación basado en inteligencia artificial que resultó en la prohibición incorrecta de más de 8,000 usuarios. Este error se debió a que el sistema identificó erróneamente imágenes inofensivas, como hojas de cálculo y tableros de ajedrez, como contenido dañino. La situación…

Discord ha reconocido un problema en su sistema de moderación basado en inteligencia artificial que resultó en la prohibición incorrecta de más de 8,000 usuarios. Este error se debió a que el sistema identificó erróneamente imágenes inofensivas, como hojas de cálculo y tableros de ajedrez, como contenido dañino.

La situación afectó a cuentas desde mayo, y recientemente, 200 cuentas adicionales fueron prohibidas antes de que Discord solucionara el problema. La empresa trabaja actualmente en la restauración de las cuentas afectadas. Este incidente destaca los desafíos de la moderación asistida por inteligencia artificial, una herramienta en la que muchas plataformas confían para identificar material ilegal o abusivo.

Discord explica que su sistema automatizado compara el contenido con bases de datos de material conocido como dañino, pero puede generar falsos positivos. A pesar de la revisión humana, un error llevó a prohibiciones inmediatas. La compañía se compromete a mejorar sus medidas de seguridad para evitar situaciones similares.

Usuarios han compartido experiencias de suspensiones permanentes tras subir imágenes con patrones de cuadrícula, sugiriendo que la IA de Discord ha aumentado su sensibilidad hacia estos patrones. La pérdida de una cuenta por un error así puede ser devastadora, especialmente para quienes dependen de Discord para trabajo o conexiones sociales. Otros servicios, como Instagram y Facebook, también enfrentan críticas por suspensiones inexplicables, aunque no han confirmado el papel de la inteligencia artificial en estos incidentes.