La Inteligencia Artificial en la mira
El sistema basado en IA no está libre de errores. Esto abre el debate por los sesgos originales que existen en los datos de entrada
La inteligencia artificial (IA) está influyendo cada vez más en el mundo gracias a los avances e innovaciones recientes. A pesar de las bondades prometidas, debemos tener en mente que es una herramienta compleja y es necesario supervisar los resultados obtenidos para hacer buen uso de esta tecnología y evitar consecuencias catastróficas. A continuación, hablaremos de cuatro casos que demuestran que es necesario mantener a los humanos en la toma de decisiones y no confiar ciegamente en la IA.
Escándalo de las subvenciones familiares (toeslagenaffaire)
El gobierno holandés, en la última década, desarrolló un algoritmo de aprendizaje auto-supervisado para detectar fraudes de bajo nivel en las solicitudes de apoyos monetarios familiares.
Desafortunadamente, el sistema estaba sesgado: acusando a personas de raza negra y discriminando según la nacionalidad. Por ejemplo, señalando a las personas con doble nacionalidad como estafadores. Esto ocasionó que cerca de 26 mil familias fueran acusadas injustamente y obligadas a devolver el dinero recibido, arrastrándolas a la ruina financiera o a problemas de salud mental. Como el sistema estaba automatizado, no había responsabilidad humana ni manera de que las víctimas presentaran quejas.
Este hecho provocó dimisiones masivas del gobierno holandés en enero de 2021 y dio inicio a un debate que sigue en curso sobre la IA en Europa.
Detectores de GPT
Una preocupación reciente es el uso indiscriminado de ChatGPT para hacer tareas escolares o artículos para publicaciones. Para evitar estas acciones, se crearon modelos basados en IA cuya finalidad es detectar cuando un texto ha sido generado con IA.
Un equipo de la Universidad de Stanford realizó pruebas para saber qué tan confiables eran estas herramientas en inglés. Tomaron 91 ensayos escritos por estudiantes para el examen de inglés TOEFL y probaron su autenticidad con siete detectores de GPT. El resultado fue sorprendente, más de la mitad de las muestras se clasificaron erróneamente como escritas por IA, mientras que la detección de muestras de hablantes nativos se mantuvo casi perfecta.
Este resultado erróneo se debe principalmente a la perplejidad del texto, es decir, el uso de palabras poco comunes. ChatGPT está diseñado para dar respuestas generales, con una perplejidad baja, cosa que también ocurre con estudiantes no nativos.
No cuestionar los resultados obtenidos de un algoritmo de IA puede causar daños económicos, sociales y laborales. Debido a esto, es necesario incorporar una parte humana en la toma de decisiones.
Herramienta de contratación de Amazon
En el año 2014, ingenieros de Amazon crearon una IA para automatizar su sistema de contratación. El objetivo era procesar cien solicitudes y que el sistema inteligente les indicara las cinco mejores solicitudes para su contratación.
Para lograr esto, se entrenó la IA con información de los empleados actuales de Amazon, que como en muchas empresas de tecnología, la mayoría son hombres. Sin estar conscientes de ello, esto ocasionó un sesgo sexista en los resultados. Un año después de su lanzamiento, se dieron cuenta que el sistema descartaba automáticamente cualquier solicitud que mencionara que era mujer o que había asistido a una universidad/club exclusivo para mujeres. El error se logró corregir con facilidad para este caso. Sin embargo, el sistema basado en IA no está libre de errores debido a los sesgos originales que existen en los datos de entrada.
BARD
En el mundo de la tecnología y el Internet, es conocido que Google es parte de la empresa Alphabet desde agosto del 2015. Siguiendo los pasos de los gigantes tecnológicos, esta empresa desarrollo el chatbot llamado BARD, como competidor directo de ChatGTP. En teoría sonaba bien, pero esto ha representado una gran pérdida monetaria para la empresa.
En un anuncio de Twitter (ahora llamado X), le preguntaron a BARD: «¿Cómo le explicarías los últimos descubrimientos del Telescopio Espacial James Webb a un infante de 9 años?», su respuesta fue errónea, afirmando que el telescopio había tomado la primera fotografía de un planeta fuera del sistema solar (en realidad el exoplaneta 2M1207b fue capturado en una imagen compuesta por el «Very Large Telescope» en 2004). Esto causó pánico entre varios inversores de Alphabet, los cuales vendieron sus acciones, provocando una pérdida de cien mil millones de dólares. Esto se pudo haber evitado si hubieran verificado la información antes de publicar el anuncio.
No cuestionar los resultados obtenidos de un algoritmo de IA puede causar daños económicos, sociales y laborales. Debido a esto, es necesario incorporar una parte humana en la toma de decisiones. Nosotros somos capaces de incorporar elementos más allá de la simple lógica.
Dr. Gehová López González, investigador Post-doctorante en el Departamento de Ingenierías, CUCosta-Sur
Dr. Antonio Muñoz, Profesor investigador del Departamento de Ingenierías, CUCosta-Sur
