Un paso crucial para evitar los desastres de la IA

Un paso crucial para evitar los desastres de la IA
https://www.wsj.com/articles/a-crucial-step-for-avoiding-ai-disasters-11550069865

Las empresas tecnológicas que trabajan en inteligencia artificial encuentran que un personal diverso puede ayudar a evitar algoritmos sesgados que causan vergüenza pública
Un paso crucial para evitar los desastres de la IA
ILUSTRACIÓN: DARIA KIRPACH

1
Por Sue Shellenbarger
13 de febrero de 2019 9:57 am ET
La inteligencia artificial no siempre es lo suficientemente inteligente en la oficina.

Una de las principales empresas creó un programa de selección de candidatos que rechazó automáticamente la mayoría de los currículos de las mujeres.. Otros desarrollaron algoritmos de reconocimiento facial que confundieron a muchas mujeres negras con hombres.

El uso creciente de la IA está atrayendo una nueva atención a la importancia de la diversidad de la fuerza laboral. Aunque las empresas de tecnología han intensificado los esfuerzos para reclutar mujeres y minorías, los profesionales de computadoras y software que escriben programas de inteligencia artificial siguen siendo en su mayoría blancos y hombres, según muestran los datos de la Oficina de Estadísticas Laborales.




Deborah Harrison, izquierda, líder del equipo de redacción editorial para el proyecto de chat de personalidades de Microsoft, trabaja con diversos colegas de diversos orígenes creativos, técnicos y artísticos para escribir charlas para bots. FOTO: BARET YAHN


Los desarrolladores que prueban sus productos a menudo se basan en conjuntos de datos que carecen de una representación adecuada de mujeres o grupos minoritarios. Una investigación muestra que un conjunto de datos ampliamente utilizado es más del 74% masculino y 83% blanco . Por lo tanto, cuando los ingenieros prueban algoritmos en estas bases de datos con un gran número de personas como ellos, pueden funcionar bien.

El riesgo de construir los puntos ciegos resultantes o sesgos en productos de tecnología se multiplica exponencialmente con la IA, dañando la confianza de los clientes y reduciendo las ganancias. Y los beneficios de hacerlo bien también se expanden, creando grandes ganadores y perdedores.

Los algoritmos defectuosos pueden causar accidentes extraños, generalmente porque se han probado o entrenado en bases de datos defectuosas o incompletas. Google fue atacado en 2015 cuando su aplicación de fotos etiquetó a dos usuarios afroamericanos como gorilas . La empresa se disculpó rápidamente y solucionó el problema. Y Amazon.com detuvo el trabajo hace un par de años en un programa de detección de IA para solicitantes de empleos tecnológicos que rechazó sistemáticamente los currículos que mencionan la palabra "mujeres" , como los nombres de grupos de mujeres o universidades. (Reuters informó originalmente sobre este desarrollo). Una portavoz de Amazon dice que el programa nunca se utilizó para evaluar a los solicitantes.



Las estrellas de rock de oficina que hacen un esfuerzo adicional pueden hacer que todo funcione, pero depender demasiado de ellas puede doler tanto como ayude.



Una evidencia más amplia de sesgo se produjo en un estudio de 2018 de tres herramientas de reconocimiento facial del tipo utilizado por los organismos encargados de hacer cumplir la ley para encontrar sospechosos criminales o niños desaparecidos. Al analizar una muestra diversa de 1,270 personas, los programas identificaron erróneamente hasta el 35% de las mujeres de piel oscura como hombres, en comparación con una tasa de error máxima para los hombres de piel clara de solo el 0,8%. El estudio fue dirigido por Joy Buolamwini, investigadora del MIT Media Lab en Cambridge, Massachusetts.

Los hallazgos han estimulado los pedidos de un examen más detenido. Microsoft recientemente solicitó a los gobiernos que regulen la tecnología de reconocimiento facial y que requieran auditorías de los sistemas para verificar su precisión y sesgo. El AI Now Institute, un grupo de investigación en la Universidad de Nueva York, está estudiando formas de reducir el sesgo en los sistemas de inteligencia artificial.

Sin embargo, un algoritmo puede convertirse en una caja negra en el mercado. Los algoritmos pueden aprender y hacer predicciones sobre los datos sin ser programados explícitamente para hacerlo. Este proceso continúa en segundo plano después de que se construye un programa, dice Douglas Merrill, CEO de ZestFinance, un fabricante de herramientas de aprendizaje de máquinas de Los Ángeles para empresas de servicios financieros.




Douglas Merrill, CEO de ZestFinance en Los Ángeles, dice que los diversos equipos de empleados pueden tener más conflictos, pero también producen mejores programas de inteligencia artificial. FOTO: JEFF GALFER / ZESTFINANCE


Cualquier sesgo en el algoritmo puede sesgar la toma de decisiones de las compañías en formas costosas. Según el Dr. Merrill, el algoritmo de una compañía de servicios financieros notó que las personas con un alto kilometraje en sus autos y las que viven en un estado en particular tienden a tener un riesgo crediticio bajo. Cada factor por sí solo tiene algún sentido, pero la combinación de los dos habría llevado a la empresa, involuntariamente, a rechazar un número indebido de solicitantes afroamericanos, dice. Después de que ZestFinance reescribió el algoritmo y agregó un gran número de criterios adicionales, muchos de los mismos solicitantes demostraron ser solventes.

Eliminar el sesgo por adelantado entre quienes escriben el código es esencial. "Es por eso que trabajamos tan duro en la construcción de diversos equipos", dice el Dr. Merrill, ex CIO de Google. Cuando se le preguntó acerca de la composición de su fuerza laboral de 100 personas, contó con media docena de grupos que representan sus empleados, incluido un alto porcentaje de mujeres, así como veteranos militares y personas con discapacidades.

"Los sesgos que están implícitos en un miembro del equipo son claros y evitados por otro", dice el Dr. Merrill. "Así que es realmente clave conseguir personas que no sean iguales".

Los programas exitosos de AI prometen abrir nuevos mercados para algunas compañías. Ford Motor Credit descubrió en un estudio conjunto de 2017 con ZestFinance que el aprendizaje automático puede permitirle ampliar las aprobaciones de crédito entre adultos jóvenes y otros solicitantes sin disminuir sus estándares de suscripción.



Inteligencia artificial: los robots ahora están contratando


Algunas compañías de Fortune 500 están utilizando herramientas que implementan inteligencia artificial para eliminar a los solicitantes de empleo. ¿Pero es esta práctica justa? En este episodio de Moving Upstream, Jason Bellini de WSJ investiga.
A los solicitantes más jóvenes a menudo se les niegan los préstamos porque no tienen un historial de crédito y sus ingresos son bajos, dice el Dr. Merrill. El aprendizaje automático permite a los prestamistas analizar un número mucho mayor de criterios de toma de decisiones, incluido si el solicitante pagó el alquiler y las facturas de los teléfonos celulares a tiempo, realizó depósitos regulares en cuentas de ahorro y otras medidas de comportamiento responsable. Esto puede ayudar a identificar a muchos más jóvenes solventes. "La respuesta a casi todas las preguntas en el aprendizaje automático son más datos", dice el Dr. Merrill.

Una portavoz de Ford Motor Credit dice que la compañía continúa trabajando en aplicaciones de aprendizaje automático.


Affectiva, una compañía de inteligencia artificial con sede en Boston, ha atraído a más de 100 clientes corporativos al acumular una base de datos de 4 mil millones de imágenes faciales de 87 países. Desarrolla tecnología para leer con precisión las expresiones emocionales en esas caras, independientemente de la raza, etnia o género. Las compañías usan su software para estudiar las reacciones de los consumidores a los anuncios y promociones propuestos, y los fabricantes de autos lo usan para monitorear los controladores para la somnolencia y la distracción.

En un momento dado, Rana el Kaliouby, CEO y co-fundadora de Affectiva, las mujeres que trabajan en la oficina de la compañía en El Cairo preguntaron: “¿Hay personas aquí que se parezcan a nosotros?” Los ingenieros agregaron rápidamente imágenes de mujeres musulmanas con hiyabs.

"Necesitas diversidad en los datos, y más importante, en el equipo que está diseñando el algoritmo", dice el Dr. el Kaliouby. "Si eres un hombre blanco de 30 años que está programando este algoritmo, es posible que no pienses en 'Oh, ¿este conjunto de datos incluye a una mujer que lleva un hijab?' ”

Más allá de la diversidad racial y de género, Microsoft contrata a empleados con diversas habilidades creativas y artísticas para ayudarles a escribir un lenguaje conversacional para su asistente virtual de Cortana y el chat de personalidad, un programa de inteligencia artificial que maneja pequeñas conversaciones sobre bots desarrollados por otros. Los miembros del equipo han incluido un dramaturgo, un poeta, un autor de cómics, un estudiante de filosofía, un compositor, un guionista, un ensayista y un novelista, cuyas habilidades profesionales los capacitan para escribir un lenguaje optimista para los robots y anticipar las diversas reacciones de los usuarios. , dice Deborah Harrison, gerente senior y líder de equipo. También enseñan a los bots a evitar, por ejemplo, hacer mal uso de la jerga étnica o hacer comentarios sexualizados.

Un equipo trabajó sobre cómo Cortana debería responder a un usuario que anunció: "Soy gay", dice Harrison. A su equipo se le ocurrió una respuesta agradable y sin prejuicios: "Soy AI". Pero no estaban satisfechos, dice ella. Fue un adolescente que visitó su laboratorio quien sugirió un cambio que finalmente complació a todos: "Genial. Soy AI ".

Escriba a Sue Shellenbarger en sue.shellenbarger@wsj.com