No es magia: Una herramienta de IA opaca puede señalar a los padres con discapacidades

“Le iba bien y empezamos a preguntarnos cuándo podría volver a casa”, dijo Lauren Hackney. “Y a partir de ese momento, nos dieron largas por completo”.

La pareja se quedó atónita cuando aparecieron los funcionarios de bienestar infantil, les dijeron que eran negligentes y se llevaron a su hija.

“Tenían los papeles de la custodia y se la llevaron allí mismo”, recordó Lauren Hackney. “Y nos pusimos a llorar”.

Más de un año después, su hija, que ahora tiene 2 años, sigue en acogida y los Hackney, que tienen discapacidades del desarrollo, se esfuerzan por entender cómo llevar a su hija al hospital cuando se negaba a comer puede considerarse tan negligente como para tener que llevársela de casa.

Se preguntan si una herramienta de inteligencia artificial que el Departamento de Servicios Humanos del condado de Allegheny utiliza para predecir qué niños podrían estar en riesgo de sufrir daños les ha excluido a ellos debido a sus discapacidades.

El Departamento de Justicia de EE.UU. se está haciendo la misma pregunta. La agencia está investigando el sistema de bienestar infantil del condado para determinar si su uso del algoritmo influyente discrimina a las personas con discapacidad u otros grupos protegidos, The Associated Press ha aprendido. A finales de este mes, los abogados federales de derechos civiles entrevistará a los Hackneys y la madre de Andrew Hackney, Cynde Hackney-Fierro, dijo la abuela.

Lauren Hackney padece un trastorno por déficit de atención con hiperactividad que afecta a su memoria, y su marido, Andrew, tiene un trastorno de comprensión y daños nerviosos por un derrame cerebral sufrido a los 20 años. Su hija tenía 7 meses cuando empezó a rechazar los biberones. Ante la escasez nacional de leche de fórmula, viajaron de Pensilvania a Virginia Occidental en busca de alguna y se vieron obligados a cambiar de marca. Al bebé no pareció gustarle.

Su pediatra primero les tranquilizó diciéndoles que los bebés pueden ser caprichosos con la alimentación y les ofreció ideas para ayudarla a recuperar el apetito.

Cuando la niña se puso letárgica días después, el mismo médico les dijo que la llevaran a urgencias. Los Hackney creen que el personal médico alertó a los servicios de protección de menores después de que se presentaran con un bebé deshidratado y desnutrido.

Es entonces cuando creen que su información se introdujo en la Herramienta de Detección Familiar de Allegheny, que según los funcionarios del condado es el procedimiento estándar para las denuncias de negligencia. Pronto apareció un trabajador social para interrogarles, y su hija fue enviada a un centro de acogida.

En los últimos seis años, el condado de Allegheny ha servido de laboratorio real para probar herramientas de bienestar infantil basadas en inteligencia artificial, que procesan montones de datos sobre las familias locales para intentar predecir qué niños pueden correr peligro en sus hogares. Hoy en día, las agencias de bienestar infantil de al menos 26 estados y Washington, D.C., han considerado el uso de herramientas algorítmicas, y las jurisdicciones de al menos 11 las han desplegado, según la Unión Americana de Libertades Civiles.

La historia de los Hackney -basada en entrevistas, correos electrónicos internos y documentos legales- ilustra la opacidad que rodea a estos algoritmos. Incluso mientras luchan por recuperar la custodia de su hija, no pueden cuestionar la “puntuación de riesgo” que la herramienta del condado de Allegheny puede haber asignado a su caso porque los funcionarios no se la revelan. Y ni el condado ni las personas que crearon la herramienta han explicado qué variables pueden haberse utilizado para medir la capacidad de los Hackney como padres.

“Es como si tuvieras un problema con alguien que tiene una discapacidad”, dijo Andrew Hackney. “En ese caso… probablemente acabas yendo a por todos los que tienen hijos y tienen una discapacidad”.

Como parte de una investigación de un año, la AP obtuvo los puntos de datos que sustentan varios algoritmos desplegados por las agencias de bienestar infantil, incluidos algunos marcados como “CONFIDENCIAL”, ofreciendo una visión poco común de la mecánica que impulsa estas tecnologías emergentes. Entre los factores que han utilizado para calcular el riesgo de una familia, ya sea directamente o por aproximación: la raza, los índices de pobreza, el estado de discapacidad y el tamaño de la familia. Incluyen si la madre fumaba antes de quedarse embarazada y si la familia ha tenido denuncias previas por maltrato o abandono infantil.

Lo que miden importa. Un análisis reciente realizado por investigadores de la ACLU reveló que cuandoEl algoritmo de Allegheny marcó a las personas que accedieron a los servicios del condado para la salud mental y otros programas de salud conductual, que podrían añadir hasta tres puntos a la puntuación de riesgo de un niño, un aumento significativo en una escala de 20.

El portavoz del condado de Allegheny, Mark Bertolet, se negó a abordar el caso Hackney y no respondió a preguntas detalladas sobre el estado de la investigación federal o las críticas de los datos que alimentan la herramienta, incluida la ACLU.

“Por política, no hacemos comentarios sobre pleitos o asuntos legales”, dijo Bertolet en un correo electrónico.

La portavoz del Departamento de Justicia, Aryele Bradford, declinó hacer comentarios.

Los creadores de la herramienta, Rhema Vaithianathan, profesor de economía de la salud en la Universidad Tecnológica de Auckland (Nueva Zelanda), y Emily Putnam-Hornstein, profesora de la Escuela de Trabajo Social de la Universidad de Carolina del Norte en Chapel Hill, afirmaron que su trabajo es transparente y que hacen públicos sus modelos.

“En cada jurisdicción en la que se ha aplicado plenamente un modelo hemos publicado una descripción de los campos que se utilizaron para construir la herramienta”, dijeron por correo electrónico.

Los desarrolladores han iniciado nuevos proyectos con agencias de bienestar infantil en el condado de Northampton, Pensilvania, y el condado de Arapahoe, Colorado. Los estados de California y Pensilvania, así como Nueva Zelanda y Chile, también les han pedido que realicen trabajos preliminares.

Vaithianathan asesoró recientemente a investigadores de Dinamarca y a funcionarios de los Emiratos Árabes Unidos sobre la tecnología en los servicios infantiles.

El año pasado, el Departamento de Salud y Servicios Humanos de EE.UU. financió un estudio nacional, del que eran coautores Vaithianathan y Putnam-Hornstein, en el que se llegaba a la conclusión de que su enfoque general en Allegheny podría servir de modelo para otros lugares.

La portavoz de la Administración para Niños y Familias del HHS, Debra Johnson, declinó decir si la investigación del Departamento de Justicia influiría en el futuro apoyo de su agencia a los enfoques algorítmicos para el bienestar infantil.

Especialmente cuando los presupuestos se ajustan, las agencias con problemas de liquidez están desesperadas por centrarse en los niños que realmente necesitan protección. En una mesa redonda celebrada en 2021, Putnam-Hornstein reconoció que “la tasa global de detección de Allegheny se mantuvo totalmente estable” desde que se puso en marcha su herramienta.

Mientras tanto, la separación familiar puede tener consecuencias de por vida para el desarrollo de los niños.

La hija de los Hackney ya ha estado en dos hogares de acogida y ha pasado más de la mitad de su vida lejos de sus padres.

En febrero, se le diagnosticó un trastorno que puede alterar su sentido del gusto, según el abogado de Andrew Hackney, Robin Frank, quien añadió que la niña sigue luchando por comer, incluso en hogares de acogida.

“Realmente quiero recuperar a mi niña”, dijo Andrew Hackney. “Me duele mucho. No sabes cuánto”.

___

Burke informó desde San Francisco. La videoperiodista de Associated Press Jessie Wardarski y la fotoperiodista Maye-E Wong en Pittsburgh contribuyeron a este reportaje.

___

Siga a Sally Ho y Garance Burke en Twitter en @_sallyho y @garanceburke.

___

Póngase en contacto con el equipo de investigación global de AP en [email protected] o https://www.ap.org/tips/