Un algoritmo que detecta la negligencia infantil suscita preocupación
Para la abogada de derecho de familia Robin Frank, defender a los padres en uno de sus momentos más bajos – cuando corren el riesgo de perder a sus hijos – nunca ha sido fácil.
El trabajo nunca es fácil, pero en el pasado ella sabía a qué se enfrentaba cuando se enfrentaba a los servicios de protección de menores en los tribunales de familia. Ahora, le preocupa estar luchando contra algo que no puede ver: un algoritmo opaco cuyos cálculos estadísticos ayudan a los trabajadores sociales a decidir qué familias deben ser investigadas en primer lugar.
“Mucha gente no sabe que se está utilizando”, dijo Frank. “Las familias deberían tener derecho a tener toda la información en su expediente”.
Desde Los Ángeles hasta Colorado y en todo Oregón, mientras las agencias de bienestar infantil utilizan o consideran herramientas similares a la del condado de Allegheny, Pennsylvania, una revisión de Associated Press ha identificado una serie de preocupaciones sobre la tecnología, incluyendo preguntas sobre su fiabilidad y su potencial para endurecer las disparidades raciales en el sistema de bienestar infantil. Cuestiones relacionadas ya han torpedeado los planes de algunas jurisdicciones para utilizar modelos predictivos, como la herramienta notablemente abandonada por el estado de Illinois.
Según una nueva investigación de un equipo de la Universidad Carnegie Mellon obtenida en exclusiva por AP, el algoritmo de Allegheny en sus primeros años de funcionamiento mostró un patrón de marcar un número desproporcionado de niños negros para una investigación de negligencia “obligatoria”, en comparación con los niños blancos. Los investigadores independientes, que recibieron los datos del condado, también descubrieron que los trabajadores sociales no estaban de acuerdo con las puntuaciones de riesgo que el algoritmo producía aproximadamente un tercio de las veces.
Los funcionarios del condado dijeron que los trabajadores sociales siempre pueden anular la herramienta, y calificaron la investigación de “hipotética”.
Los funcionarios de bienestar infantil en el condado de Allegheny, la cuna del barrio televisivo de Mister Rogers y las innovaciones centradas en los niños del icono, dicen que la herramienta de vanguardia – que está captando la atención en todo el país – utiliza los datos para apoyar a los trabajadores de la agencia, ya que tratan de proteger a los niños de la negligencia. Ese término matizado puede incluir desde una vivienda inadecuada hasta una higiene deficiente, pero es una categoría diferente a la del abuso físico o sexual, que se investiga por separado en Pensilvania y no está sujeto al algoritmo.
“A los trabajadores, sean quienes sean, no se les debería pedir que tomen, en un año determinado, 14, 15, 16.000 de este tipo de decisiones con una información increíblemente imperfecta”, dijo Erin Dalton, directora del Departamento de Servicios Humanos del condado y pionera en la implementación del algoritmo predictivo de bienestar infantil.
____
Este reportaje, apoyado por el Pulitzer Center for Crisis Reporting, forma parte de una serie en curso de Associated Press, “Tracked”, que investiga el poder y las consecuencias de las decisiones impulsadas por algoritmos en la vida cotidiana de las personas.
____
Los críticos afirman que otorga a un programa alimentado por datos recogidos principalmente sobre personas pobres un papel excesivo a la hora de decidir el destino de las familias, y advierten sobre la creciente dependencia de los funcionarios locales de las herramientas de inteligencia artificial.
Si la herramienta hubiera actuado por sí sola para filtrar una tasa comparable de llamadas, habría recomendado que se investigara a dos tercios de los niños negros, en comparación con aproximadamente la mitad de todos los demás niños denunciados, según otro estudio publicado el mes pasado y del que es coautor un investigador que ha auditado el algoritmo del condado.
A los defensores les preocupa que si se utilizan herramientas similares en otros sistemas de bienestar infantil con una intervención humana mínima o nula -al igual que los algoritmos se han utilizado para tomar decisiones en el sistema de justicia penal- podrían reforzar las disparidades raciales existentes en el sistema de bienestar infantil.
“No está disminuyendo el impacto entre las familias negras”, dijo Logan Stapleton, un investigador de la Universidad Carnegie Mellon. “En el punto de la precisión y la disparidad, (el condado está) haciendo fuertes declaraciones que creo que son engañosas”.
Debido a que las audiencias de los tribunales de familia están cerradas al público y los registros están sellados, AP no pudo identificar de primera mano a ninguna familia a la que el algoritmo recomendara investigar obligatoriamente por negligencia infantil, ni ningún caso que resultara en el envío de un niño a un centro de acogida. Las familias y sus abogados tampoco pueden estar seguros del papel del algoritmo en sus vidas porque no se les permite conocer las puntuaciones.
Las agencias de bienestar infantil de al menos 26 estados y Washington, D.C., han considerado el uso de herramientas algorítmicas, y al menos 11 las han desplegado, según American Civil Liberties Union.
El condado de Larimer, Colorado, donde se encuentra Fort Collins, está probando una herramientamodelado en el de Allegheny y planea compartir las puntuaciones con las familias si sigue adelante con el programa.
“Es su vida y su historia”, dijo Thad Paul, un gerente con los niños del condado de la Juventud & Servicios de la Familia. “Queremos minimizar la diferencia de poder que conlleva estar involucrado en el bienestar de los niños … realmente pensamos que no es ético no compartir el resultado con las familias”.
Oregón no comparte los números de la puntuación de riesgo de su herramienta de detección estatal, que se implementó por primera vez en 2018 y se inspiró en el algoritmo de Allegheny. El Departamento de Servicios Humanos de Oregón -que actualmente se prepara para contratar a su octavo nuevo director de bienestar infantil en seis años- exploró al menos otros cuatro algoritmos mientras la agencia estaba bajo el escrutinio de una junta de supervisión de crisis ordenada por el gobernador.
Recientemente puso en pausa un algoritmo piloto construido para ayudar a decidir cuándo los niños de acogida pueden reunirse con sus familias. Oregón también exploró otras tres herramientas: modelos predictivos para evaluar el riesgo de muerte y lesiones graves de un niño, si los niños deben ser colocados en hogares de acogida y, en caso afirmativo, dónde.
Durante años, California exploró enfoques basados en datos para el sistema estatal de bienestar infantil antes de abandonar una propuesta para utilizar una herramienta de modelado de riesgo predictivo en 2019.
“Durante el proyecto, el estado también exploró las preocupaciones sobre cómo la herramienta podría impactar la equidad racial. Estos hallazgos resultaron en que el estado cesara la exploración”, dijo el portavoz del departamento, Scott Murray, en un correo electrónico.
El Departamento de Servicios para la Infancia y la Familia del condado de Los Ángeles está siendo sometido a una auditoría a raíz de las muertes de niños de alto perfil, y está buscando un nuevo director después de que el anterior dimitiera a finales del año pasado. Se está probando un “algoritmo de riesgo complejo” que ayuda a aislar los casos de mayor riesgo que se están investigando, dijo el condado.
Sin embargo, en los primeros meses en que los trabajadores sociales de la ciudad de Lancaster, en el desierto de Mojave, comenzaron a utilizar la herramienta, los datos del condado muestran que los niños negros fueron objeto de casi la mitad de todas las investigaciones marcadas para un escrutinio adicional, a pesar de constituir el 22% de la población infantil de la ciudad, según el censo de EE.UU.
El condado no dijo inmediatamente por qué, pero dijo que decidirá si ampliar la herramienta a finales de este año.
___
La reportera de Associated Press Camille Fassett contribuyó a este informe.
___
Sigue a Sally Ho y Garance Burke en Twitter en @_sallyho y @garanceburke.
___
Contacte con el equipo de investigación global de AP en [email protected] o https://www.ap.org/tips/
