No es magia: Una herramienta de IA opaca puede señalar a los padres con discapacidades

“Le iba bien y empezamos a preguntarnos cuándo podría volver a casa”, dijo Lauren Hackney. “Y a partir de ese momento, en ese momento, nos dieron completamente largas y nunca dijeron nada”.

La pareja se quedó atónita cuando aparecieron los funcionarios de bienestar infantil, les dijeron que eran negligentes y se llevaron a su hija.

“Tenían los papeles de la custodia y se la llevaron allí mismo”, recordó Lauren Hackney. “Y nos pusimos a llorar”.

Más de un año después, su hija, que ahora tiene 2 años, sigue en acogida. Los Hackney, que padecen discapacidades del desarrollo, se esfuerzan por comprender cómo llevar a su hija al hospital cuando se negaba a comer puede considerarse una negligencia tan grave como para tener que sacarla de casa.

Se preguntan si una herramienta de inteligencia artificial que el Departamento de Servicios Humanos del condado de Allegheny utiliza para predecir qué niños podrían estar en riesgo de sufrir daños les ha señalado a ellos debido a sus discapacidades.

El Departamento de Justicia de EE.UU. se está haciendo la misma pregunta. La agencia está investigando el sistema de bienestar infantil del condado para determinar si su uso del influyente algoritmo discrimina a las personas con discapacidad u otros grupos protegidos, según ha podido saber The Associated Press. A finales de este mes, los abogados federales de derechos civiles entrevistará a los Hackneys y la madre de Andrew Hackney, Cynde Hackney-Fierro, dijo la abuela.

Lauren Hackney padece un trastorno por déficit de atención con hiperactividad que afecta a su memoria, y su marido, Andrew, tiene un trastorno de comprensión y daños nerviosos por un derrame cerebral sufrido a los 20 años. Su hija tenía sólo 7 meses cuando empezó a negarse a tomar el biberón. Ante la escasez nacional de leche de fórmula, viajaron de Pensilvania a Virginia Occidental en busca de alguna y se vieron obligados a cambiar de marca. Al bebé no pareció gustarle.

Su pediatra primero les tranquilizó diciéndoles que los bebés a veces pueden ser caprichosos con la alimentación y les ofreció ideas para ayudarla a recuperar el apetito.

Cuando la niña se puso letárgica días después, el mismo médico les dijo que la llevaran a urgencias. Los Hackney creen que el personal médico alertó a los servicios de protección de menores después de que se presentaran con un bebé deshidratado y desnutrido.

Es entonces cuando creen que su información se introdujo en la Herramienta de Detección Familiar de Allegheny, que según los funcionarios del condado es el procedimiento estándar para las denuncias de negligencia. Pronto apareció un trabajador social para interrogarles, y su hija fue enviada a un centro de acogida.

En los últimos seis años, el condado de Allegheny ha servido de laboratorio real para probar herramientas de bienestar infantil basadas en inteligencia artificial, que procesan montones de datos sobre las familias locales para intentar predecir qué niños pueden correr peligro en sus hogares. Hoy en día, las agencias de bienestar infantil de al menos 26 estados y Washington, D.C., han considerado el uso de herramientas algorítmicas, y las jurisdicciones de al menos 11 las han desplegado, según la Unión Americana de Libertades Civiles.

La historia de los Hackney -basada en entrevistas, correos electrónicos internos y documentos jurídicos- ilustra la opacidad que rodea a estos algoritmos. Incluso mientras luchan por recuperar la custodia de su hija, no pueden cuestionar la “puntuación de riesgo” que la herramienta del condado de Allegheny puede haber asignado a su caso porque los funcionarios no se la revelan. Y ni el condado ni las personas que crearon la herramienta han explicado nunca qué variables se han utilizado para medir la capacidad de los Hackney como padres.

“Es como si tuvieras un problema con alguien que tiene una discapacidad”, dijo Andrew Hackney en una entrevista desde su apartamento en los suburbios de Pittsburgh. “En ese caso… probablemente acabes yendo a por todos los que tienen hijos y tienen una discapacidad”.

Como parte de una investigación de un año de duración, la AP obtuvo los puntos de datos que sustentan varios algoritmos desplegados por las agencias de bienestar infantil, incluidos algunos marcados como “CONFIDENCIAL”, ofreciendo una visión poco común de la mecánica que impulsa estas tecnologías emergentes. Entre los factores que han utilizado para calcular el riesgo de una familia, ya sea directamente o por aproximación: la raza, los índices de pobreza, el estado de discapacidad y el tamaño de la familia. También se incluye si la madre fumaba antes de quedarse embarazada y si la familia ha tenido o no antecedentes de cáncer.quejas por abuso o negligencia infantil.

Lo que miden importa. Un análisis reciente de investigadores de la ACLU descubrieron que cuando el algoritmo de Allegheny marcaba a las personas que accedían a los servicios del condado para la salud mental y otros programas de salud conductual, eso podía añadir hasta tres puntos a la puntuación de riesgo de un niño, un aumento significativo en una escala de 20.

El portavoz del condado de Allegheny, Mark Bertolet, se negó a abordar el caso Hackney y no respondió a preguntas detalladas sobre el estado de la investigación federal o las críticas de los datos que alimentan la herramienta, incluida la ACLU.

“Por política, no hacemos comentarios sobre pleitos o asuntos legales”, dijo Bertolet en un correo electrónico.

La portavoz del Departamento de Justicia, Aryele Bradford, declinó hacer comentarios.

NO MAGIA

Los algoritmos de bienestar infantil introducen grandes cantidades de datos públicos sobre familias locales en complejos modelos estadísticos para calcular lo que denominan una puntuación de riesgo. La cifra generada se utiliza entonces para asesorar a los trabajadores sociales a la hora de decidir qué familias deben ser investigadas o qué familias necesitan atención adicional, una decisión de peso que a veces puede significar la vida o la muerte.

Varios líderes locales han recurrido a la tecnología de IA cuando se encontraban bajo presión para realizar cambios sistémicos, como en Oregón durante una crisis de acogida y en el condado de Los Ángeles tras una serie de muertes infantiles de gran repercusión en uno de los mayores sistemas de bienestar infantil del país.

El director del Departamento de Servicios para la Infancia y la Familia del condado de Los Ángeles, Brandon Nichols, afirma que los algoritmos pueden ayudar a identificar a las familias de alto riesgo y mejorar los resultados en un sistema profundamente tensionado. Sin embargo, no pudo explicar cómo funciona la herramienta de detección que utiliza su agencia.

“Somos más o menos la parte de trabajo social de la casa, no la parte de TI de la casa”, dijo Nichols en una entrevista. “Cómo funciona el algoritmo, en cierto modo es, no quiero decir que sea magia para nosotros, pero está más allá de nuestros conocimientos y experiencia”.

Nichols y los funcionarios de otras dos agencias de bienestar infantil remitieron preguntas detalladas sobre sus herramientas de IA a los desarrolladores externos que las crearon.

En el condado de Larimer, Colorado, una funcionaria reconoció que no sabía qué variables se utilizaban para evaluar a las familias locales.

“Las variables y ponderaciones utilizadas por la Herramienta de Ayuda a la Toma de Decisiones de Larimer forman parte del código desarrollado por Auckland y, por tanto, no disponemos de este nivel de detalle”, dijo en un correo electrónico Jill Maasch, portavoz de Servicios Humanos del condado de Larimer, refiriéndose a los desarrolladores.

En Pensilvania, California y Colorado, los funcionarios de los condados han abierto sus sistemas de datos a los dos desarrolladores académicos que seleccionan puntos de datos para construir sus algoritmos. Rhema Vaithianathan, catedrático de Economía de la Salud de la Universidad Tecnológica de Auckland (Nueva Zelanda), y Emily Putnam-Hornstein, catedrática de la Escuela de Trabajo Social de la Universidad de Carolina del Norte en Chapel Hill, afirmaron en un correo electrónico que su trabajo es transparente y que hacen públicos sus modelos informáticos.

“En cada jurisdicción en la que se ha aplicado plenamente un modelo hemos publicado una descripción de los campos que se utilizaron para construir la herramienta, junto con información sobre los métodos empleados”, dijeron por correo electrónico.

A Informe de 241 páginas en el sitio web del condado de Allegheny incluye páginas de variables codificadas y cálculos estadísticos.

El trabajo de Vaithianathan y Putnam-Hornstein ha sido elogiado en informes publicados tanto por UNICEF como por la administración Biden por concebir modelos informáticos que prometen aligerar la carga de trabajo de los asistentes sociales a partir de un conjunto de factores sencillos. Han descrito el uso de estas herramientas como un imperativo moral, insistiendo en que los funcionarios de bienestar infantil deben utilizar todos los datos a su disposición para asegurarse de que los niños no son maltratados.

Sin embargo, a través del seguimiento de su trabajo en todo el país, AP descubrió que sus herramientas pueden predisponer a las familias a la separación al clasificar su riesgo en función de características personales que no pueden cambiar o controlar, como la raza o la discapacidad, en lugar de sólo sus acciones como padres.

En el condado de Allegheny, un extenso condado de 1,2 millones de habitantes cerca de la frontera con Ohio, el algoritmo ha accedido a una serie de datos externos, como registros de cárceles, libertad condicional de menores, Medicaid, asistencia social, salud y nacimientos, todos ellos almacenados en un vasto “almacén de datos” de todo el condado. La herramienta utiliza esa información para predecir el riesgo de que un niño sea colocado en un hogar de acogida dos años después de que se investigue por primera vez a una familia.

Funcionarios del condado han dicho a la AP que están orgullosos de su enfoque de vanguardia, e incluso ampliaron su trabajo para construir otro algoritmo centrado en los recién nacidos. Han dicho que supervisan su herramienta de puntuación de riesgosde cerca y actualizarlo con el tiempo, incluso eliminando variables como las prestaciones sociales y los registros de nacimiento.

Vaithianathan y Putnam-Hornstein declinaron las repetidas solicitudes de entrevista de AP para hablar de cómo eligen los datos específicos que alimentan sus modelos. Pero en un informe de 2017, detallaron los métodos utilizados para construir la primera versión de la herramienta de Allegheny, incluida una nota a pie de página que describía un límite estadístico como “bastante arbitrario pero basado en ensayo y error.”

“Esta nota a pie de página se refiere a nuestra exploración de más de 800 características del almacén de datos de Allegheny hace más de cinco años”, dijeron los desarrolladores por correo electrónico.

Este planteamiento se confirma en sus opciones de diseño, que difieren de un condado a otro.

En el mismo informe de 2017, los desarrolladores reconocieron que el uso de datos raciales no mejoraba sustancialmente la precisión del modelo, pero continuaron estudiándolo en el condado de Douglas, Colorado, aunque finalmente optaron por no incluirlo en ese modelo. Para abordar las preocupaciones de la comunidad de que una herramienta podría endurecer el sesgo racial en el condado de Los Ángeles, los desarrolladores excluyeron los antecedentes penales de las personas, el código postal y los indicadores geográficos, pero han seguido utilizando esos puntos de datos en el área de Pittsburgh.

Cuando se les preguntó por las incoherencias, los desarrolladores se remitieron a sus documentos metodológicos publicados.

Detallamos varias métricas utilizadas para evaluar la precisión, al tiempo que detallamos las “validaciones externas””, dijeron los desarrolladores por correo electrónico.

Cuando el Departamento de Servicios Humanos de Oregón creó un algoritmo inspirado en el de Allegheny, tuvo en cuenta la raza del niño a la hora de predecir el riesgo de una familia y también aplicó una “corrección de equidad” para mitigar el sesgo racial. El pasado mes de junio, la herramienta se abandonó por completo debido a problemas de equidad, después de que una investigación de AP revelara en abril un posible sesgo racial en este tipo de herramientas.

Los abogados del Departamento de Justicia citaron el mismo artículo de AP el otoño pasado cuando los abogados federales de derechos civiles empezaron a indagar sobre otros problemas de discriminación en la herramienta de Allegheny, según dijeron tres fuentes a AP. Hablaron bajo condición de anonimato, diciendo que el Departamento de Justicia les pidió que no hablaran de las conversaciones confidenciales. Dos dijeron que también temían represalias profesionales.

TESTS DE INTELIGENCIA, CLASES PARA PADRES

Sin respuestas sobre cuándo podrían tener a su hija en casa, el abogado de los Hackney presentó en octubre una demanda federal de derechos civiles en su nombre que cuestionaba cómo se había utilizado la herramienta de detección en su caso.

Con el tiempo, la herramienta de Allegheny ha rastreado si los miembros de la familia tienen diagnósticos de esquizofrenia o trastornos del estado de ánimo. También ha medido si los padres u otros niños en el hogar tienen discapacidades, tomando nota de si alguno de los miembros de la familia recibió Seguridad de Ingreso Suplementario, un beneficio federal para las personas con discapacidad. El condado dijo que los factores en los pagos de SSI, en parte porque los niños con discapacidad tienen más probabilidades de ser objeto de abuso o negligencia.

El condado también dijo que los datos relacionados con la discapacidad puede ser “predictivo de los resultados” y que “no debería ser una sorpresa que los padres con discapacidad … también pueden tener una necesidad de apoyos y servicios adicionales.” En una declaración enviada por correo electrónico, el condado añadió que en otras partes del país, los trabajadores sociales también se basan en datos sobre la salud mental y otras condiciones que pueden afectar a la capacidad de un padre para cuidar con seguridad a un niño.

A los Hackney se les ha ordenado que tomen clases de crianza y dicen que han sido gravados por todas las demandas del sistema de bienestar infantil, incluyendo pruebas de coeficiente intelectual y audiencias judiciales en el centro de la ciudad.

Las personas con discapacidad están sobrerrepresentadas en el sistema de bienestar infantil, pero no hay pruebas de que perjudiquen a sus hijos en mayor medida, afirma Traci LaLiberte, experta en bienestar infantil y discapacidad de la Universidad de Minnesota.

Incluir puntos de datos relacionados con las discapacidades en un algoritmo es problemático porque perpetúa los prejuicios históricos en el sistema y se centra en los rasgos fisiológicos de las personas en lugar de en el comportamiento que los trabajadores sociales deben abordar, dijo LaLiberte.

La herramienta de Los Ángeles sopesa si algún niño de la familia ha recibido alguna vez servicios de educación especial, ha tenido derivaciones previas de desarrollo o salud mental o ha consumido fármacos para tratar la salud mental.

“Esto no es exclusivo de los trabajadores sociales que utilizan esta herramienta; es habitual que los trabajadores sociales tengan en cuenta estos factores a la hora de determinar posibles apoyos y servicios”, dijeron los desarrolladores por correo electrónico.

Antes de que se utilizaran los algoritmos, el sistema de bienestar infantil llevaba mucho tiempo desconfiando de los padres con discapacidad. En la década de 1970, fueron esterilizados e institucionalizados con regularidad, dijo LaLiberte. Un histórico informe federal de 2012señaló que los padres con discapacidad psiquiátrica o intelectual perdían la custodia de sus hijos hasta en un 80% de los casos.

La investigación de LaLiberte ha revelado que, en todo Estados Unidos, es muy poco frecuente que los organismos de protección de la infancia exijan a los trabajadores sociales formación sobre discapacidad. El resultado: Los padres con discapacidad a menudo son juzgados por un sistema que no entiende cómo evaluar su capacidad como cuidadores, dijo.

Los Hackney lo vivieron en primera persona. Cuando una trabajadora social preguntó a Andrew Hackney con qué frecuencia alimentaba al bebé, contestó literalmente: dos veces al día. La trabajadora pareció consternada y le regañó diciéndole que los bebés debían comer con más frecuencia. Hackney se esforzó por explicar que la madre, la abuela y la tía de la niña también se turnaban para alimentarla cada día.

MARCADO PARA SIEMPRE

Los funcionarios del condado de Allegheny han afirmado que incorporar la IA a sus procesos les ayuda a “tomar decisiones basadas en la mayor cantidad de información posible”, y señalaron que el algoritmo simplemente aprovecha los datos a los que los trabajadores sociales ya pueden acceder.

Esto puede incluir registros de hace décadas. La herramienta del área de Pittsburgh ha rastreado si los padres recibieron alguna vez prestaciones públicas o tuvieron antecedentes con el sistema de justicia penal, incluso si eran menores en ese momento, o si nunca dieron lugar a cargos o condenas.

La AP descubrió que esas decisiones de diseño pueden perjudicar a las personas que crecieron en la pobreza, endureciendo las desigualdades históricas que persisten en los datos, o a las personas con antecedentes en los sistemas de justicia juvenil o penal, mucho después de que la sociedad les haya concedido la redención. Y los críticos afirman que los algoritmos pueden crear una profecía autocumplida al influir en qué familias se seleccionan en primer lugar.

“Estos predictores tienen el efecto de sembrar sospechas permanentes y no ofrecen ningún medio de recurso a las familias marcadas por estos indicadores”, según el análisis de los investigadores de la ACLU y la organización sin ánimo de lucro Human Rights Data Analysis Group. “Son vistas para siempre como más arriesgadas para sus hijos”.

A medida que se generalizan los algoritmos de bienestar infantil, los padres que han sufrido el escrutinio de los trabajadores sociales temen que los modelos no les permitan escapar de su pasado, por muy antiguos o irrelevantes que hayan sido sus anteriores roces con el sistema.

Charity Chandler-Cole, miembro de la Comisión del Condado de Los Ángeles para la Infancia y la Familia, es una de ellas. Cuando era adolescente, fue a parar a un centro de acogida tras ser detenida por robar ropa interior para su hermana pequeña. Luego, ya de adulta, dijo, los trabajadores sociales se presentaron una vez en su apartamento después de que alguien denunciara espuriamente que le habían tirado un piano de cola a su sobrino que vivía en su casa, a pesar de que no poseían tal instrumento.

Según Chandler-Cole, el algoritmo local podría etiquetarla por sus experiencias previas en centros de acogida y de libertad condicional de menores, así como por la denuncia infundada de maltrato infantil. Se pregunta si la IA también podría evaluar adecuadamente el hecho de que se la exonerara rápidamente de cualquier problema de malos tratos, o que su infracción no violenta de adolescente fuera eliminada legalmente.

“Muchos de estos informes carecen de sentido común”, afirma Chandler-Cole, ahora madre de cuatro hijos y directora ejecutiva de una organización que colabora con el sistema judicial para ayudar a los niños en acogida. “Nos están poniendo automáticamente en estos espacios para ser juzgados con estas etiquetas. Sólo perpetúa un daño adicional”.

Por el contrario, Wendy Garen, compañera de Chandler-Cole en la comisión, sostiene que “más es mejor” y que, al aprovechar todos los datos disponibles, las herramientas de puntuación de riesgos pueden ayudar a que el trabajo de la agencia sea más exhaustivo y eficaz.

INFLUENCIA MUNDIAL

Incluso cuando sus modelos han sido objeto de escrutinio por su precisión y equidad, los desarrolladores han iniciado nuevos proyectos con agencias de bienestar infantil en el condado de Northampton, Pensilvania, y en el condado de Arapahoe, Colorado. Los estados de California y Pensilvania, así como Nueva Zelanda y Chile, también les han pedido que realicen trabajos preliminares.

Y a medida que se ha ido corriendo la voz sobre sus métodos en los últimos años, Vaithianathan ha dado conferencias destacando las herramientas de detección en Colombia y Australia. También ha asesorado recientemente a investigadores de Dinamarca y a funcionarios de los Emiratos Árabes Unidos sobre cómo utilizar la tecnología para orientar los servicios a la infancia.

“Rhema es uno de los líderes mundiales y su investigación puede ayudar a dar forma al debate en Dinamarca”, dijo un investigador danés en LinkedIn el año pasado, en relación con el papel de asesoramiento de Vaithianathan en relación con una herramienta local de bienestar infantil que se estaba poniendo a prueba.

El año pasado, el Departamento de Salud y Servicios Humanos de EE.UU. financió un estudio nacional, del que Vaithianathan y Putnam-Hornstein eran coautores, en el que se llegaba a la conclusión de que su planteamiento general en Allegheny podría servir de modelo para otros países.lugares.

La portavoz de la Administración para Niños y Familias del HHS, Debra Johnson, declinó decir si la investigación del Departamento de Justicia influiría en el futuro apoyo de su agencia a un enfoque del bienestar infantil basado en la IA.

Especialmente a medida que los presupuestos se ajustan, las agencias con problemas de liquidez están desesperadas por encontrar formas más eficientes para que los trabajadores sociales se centren en los niños que realmente necesitan protección. En una mesa redonda celebrada en 2021, Putnam-Hornstein reconoció que “la tasa general de detección se mantuvo totalmente estable” en Allegheny desde la implantación de su herramienta.

Mientras tanto, el acogimiento familiar y la separación de las familias pueden tener consecuencias en el desarrollo del niño para toda la vida.

Un estudio del HHS de 2012 encontró que el 95% de los bebés que son denunciados a las agencias de bienestar infantil pasan por más de un cuidador y cambio de hogar durante su tiempo en hogares de acogida, inestabilidad que los investigadores señalaron puede ser en sí misma una forma de trauma.

La hija de los Hackney ya ha estado en dos hogares de acogida y ha pasado más de la mitad de su corta vida lejos de sus padres, que intentan convencer a los trabajadores sociales de que son dignos.

Mientras tanto, dicen que se están quedando sin dinero en la lucha por su hija. Apenas les queda para comer con el sueldo de Andrew Hackney en una tienda de comestibles local, y han tenido que cortar el servicio mensual de su teléfono móvil. Están luchando para pagar los honorarios legales y el dinero de la gasolina necesaria para asistir a las citas que se les exigen.

En febrero, a su hija le diagnosticaron un trastorno que puede alterar su sentido del gusto, según el abogado de Andrew Hackney, Robin Frank, quien añadió que la niña ha seguido luchando por comer, incluso en la casa de acogida.

Lo único que tienen por ahora son visitas dos veces por semana que duran unas horas antes de que se la vuelvan a llevar. A Lauren Hackney se le quiebra la voz cuando le preocupa que su hija pueda ser adoptada y olvidar pronto a su propia familia. Dicen que anhelan hacer lo que muchos padres dan por sentado: dormir a su hija por la noche en su propia cama.

“Tengo muchas ganas de recuperar a mi niña. La echo de menos, y sobre todo cogerla en brazos. Y, por supuesto, echo de menos esa risita risueña”, dijo Andrew Hackney, mientras su hija saltaba hacia él emocionada durante una visita reciente. “Me duele mucho. No sabes cuánto”.

___

Burke informó desde San Francisco. La videoperiodista de Associated Press Jessie Wardarski y la fotoperiodista Maye-E Wong en Pittsburgh contribuyeron a este reportaje.

___

Siga a Sally Ho y Garance Burke en Twitter en @_sallyho y @garanceburke.

___

Póngase en contacto con el equipo de investigación global de AP en [email protected] o https://www.ap.org/tips/