Lo que aprendimos Auditando la IA sofisticada para el sesgo – O’Reilly

A ley recientemente aprobada en la ciudad de Nueva York requiere auditorías por sesgo en los sistemas de contratación basados ​​en IA. Y por una buena razón. Los sistemas de IA fallan con frecuencia y el sesgo suele ser el culpable. Una muestra reciente de titulares presenta un sesgo sociológico en imágenes generadasa chatboty un rapero virtual. Estos ejemplos de denigración y estereotipos son preocupantes y dañinos, pero ¿qué sucede cuando se utilizan los mismos tipos de sistemas en aplicaciones más sensibles? Las principales publicaciones científicas afirman que los algoritmos utilizados en el cuidado de la salud en los EE. UU. desviaron la atención de millones de negros. El gobierno de Holanda dimitió en 2021 tras un sistema algorítmico acusado erroneamente 20.000 familias –desproporcionadamente minorías– de fraude fiscal. Los datos pueden estar equivocados. Las predicciones pueden estar equivocadas. Los diseños del sistema pueden estar equivocados. Estos errores pueden dañar a las personas de manera muy injusta.

Cuando usamos IA en aplicaciones de seguridad, los riesgos se vuelven aún más directos. En seguridad, el sesgo no es solo ofensivo y dañino. Es una debilidad que los adversarios explotarán. ¿Qué podría pasar si un detector de falsificación profunda funciona mejor en personas que se parecen al presidente Biden que en personas que se parecen al expresidente Obama? ¿Qué pasa si un sistema de reconocimiento de entidades nombradas (NER), basado en un modelo de lenguaje grande (LLM) de última generación, falla para el texto en chino, cirílico o árabe? La respuesta es simple: cosas malas y responsabilidades legales.

A medida que las tecnologías de IA se adopten más ampliamente en la seguridad y otras aplicaciones de alto riesgo, todos necesitaremos saber más sobre la gestión de riesgos y la auditoría de IA. Este artículo presenta los conceptos básicos de la auditoría de IA, a través de la lente de nuestra experiencia práctica en BNH.AIun bufete de abogados boutique centrado en los riesgos de la IA, y comparte algunas lecciones generales que hemos aprendido de la auditoría de sistemas sofisticados de detección de falsificaciones profundas y LLM.

¿Qué son las auditorías y evaluaciones de IA?

La auditoría de los sistemas algorítmicos y de toma de decisiones es un nicho vertical, pero no necesariamente nuevo. La auditoría ha sido un aspecto integral de la gestión del riesgo de modelo (MRM) en finanzas de consumo durante años, y los colegas de BLDS y QuantUniversidad han estado realizando auditorías modelo durante algún tiempo. Luego está el nuevo cuadro de firmas de auditoría de IA como ORCAA, Paridady balbuceocon BNH.AI siendo el único bufete de abogados del grupo. Las firmas de auditoría de IA tienden a realizar una combinación de auditorías y evaluaciones. Las auditorías suelen ser más oficiales, rastrean el cumplimiento de alguna política, regulación o ley, y tienden a ser realizadas por terceros independientes con diversos grados de interacción limitada entre el auditor y las organizaciones auditadas. Las evaluaciones tienden a ser más informales y cooperativas. Las auditorías y evaluaciones de IA pueden centrarse en problemas de sesgo u otros riesgos graves, incluidos la seguridad, daños a la privacidad de datosy vulnerabilidades de seguridad.

Si bien los estándares para las auditorías de IA aún son inmaduros, existen. Para nuestras auditorías, BNH.AI aplica estándares autorizados externos de leyes, regulaciones y marcos de gestión de riesgos de IA. Por ejemplo, podemos auditar cualquier cosa, desde el cumplimiento de una organización con la incipiente ley laboral de la ciudad de Nueva York, hasta las obligaciones bajo las regulaciones de la Comisión de Igualdad de Oportunidades en el Empleo, las pautas de MRM, las regulaciones de préstamos justos o el borrador del marco de gestión de riesgos de IA (AI RMF) del NIST. .

Desde nuestra perspectiva, los marcos regulatorios como MRM presentan algunas de las guías más claras y maduras para la auditoría, que son fundamentales para las organizaciones que buscan minimizar sus responsabilidades legales. El cuestionario de control interno en el Manual MRM de la Contraloría Monetaria (a partir de la página 84) es una lista de verificación de auditoría extraordinariamente pulida y completa, y la Guía interinstitucional sobre la gestión del riesgo de modelo (también conocido como SR 11-7) presenta consejos claros sobre la auditoría y las estructuras de gobierno que son necesarias para una gestión eficaz del riesgo de IA en general. Dado que es probable que MRM sea demasiado sofocante y requiera muchos recursos para que las entidades no reguladas lo adopten por completo hoy, también podemos mirar a NIST borrador del marco de gestión de riesgos de IA y la gestión de riesgos libro de jugadas para un estándar de auditoría de IA más general. En particular, el SP1270 de NIST Hacia un estándar para identificar y gestionar el sesgo en la inteligencia artificialun recurso asociado con el borrador AI RMF, es extremadamente útil en las auditorías de sesgo de los sistemas de IA más nuevos y complejos.1

Para que los resultados de la auditoría sean reconocidos, las auditorías deben ser transparentes y justas. El uso de un estándar público y acordado para las auditorías es una forma de mejorar la equidad y la transparencia en el proceso de auditoría. Pero, ¿y los auditores? Ellos también deben estar sujetos a algún estándar que asegure prácticas éticas. Por ejemplo, BNH.AI se lleva a cabo en Washington, DC, Bar’s Reglas de Conducta Profesional. Por supuesto, hay otras normas de auditoría emergentes, certificacionesy principios. Comprender las obligaciones éticas de sus auditores, así como la existencia (o no) de acuerdos de no divulgación o privilegios de abogado-cliente, es una parte clave de la contratación de auditores externos. También debe considerar los estándares objetivos para la auditoría.

En términos de lo que su organización podría esperar de una auditoría de IA y para obtener más información sobre auditorías y evaluaciones, el artículo reciente Sesgo algorítmico y evaluaciones de riesgos: lecciones de la práctica es un gran recurso. Si está pensando en una evaluación interna menos formal, el influyente Cerrar la brecha de responsabilidad de la IA presenta un marco sólido con ejemplos de documentación trabajados.

¿Qué aprendimos de la auditoría de un detector de falsificación profunda y un LLM para sesgo?

Ser un bufete de abogados, BNH.AI casi nunca se le permite discutir nuestro trabajo debido al hecho de que la mayor parte es privilegiada y confidencial. Sin embargo, hemos tenido la suerte de trabajar con Laboratorios IQT durante los últimos meses, y generosamente compartieron resúmenes de BNH.AI‘s auditorías. Una auditoría abordó el sesgo potencial en un sistema de detección de deepfake y el otro Sesgo considerado en LLM utilizados para tareas NER. BNH.AI auditado estos sistemas para el cumplimiento de los Marco de ética de IA para la comunidad de inteligencia. También tendemos a usar estándares de la ley de no discriminación de EE. UU. y la guía NIST SP1270 para llenar cualquier vacío en la medición de sesgos o inquietudes específicas de LLM. Aquí hay un breve resumen de lo que aprendimos para ayudarlo a pensar en los conceptos básicos de auditoría y gestión de riesgos cuando su organización adopta una IA compleja.

El sesgo es más que datos y modelos

La mayoría de las personas involucradas con la IA entienden que los sesgos inconscientes y los prejuicios manifiestos se registran en los datos digitales. Cuando esos datos se usan para entrenar un sistema de IA, ese sistema puede replicar nuestro mal comportamiento con velocidad y escala. Desafortunadamente, ese es solo uno de los muchos mecanismos por los cuales el sesgo se cuela en los sistemas de IA. Por definición, la nueva tecnología de IA es menos madura. Sus operadores tienen menos experiencia y los procesos de gobernanza asociados están menos desarrollados. En estos escenarios, el sesgo debe abordarse desde una amplia perspectiva social y técnica. Además de los problemas de datos y modelos, las decisiones en las reuniones iniciales, las perspectivas de ingeniería homogéneas, las elecciones de diseño inadecuadas, la participación insuficiente de las partes interesadas, la mala interpretación de los resultados y otros problemas pueden conducir a resultados sesgados del sistema. Si una auditoría u otro control de gestión de riesgos de IA se enfoca solo en la tecnología, no es efectivo.

Si está luchando con la noción de que el sesgo social en la IA surge de mecanismos además de los datos y los modelos, considere el ejemplo concreto de la discriminación por exclusión. Esto ocurre cuando las personas con discapacidad no pueden acceder a un sistema de empleo y pierden oportunidades de empleo. Para el bloqueo de pantalla, puede que no importe si los resultados del sistema están perfectamente equilibrados entre los grupos demográficos, cuando, por ejemplo, alguien no puede ver la pantalla, ser entendido por el software de reconocimiento de voz o tiene dificultades para escribir. En este contexto, el sesgo a menudo tiene que ver con el diseño del sistema y no con los datos o modelos. Además, el screenout es un problema potencialmente grave responsabilidad legal. Si está pensando que deepfakes, LLM y otra IA avanzada no se utilizarían en escenarios de empleo, lo siento, eso también está mal. Muchas organizaciones ahora realizan concordancia aproximada de palabras clave y escaneo de currículum basado en LLM. Y varias nuevas empresas emergentes están proponiendo deepfakes como una forma de hacer que los acentos extranjeros sean más comprensibles para el servicio al cliente y otras interacciones laborales que podrían extenderse fácilmente a las entrevistas.

El etiquetado de datos es un problema

Cuando BNH.AI auditado buscador de falsos (el detector de deepfakes), necesitábamos conocer información demográfica sobre las personas en los videos de deepfakes para medir las diferencias de rendimiento y resultados entre los grupos demográficos. Si no se hacen planes para recopilar ese tipo de información de las personas en los videos de antemano, entonces se requiere un tremendo esfuerzo manual de etiquetado de datos para generar esta información. La raza, el género y otros datos demográficos no son fáciles de adivinar a partir de los videos. Peor aún, en los deepfakes, los cuerpos y las caras pueden ser de diferentes grupos demográficos. Cada rostro y cada cuerpo necesita una etiqueta. Para la tarea LLM y NER, BNH.AIEl plan de auditoría requería datos demográficos asociados con entidades en texto sin procesar y posiblemente texto en varios idiomas. Si bien hay muchos conjuntos de datos de referencia interesantes y útiles para probar el sesgo en el procesamiento del lenguaje natural, ninguno proporcionó este tipo de etiquetas demográficas exhaustivas.

Las medidas cuantitativas de sesgo suelen ser importantes para las auditorías y la gestión de riesgos. Si su organización quiere medir el sesgo cuantitativamente, probablemente necesite probar los datos con etiquetas demográficas. Las dificultades para alcanzar estas etiquetas no deben subestimarse. A medida que los sistemas de IA más nuevos consumen y generan tipos de datos cada vez más complicados, el etiquetado de datos para entrenamiento y pruebas también se volverá más complicado. A pesar de las posibilidades de bucles de retroalimentación y propagación de errores, es posible que terminemos necesitando IA para etiquetar datos para otros sistemas de IA.

También hemos observado organizaciones que afirman que las preocupaciones sobre la privacidad de los datos impiden la recopilación de datos que permitiría realizar pruebas de sesgo. En general, esta no es una posición defendible. Si está utilizando IA a escala con fines comerciales, los consumidores tienen una expectativa razonable de que los sistemas de IA protegerán su privacidad. y participar en prácticas comerciales justas. Si bien este acto de equilibrio puede ser extremadamente difícil, generalmente es posible. Por ejemplo, las grandes organizaciones de financiación al consumo han estado probando modelos de sesgo durante años sin acceso directo a los datos demográficos. A menudo usan un proceso llamado Geocodificación de apellido mejorada bayesiana (BISG) que infiere la raza a partir del nombre y el código postal para cumplir con las obligaciones de no discriminación y minimización de datos.

A pesar de las fallas, comience con métricas simples y umbrales claros

Existen muchos Definiciones matemáticas de sesgo. Más se publican todo el tiempo. Se publican más fórmulas y medidas porque siempre se encuentra que las definiciones existentes son defectuosas y simplistas. Si bien las nuevas métricas tienden a ser más sofisticadas, a menudo son más difíciles de explicar y carecen de umbrales acordados en los que los valores se vuelven problemáticos. Comenzar una auditoría con medidas de riesgo complejas que no se pueden explicar a las partes interesadas y sin umbrales conocidos puede generar confusión, demoras y pérdida de participación de las partes interesadas.

Como primer paso en una auditoría de sesgo, recomendamos convertir el resultado de interés de la IA en un resultado binario o numérico único. Los resultados de la decisión final a menudo son binarios, incluso si el mecanismo de aprendizaje que impulsa el resultado no está supervisado, es generativo o es complejo. Con la detección de deepfake, se detecta o no un deepfake. Para NER, las entidades conocidas son reconocidas o no. Un resultado binario o numérico permite la aplicación de medidas tradicionales de importancia práctica y estadística con umbrales claros.

Estas métricas se centran en las diferencias de resultados entre los grupos demográficos. Por ejemplo, comparar las tasas a las que se identifican diferentes grupos raciales en deepfakes o la diferencia en las puntuaciones medias de salida bruta para hombres y mujeres. En cuanto a las fórmulas, tienen nombres como diferencia de medias estandarizada (SMD, Cohen’s d), la relación de impacto adverso (AIR) y el umbral de la regla de los cuatro quintos, y las pruebas de hipótesis estadísticas básicas (p. ej., t-, X2-, binomio z-, o pruebas exactas de Fisher). Cuando las métricas tradicionales se alinean con las leyes y regulaciones existentes, este primer paso ayuda a abordar cuestiones legales importantes e informa análisis posteriores más sofisticados.

¿Qué esperar a continuación en auditoría de IA y gestión de riesgos?

Muchos emergentes municipal, estado, federaly internacional Las leyes de privacidad de datos e IA están incorporando auditorías o requisitos relacionados. Autoritario normas y marcos también se están volviendo más concretos. Los reguladores son tomando nota de incidentes de IA, con la FTC”degüelle” tres algoritmos en tres años. Si la IA actual es tan poderosa como muchos afirman, nada de esto debería ser una sorpresa. La regulación y la supervisión son un lugar común para otras tecnologías poderosas como la aviación o la energía nuclear. Si la IA es realmente la próxima gran tecnología transformadora, acostúmbrese a las auditorías y otros controles de gestión de riesgos para los sistemas de IA.


notas al pie

  1. Descargo de responsabilidad: soy coautor de ese documento.



Fuente del artículo

Deja un comentario