Los sistemas de inteligencia artificial pueden aprender de grandes cantidades de datos para descubrir patrones latentes complejos y valiosos. Permiten a los bancos prevenir el fraude cada vez más sofisticado, gestionar el riesgo y, en última instancia, mejorar los resultados. Sin embargo, los sistemas de inteligencia artificial pueden sufrir un problema grave, un fallo silencioso. En una falla silenciosa, los sistemas de inteligencia artificial producen resultados no deseados. Pero las partes interesadas relevantes sólo descubren mucho más tarde que algo andaba mal. Las causas incluyen campos de datos incorrectos o faltantes de un sistema ascendente o nuevos patrones sutiles de fraude. La observabilidad de la inteligencia artificial resuelve fallas silenciosas, lo que permite a las instituciones financieras comprender cómo se están desempeñando sus sistemas en producción y ajustar rápidamente cualquier problema de manera informada y oportuna.
¿Qué es la observabilidad de la inteligencia artificial?
La observabilidad de la inteligencia artificial (también conocida como IA observable) es un mecanismo que proporciona continuamente información sobre cómo funciona un sistema de inteligencia artificial o un modelo de aprendizaje automático en la producción a lo largo del tiempo. Funciona mediante la recopilación de datos en un sistema de inteligencia artificial, incluidos los datos de entrada, las predicciones del modelo y las etiquetas de entrada (como las devoluciones de cargo) para crear un ciclo de retroalimentación para las partes interesadas relevantes. Por lo tanto, la observabilidad, que está en la teoría de control, es una medida de qué tan bien se pueden inferir los estados de un sistema a partir del conocimiento de sus salidas externas. La observabilidad y controlabilidad de un sistema son conceptos matemáticos duales.
Las partes interesadas confían en estos conocimientos para realizar una evaluación de 360 grados de si un sistema de producción está actuando de manera coherente y se está desempeñando como se espera en una amplia gama de criterios. De lo contrario, las partes interesadas pueden colaborar de forma proactiva para introducir las mejoras o los ajustes necesarios. Por lo tanto, las habilidades de observación promueven la supervisión, la responsabilidad y la adaptabilidad humanas. Como dice el refrán, “no se puede gestionar lo que no se puede medir”.
La observabilidad de la inteligencia artificial es un habilitador clave de las iniciativas de inteligencia artificial responsable de las instituciones financieras, ya que proporciona una mayor transparencia y visibilidad sobre cómo el sistema impacta a los usuarios finales a lo largo del tiempo en entornos de producción dinámicos en lugar de configuraciones estáticas fuera de línea.
Por qué las instituciones financieras deberían preocuparse por el silencioso fracaso de la Inteligencia Artificial.
Los sistemas de inteligencia artificial predicen si las transacciones entrantes son fraudulentas o legítimas en función de las características de la transacción y una combinación de puntajes de modelo y reglas codificadas. Sin embargo, semanas después, al revisar los KPI o durante una verificación manual ad-hoc del sistema, el banco descubre que las pérdidas por fraude han aumentado debido a un aumento en el fraude no detectado. En otras palabras, una gran parte de las transacciones fraudulentas pasaron desapercibidas.
Tenga en cuenta que el sistema estuvo en pleno funcionamiento durante este período. La pregunta en cuestión está relacionada con la calidad de los resultados del sistema. En consecuencia, el banco descubre que su sistema ha fallado silenciosamente.
Hay varias razones por las que los resultados del sistema pueden diferir del comportamiento esperado. Quizás los datos hayan cambiado con el tiempo, repentina o gradualmente. O quizás los defraudadores han descubierto una nueva táctica que el sistema no ha podido detectar. Alternativamente, incluso si el comportamiento general del sistema cumple con las expectativas, pueden ocurrir problemas para segmentos o ubicaciones de clientes específicos y, por lo tanto, no se pueden observar en el nivel superior.
Cualquiera sea la razón, sin una visión continua del rendimiento del modelo de inteligencia artificial en producción, el banco sufre mayores pérdidas por fraude. Críticamente, el problema se vuelve evidente después de que el sistema produce resultados no deseados. En este punto, los equipos de ciencia de datos deben volver a la mesa de dibujo para averiguar por qué falló el sistema y solucionarlo, a menudo con datos insuficientes sobre lo que está sucediendo en vivo.
4 etapas de un circuito de retroalimentación
El fracaso silencioso puede ser costoso porque las partes interesadas no lo saben hasta que es demasiado tarde. Esto puede afectar la calidad del servicio al cliente y resultar en pérdidas financieras, multas por cumplimiento y daños a la reputación. La observabilidad de la inteligencia artificial aborda esto mediante la introducción de ciclos de retroalimentación continua que transmiten información importante sobre la integridad y la calidad de los datos, el modelo y las decisiones de un sistema.
Vea cómo funcionan los bucles de retroalimentación.
Paso 1: Monitoreo
El primer paso es recopilar los datos necesarios para monitorear cómo se comporta un sistema de inteligencia artificial a lo largo del tiempo. La recopilación de datos debe cubrir una variedad de señales, incluidas las entradas del sistema (p. Ej., Datos brutos), salidas (p. Ej. Decisiones del sistema) y todos los pasos intermedios relevantes (p. Ej., Ingeniería de recursos, activadores de plantillas y reglas).
Paso 2: Metrificación
El siguiente paso es detectar cambios inesperados en el comportamiento del sistema. La observación de inteligencia artificial requiere métricas dedicadas que expresen cómo cambia el comportamiento del sistema durante semanas, meses o ventanas más largas una vez que el modelo está en producción. La combinación de métricas debe proporcionar una vista de 360 ° del sistema con un nivel apropiado de granularidad.
Paso 3: Alarmista
Una vez que se detectan desviaciones significativas, es fundamental alertar a las partes interesadas. Una implementación típica presenta de manera proactiva el alarmismo de modo que las desviaciones significativas (por ejemplo, cambios en los datos, patrones emergentes) desencadenan alarmas relevantes para los equipos.
Paso 4: Explicaciones
Finalmente, el circuito de retroalimentación debe producir explicaciones interpretables para métricas y alarmas. La usabilidad es un componente crucial de la supervisión humana y esencial para acelerar las acciones correctivas. Las técnicas de visualización adecuadas facilitan la comprensión y el tratamiento de los problemas en cuestión. Las partes interesadas pueden revisar continuamente los indicadores del sistema y determinar el mejor curso de acción.
¿Por qué es importante la observabilidad de la inteligencia artificial?
Estas son algunas de las principales razones por las que la observabilidad de la inteligencia artificial debería ser una consideración importante en los servicios financieros.
Detecte nuevos patrones de fraude más rápido
Desafortunadamente, la industria de servicios financieros atrae a actores hostiles que buscan eludir los sistemas de prevención de delitos financieros. Tan pronto como los sistemas de detección de fraude basados en inteligencia artificial detectan un patrón de fraude, los estafadores comienzan a probar otros nuevos.
La observabilidad de la inteligencia artificial es un ajuste natural para un entorno tan dinámico porque identifica cambios en los datos y la respuesta del sistema. La monitorización continua de un sistema de inteligencia artificial es el primer paso hacia la adaptabilidad y garantizar un alto rendimiento a lo largo del tiempo.
Un ejemplo notable de patrones cambiantes ocurrió cuando actores legales e ilegales ajustaron su comportamiento debido a la pandemia de COVID-19. Sin una observabilidad adecuada de la inteligencia artificial, los sistemas de inteligencia artificial pueden ser opacos, lo que dificulta la comprensión del impacto de estos cambios.
Atrapar más errores
Los sistemas de inteligencia artificial suelen interactuar con muchos otros sistemas. Por lo tanto, los cambios de interfaz, los casos extremos imprevistos y otros problemas son comunes. Aunque estos problemas no restan valor a las capacidades predictivas del sistema, pueden afectar su calidad. Si estos errores afectan el sistema de inteligencia artificial, es posible detectar rápidamente el problema y alertar a las partes interesadas.
Cerrar la brecha de la etiqueta de fraude
Es común medir el rendimiento de un modelo comparando sus predicciones con los resultados finales, conocidos como etiquetas. El problema con este enfoque es que las etiquetas de fraude no son claras de inmediato. Por ejemplo, las instituciones financieras no se dan cuenta de que algunas transacciones son fraudulentas hasta que un cliente lo informa a su banco. Los bancos eventualmente realizarán una revisión y etiquetarán retroactivamente estas transacciones como fraude.
Esto significa que la evaluación del rendimiento del modelo debe considerar transacciones legítimas conocidas, transacciones fraudulentas conocidas y transacciones para las que se desconoce la etiqueta. La observabilidad de la inteligencia artificial para las instituciones requiere técnicas de monitoreo continuo que puedan cerrar la brecha de etiquetas.
Cumplir con las expectativas de la inteligencia artificial responsable
Los bancos y las instituciones financieras que implementan inteligencia artificial también deben comprometerse a garantizar que sigan los principios de inteligencia artificial responsable.
Los prejuicios humanos y los problemas sociales sistémicos pueden infiltrarse en los sistemas de inteligencia artificial incluso sin querer. El resultado puede ser decisiones financieras injustas que afectan de manera desproporcionada a ciertos grupos de personas en función de su raza, género, edad o nivel socioeconómico.
La observación de inteligencia artificial permite a las instituciones financieras comprender cómo sus sistemas tratan a las personas a lo largo del tiempo. Las partes interesadas pueden responder rápidamente a los patrones de sesgo de la Inteligencia artificial antes de que se conviertan en problemas mucho mayores. Esto es esencial para abordar los problemas de inteligencia artificial responsable una vez que se implementa un modelo.
Los desarrollos inesperados, como la degradación del modelo, los patrones de fraude emergentes o los cambios en los datos, pueden degradar el rendimiento de un sistema de inteligencia artificial. La observabilidad de la inteligencia artificial brinda a las partes interesadas visibilidad sobre si los sistemas de inteligencia artificial se están comportando como se espera o deben ajustarse, lo que permite un mantenimiento proactivo.
Al implementar principios de inteligencia artificial responsable, las instituciones financieras pueden asegurarse de que su inteligencia artificial esté alineada con sus valores éticos. Pero, ¿cuáles son los riesgos y beneficios involucrados? Siga nuestro contenido y aprenda más sobre el tema.
