Aa inteligenciaartificial (IA) desempeña un papel importante en los sistemas y aplicaciones modernos. Sin embargo, el despliegue de la IA plantea nuevos riesgos, especialmente en las aplicaciones críticas para la seguridad, como los vehículos autónomos, debido a las características inherentes a la IA. Las normas de seguridad funcional, como la IEC 61508 y sus derivados específicos para la industria, incluidas la ISO 26262 y la ISO/PAS 21448, que son las dos normas principales en el ámbito de la automoción, no abordan plenamente la limitación de seguridad de los modelos de IA. Se ha demostrado que alrededor del 40% de los métodos presentados en la norma ISO-26262-6 no se aplican a los modelos y algoritmos de aprendizaje automático (ML).

Los sistemas de IA presentan varios retos abiertos que, en última instancia, pueden dar lugar a un comportamiento indeseado de las aplicaciones de seguridad crítica. En primer lugar, mantener la transparencia de la implementación, exigida por las conocidas normas de seguridad funcional, es un reto para los modelos de ML, especialmente para las redes neuronales profundas (DNN). Estos modelos, entrenados en numerosas variables, acaban convirtiéndose en una caja negra que hace que la trazabilidad sea problemática. Saber lo que ha aprendido un modelo ML entrenado podría ser significativamente útil para el mantenimiento y la depuración. Por ejemplo, es crucial entender si un modelo entrenado para controlar volantes ha aprendido de hecho los bordes de la carretera o no. En segundo lugar, mientras que la verificación en el ámbito de la seguridad incluye una inspección y una prueba exhaustivas, es difícil reconocer de forma exhaustiva cómo cada unidad de una DNN contribuye al resultado global del sistema de IA. En tercer lugar, a diferencia del software clásico, en el que la función de control en tiempo de ejecución se basa en un conjunto de reglas bien definidas, la naturaleza probabilística de los modelos ML requiere estimadores de incertidumbre en tiempo de ejecución y detectores de errores dentro y fuera de la distribución, que no están contemplados en ninguna norma de seguridad funcional. Por último, la garantía de robustez de los modelos ML es diferente del software clásico, ya que depende en gran medida del conjunto de datos subyacente utilizado para el entrenamiento y del entorno real con el que interactúan los modelos. Por ejemplo, el cambio de dominio es un reto conocido para la robustez de los modelos de ML, especialmente en aplicaciones de mundo abierto como los vehículos autónomos, donde los datos se recogen en un entorno muy dinámico. En el campo de la automoción, las condiciones meteorológicas, las diferentes poses de los objetos, el ángulo de la cámara y las condiciones de luz contribuyen al rendimiento operativo del modelo entrenado. Además, las perturbaciones y corrupciones en los datos recogidos por los vehículos autónomos son comunes debido a la lente de la cámara, el error transitorio de los sensores, la interferencia electromagnética, etc. Por lo tanto, el modelo ML debe ser lo suficientemente robusto frente a estos datos de entrada no ideales durante el funcionamiento, de lo contrario, se esperan consecuencias catastróficas.

 

Cuando la IA interviene en sistemas de seguridad crítica, el análisis de seguridad va acompañado de varias preguntas y preocupaciones nuevas, entre ellas

  • Cómo determinar si el conjunto de datos subyacente incluye todos los posibles escenarios realistas, así como los casos límite,
  • Cómo definir la incertidumbre de los modelos ML,
  • Cómo evaluar la robustez de los modelos ML,
  • Qué criterios de garantía son adecuados y cómo obtenerlos,
  • Cómo aplicar las pruebas comunes de seguridad funcional en el contexto de la IA.

CertX, como primer organismo de certificación de seguridad funcional y ciberseguridad, está invirtiendo ampliamente en la seguridad de la IA. Al contar con expertos en seguridad funcional, ciberseguridad e inteligencia artificial, CertX tiene como objetivo construir el primer esquema de certificación de IA acreditado, con un enfoque en la robustez de los sistemas de seguridad crítica. CertX actualiza constantemente sus servicios de acuerdo con la estandarización en curso de la seguridad funcional y los sistemas de IA, al tiempo que aborda los principales retos del análisis de la seguridad funcional de los sistemas de IA y ofrece soluciones fiables. CertX está contribuyendo al desarrollo del marco de evaluación de la IA de confianza de CertAI, garantizando que los sistemas de IA estén alineados con los pilares de la IA de confianza: Legalidad, Ética y Robustez.

 

 

Lea más:

Inteligencia artificial; reglas y normas en Europa | CertX

Inteligencia artificial | CertX