Artificial Intelligence(AI) joue un rôle majeur dans les systèmes et applications modernes. Cependant, le déploiement de l'IA présente de nouveaux risques, en particulier dans les applications critiques pour la sécurité, comme les véhicules autonomes, en raison des caractéristiques inhérentes à l'IA. Les normes de sécurité fonctionnelle telles que la norme CEI 61508 et ses dérivés spécifiques à l'industrie, notamment les normes ISO 26262 et ISO/PAS 21448, qui sont les deux principales normes dans le domaine de l'automobile, ne tiennent pas pleinement compte des limites de sécurité des modèles d'IA. Il a été démontré qu'environ 40 % des méthodes présentées dans la norme ISO-26262-6 ne s'appliquent pas aux modèles et algorithmes d'apprentissage automatique (ML).
Les systèmes d'intelligence artificielle posent plusieurs problèmes qui peuvent entraîner un comportement indésirable des applications critiques pour la sécurité. Tout d'abord, le maintien de la transparence de la mise en œuvre, exigée par les normes de sécurité fonctionnelle bien connues, est difficile pour les modèles ML, en particulier pour les réseaux neuronaux profonds (DNN). Ces modèles, entraînés sur de nombreuses variables, finissent par devenir une boîte noire qui rend la traçabilité problématique. Savoir ce qu'un modèle ML formé a appris pourrait être très utile pour la maintenance et le débogage. Par exemple, il est crucial de comprendre si un modèle formé pour contrôler les volants a en fait appris les bords de la route ou non. Deuxièmement, alors que la vérification dans le domaine de la sécurité comprend une inspection et des tests exhaustifs, il n'est guère possible de reconnaître de manière exhaustive la façon dont chaque unité d'un DNN contribue à la production globale du système d'IA. Troisièmement, contrairement au logiciel classique où la fonction de contrôle d' exécution est basée sur un ensemble de règles bien définies, la nature probabiliste des modèles ML nécessite des estimateurs d'incertitude d'exécution, et des détecteurs d'erreurs dans/hors de la distribution qui ne sont couverts par aucune norme de sécurité fonctionnelle. Enfin, l'assurance de la robustesse des modèles ML est différente de celle des logiciels classiques, car elle dépend fortement de l'ensemble de données sous-jacent utilisé pour la formation et de l'environnement réel avec lequel les modèles interagissent. Par exemple, le changement de domaine est un défi connu de la robustesse des modèles ML, en particulier dans les applications du monde ouvert comme les véhicules autonomes où les données sont recueillies dans un environnement très dynamique. Dans le domaine de l'automobile, les conditions météorologiques, les différentes poses des objets, l'angle de la caméra et les conditions de lumière contribuent tous à la performance opérationnelle du modèle formé. De plus, les perturbations et les corruptions des données collectées par les véhicules autonomes sont courantes en raison de l'objectif de la caméra, des erreurs transitoires des capteurs, des interférences électromagnétiques, etc. Le modèle ML doit donc être suffisamment robuste pour résister à ces données d'entrée non idéales pendant le fonctionnement, sinon des conséquences catastrophiques sont à prévoir.
Lorsque l'IA est impliquée dans des systèmes critiques pour la sécurité, l'analyse de la sécurité s'accompagne de plusieurs nouvelles questions et préoccupations, notamment, mais pas seulement :
- Comment déterminer si l'ensemble de données sous-jacent comprend tous les scénarios réalistes possibles ainsi que les cas limites,
- Comment définir l'incertitude des modèles ML,
- Comment évaluer la robustesse des modèles ML,
- Quels critères d'assurance sont appropriés et comment les obtenir,
- Comment appliquer les tests communs de sécurité fonctionnelle dans le contexte de l'IA.
CertX, en tant que premier organisme de certification en sécurité fonctionnelle et en cybersécurité, investit massivement dans la sécurité de l'IA. Avec des experts en sécurité fonctionnelle, en cybersécurité et en intelligence artificielle, CertX vise à mettre en place le premier système de certification accrédité en IA, en mettant l'accent sur la robustesse des systèmes critiques de sécurité. CertX met constamment à jour ses services en fonction de la normalisation en cours de la sécurité fonctionnelle et des systèmes d'IA, tout en abordant les principaux défis de l'analyse de la sécurité fonctionnelle des systèmes d'IA et en proposant des solutions fiables. CertX contribue au développement du cadre d'évaluation CertAI Trustworthy AI, en s'assurant que les systèmes d'IA sont alignés sur les piliers de Trustworthy AI : Légalité, Éthique et Robustesse.
Lire la suite :
Intelligence artificielle ; règles et normes en Europe | CertX