Artifizielle Intelligenz(KI) spielt in modernen Systemen und Anwendungen eine wichtige Rolle. Der Einsatz von KI birgt jedoch neue Risiken, insbesondere bei sicherheitskritischen Anwendungen, wie z. B. autonomen Fahrzeugen, aufgrund der inhärenten Merkmale von KI. Funktionale Sicherheitsnormen wie die IEC 61508 und ihre branchenspezifischen Ableitungen einschließlich ISO 26262 und ISO/PAS 21448 als die beiden wichtigsten Normen im Automobilbereich gehen nicht vollständig auf die Sicherheitseinschränkungen von KI-Modellen ein. Es hat sich gezeigt, dass etwa 40 % der in ISO-26262-6 vorgestellten Methoden nicht auf die Modelle und Algorithmen des maschinellen Lernens (ML) anwendbar sind.
Es gibt mehrere offene Herausforderungen bei KI-Systemen, die letztlich zu unerwünschtem Verhalten bei sicherheitskritischen Anwendungen führen können. Erstens ist die Aufrechterhaltung der Implementierungstransparenz, die von den bekannten Normen für funktionale Sicherheit gefordert wird, eine Herausforderung für ML-Modelle, insbesondere für Deep Neural Networks (DNNs). Diese Modelle, die auf zahlreichen Variablen trainiert werden, werden schließlich zu einer Blackbox, was die Rückverfolgbarkeit problematisch macht. Zu wissen, was ein trainiertes ML-Modell gelernt hat, kann für die Wartung und Fehlerbehebung sehr hilfreich sein. So ist es beispielsweise wichtig zu verstehen, ob ein Modell, das für die Steuerung von Lenkrädern trainiert wurde, tatsächlich die Straßenränder gelernt hat oder nicht. Zweitens: Während die Verifikation im Sicherheitsbereich eine umfassende Inspektion und Prüfung beinhaltet, ist es kaum möglich, umfassend zu erkennen, wie jede einzelne Einheit innerhalb eines DNN zum Gesamtoutput des KI-Systems beiträgt. Drittens erfordert die probabilistische Natur von ML-Modellen im Gegensatz zu klassischer Software, bei der die Laufzeitüberwachungsfunktion auf einer Reihe genau definierter Regeln beruht, Laufzeitunsicherheitsschätzer und In/Out-of-Distribution-Fehlerdetektoren, die von keinen funktionalen Sicherheitsstandards abgedeckt werden. Schließlich unterscheidet sich die Gewährleistung der Robustheit von ML-Modellen von klassischer Software, da sie in hohem Maße von dem für das Training verwendeten Datensatz und der tatsächlichen realen Umgebung abhängt, mit der die Modelle interagieren. So ist beispielsweise der Domänenwechsel eine bekannte Herausforderung für die Robustheit von ML-Modellen, insbesondere bei Open-World-Anwendungen wie autonomen Fahrzeugen, bei denen die Daten in einer sehr dynamischen Umgebung gesammelt werden. Im Automobilbereich tragen Wetterbedingungen, unterschiedliche Positionen von Objekten, Kamerawinkel und Lichtverhältnisse alle zur operativen Leistung des trainierten Modells bei. Darüber hinaus sind Störungen und Verfälschungen in den von autonomen Fahrzeugen erfassten Daten aufgrund von Kameraobjektiven, vorübergehenden Sensorfehlern, elektromagnetischen Störungen usw. üblich. Das ML-Modell muss daher hinreichend robust gegenüber diesen nicht idealen Eingangsdaten während des Betriebs sein, andernfalls sind katastrophale Folgen zu erwarten.
Wenn KI in sicherheitskritischen Systemen zum Einsatz kommt, wirft die Sicherheitsanalyse eine Reihe neuer Fragen und Bedenken auf, unter anderem:
- Wie lässt sich feststellen, ob der zugrundeliegende Datensatz alle möglichen realistischen Szenarien sowie die Eckfälle umfasst?
- Wie kann die Unsicherheit von ML-Modellen definiert werden?
- Wie man die Robustheit von ML-Modellen bewertet,
- Welche Sicherheitskriterien geeignet sind und wie man sie erhält,
- Anwendung gängiger Tests zur funktionalen Sicherheit im Kontext von KI.
CertX, die erste Zertifizierungsstelle für funktionale Sicherheit und Cybersicherheit, investiert umfassend in die KI-Sicherheit. Mit seinen Experten für funktionale Sicherheit, Cybersicherheit und künstliche Intelligenz will CertX das erste akkreditierte KI-Zertifizierungssystem mit dem Schwerpunkt auf Robustheit in sicherheitskritischen Systemen aufbauen. CertX aktualisiert seine Dienstleistungen ständig entsprechend der laufenden Standardisierung von funktionaler Sicherheit und KI-Systemen und geht dabei auf die wichtigsten Herausforderungen der Analyse der funktionalen Sicherheit von KI-Systemen ein und bietet zuverlässige Lösungen an. CertX trägt zur Entwicklung des CertAI Trustworthy AI Assessment Framework bei und stellt sicher, dass KI-Systeme mit den Säulen der vertrauenswürdigen KI übereinstimmen: Rechtmäßigkeit, Ethik und Robustheit.
Lesen Sie mehr:
Künstliche Intelligenz; Regeln und Standards in Europa | CertX