A人工智能(AI)在现代系统和应用中发挥着重要作用。然而,由于人工智能的固有特点,人工智能的部署带来了新的风险,特别是在安全关键应用中,如自动驾驶车辆。功能安全标准,如IEC 61508及其行业特定的衍生标准,包括ISO 26262和ISO/PAS 21448作为汽车领域的两个主要标准,并没有完全解决人工智能模型的安全限制。事实表明,ISO-26262-6中提出的约40%的方法并不适用于机器学习(ML)模型和算法。

人工智能系统有几个公开的挑战,最终可能导致安全关键应用的不理想行为。首先,维持众所周知的功能安全标准所要求的实施 透明度,对于ML模型,特别是深度神经网络(DNN)来说是一个挑战。这些模型在众多变量上进行训练,最终成为一个黑匣子,使可追溯性成为问题。知道一个训练有素的ML模型学到了什么,对维护和调试会有很大帮助。例如,了解一个为控制方向盘而训练的模型是否真的学会了道路边缘是至关重要的。第二,虽然安全领域的验证包括详尽的检查和测试,但要全面认识DNN中的每一个单元对人工智能系统的整体输出的贡献是不可行的。第三,与经典软件相比,运行时监控功能是基于一组定义明确的规则,而ML模型的概率性质需要运行时不确定性估计器和分布内/分布外错误检测器,这在任何功能安全标准中都没有涉及。最后,ML模型的鲁棒性保证与经典软件不同,因为它高度依赖于用于训练的基础数据集和模型与之互动的实际现实环境。例如,领域转移是ML模型鲁棒性的一个已知挑战,特别是在开放世界的应用中,如自动驾驶汽车,数据从一个非常动态的环境中收集。在汽车领域,天气条件、物体的不同姿势、相机角度和光线条件都会对训练好的模型的操作性能产生影响。此外,由于相机镜头、传感器的瞬时误差、电磁干扰等原因,自主车辆收集的数据中的扰动和损坏也很常见。因此,ML模型在运行过程中需要对这些非理想的输入数据有足够的鲁棒性,否则,预计会有灾难性的后果。

 

当人工智能参与到安全关键系统中时,安全分析会伴随着一些新的问题和担忧,包括但不限于:。

  • 如何确定基础数据集是否包括所有可能的现实场景以及角落案例。
  • 如何定义ML模型的不确定性。
  • 如何评估ML模型的稳健性。
  • 哪些保证标准是合适的,如何获得这些标准。
  • 如何在人工智能的背景下应用常见的功能安全测试。

CertX作为第一个功能安全和网络安全认证机构,正在广泛地投资于人工智能安全。CertX拥有功能安全、网络安全和人工智能方面的专家,旨在建立第一个认可的人工智能认证计划,重点是安全关键系统的稳健性。CertX根据正在进行的功能安全和人工智能系统的标准化不断更新其服务,同时解决人工智能系统功能安全分析的主要挑战并提供可靠的解决方案。CertX正在为CertAI可信的人工智能评估框架的发展做出贡献,确保人工智能系统与可信的人工智能支柱保持一致。合法性、道德和稳健性。

 

 

阅读更多。

人工智能;欧洲的规则和标准|CertX

人工智能|CertX