一种人工智能产品的技术风险评估方法及系统技术方案

本发明专利技术公开了一种人工智能产品的技术风险评估方法及系统，建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；根据待评估产品特性及评估需求确定该产品的风险域对应的风险子域及度量元，制定针对具体的技术风险模型；根据待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果；根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。本发明专利技术从多个角度考虑人工智能产品的技术风险，建立了人工智能产品的开发和应用全生命周期涉及的人工智能技术风险评估方法，解决了人工智能产品的技术风险评估模型缺失的问题。品的技术风险评估模型缺失的问题。品的技术风险评估模型缺失的问题。

【技术实现步骤摘要】
一种人工智能产品的技术风险评估方法及系统


[0001]本专利技术涉及风险评估
，具体涉及一种人工智能产品的技术风险评估方法及系统。

技术介绍

[0002]近年来，人工智能(Artificial Intelligence，AI)技术出现了第三次发展高潮，强大的硬件基础、海量数据和先进的人工智能算法均为人工智能技术赋予了强大的动力，人工智能产品已经在智慧医疗、智慧交通、智慧司法、智能教育等方面取得了较大的突破。
[0003]但是，人工智能在给人类生活带来种种益处的同时，也带来了许多风险。确保人工智能技术平稳安全落地，积极做好人工智能的政策引导与合理规制，推进人工智能风险评估研究，对实现人工智能产品健康持续发展显得尤为重要。但是现有技术中并没有较为全面的评估技术针对人工智能产品的进行风险评估。

技术实现思路

[0004]因此，本专利技术要解决的技术问题在于克服现有技术中人工智能产品的技术风险评估方法缺乏的不足，从而提供一种人工智能产品的技术风险评估方法及系统。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]第一方面，本专利技术实施例提供一种人工智能产品的技术风险评估方法，包括如下步骤：
[0007]建立面向人工智能产品的“风险域——风险子域——度量元”层次化的技术风险模型，其中每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；
[0008]根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型；
[0009]根据所述待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果；
[0010]根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。
[0011]在一实施例中，风险域包括：数据集风险、算法模型风险、系统运行风险；其中，
[0012]数据集风险的风险子域包括：无偏性、完整性、有效性、保密性、准确性和数据集分布平衡性；
[0013]算法模型风险的风险子域包括：鲁棒性、模型覆盖率、准确性、透明性、算法依赖性、可解释性和抗欺骗攻击性；
[0014]系统运行风险的风险子域包括：功能安全性、可预测性、可复现性、容错性、可追溯性、可控性和适应性。
[0015]在一实施例中，数据集完整性的度量元包括：数据集模型完整性、数据集模型属性完整性、元数据完整性；
[0016]数据集有效性的度量元包括：数据集有效性比率、数据元素有效性；
[0017]数据集保密性的度量元包括：加密使用和非脆弱性；
[0018]数据集准确性的度量元包括：语义准确性、数据集不准确性风险、元数据准确性；
[0019]数据集分布平衡性的度量元包括：类别平衡和错分成本平衡；
[0020]算法模型鲁棒性的度量元包括：非正常样本中输出正确率、局部对抗鲁棒性、全局对抗鲁棒性；
[0021]算法模型准确性的度量元包括：精准率和准确率；
[0022]算法模型透明性的度量元包括：训练过程透明度量和训练结果透明度量；
[0023]算法模型算法依赖性的度量元包括：依赖算法的正确性、依赖算法的合规性；
[0024]算法模型的可解释性的度量元包括：事前可解释和事后可解释；
[0025]系统运行的可复现性的度量元包括：复现结果偏差和复现成功率；
[0026]系统运行的容错性的度量元包括：失效的避免性、误操作的抵御性、误操作的危害性；
[0027]系统运行的可追溯性的度量元包括：系统执行结果可追溯性和故障追溯分析能力；
[0028]系统运行的可控性的度量元包括：危险场景下控制成功率、控制输入服从分布式一致性；
[0029]系统运行的适应性的度量元包括：跨平台适应性、任务适应性。
[0030]在一实施例中，根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型的过程，包括：
[0031]人工智能产品技术风险评估模型中的风险域所包含数据集风险、算法模型风险、系统运行风险，均为必选项；
[0032]根据人工智能产品的特性，确定已选取风险子域中的每个度量元的重要程度，将已选取风险子域中的度量元分为重要度量元和一般度量元，其中重要度量元为必选项，一般度量元为可选项；
[0033]在每个风险子域中，根据评估需求，选取可选项及至少一个必选项，从而建立针对具体待测人工智能产品的技术风险评估模型。
[0034]在一实施例中，预先建立的技术风险评估通过准则包括：
[0035]依据相关历史相似产品度量值或根据需要达到的目标给定每个度量元设定需要达到的阈值；
[0036]该风险子域下选取的度量元全部达到阈值要求，则该风险子域达到评估要求；
[0037]该风险域下的选取的风险子域全部满足，则选取的风险域达到评估要求；
[0038]若风险域全部满足，则技术风险达到评估要求。
[0039]在一实施例中，收集技术风险评估要求的多个度量元结果包括：数据采集和数据确认；其中，
[0040]在数据采集过程中，技术风险评估要求的多个度量元数据可以分类进行采集，包括通过工具采集的数据、从介绍和演示中采集的数据、从面谈中获得的数据、以及从相关文档的评审中获得的数据；
[0041]在数据确认过程中，根据技术风险评估要求采集的度量元数据至少之一采用预设证实规则进行确认，包括：数据至少来自两个独立的来源、数据至少是在两个不同的采集期间获得的、数据至少被一个能反映确已做了预设规则的数据来源确认。
[0042]在一实施例中，根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论的过程，包括：
[0043]利用收集的技术风险评估要求的多个度量元结果，对照预先建立的技术风险评估通过准则逐一开展结果判定，并最终得出待测人工智能产品技术风险评估的结果。
[0044]第二方面，本专利技术实施例提供一种人工智能产品的技术风险评估系统，包括：
[0045]技术风险模型建立模块，用于建立面向人工智能产品的“风险域——风险子域——度量元”层次化的技术风险模型，其中每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；
[0046]待评估产品技术风险模型建立模块，根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型；
[0047]数据收集模块，用于根据所述待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果；
[0048]技术风险评估结论获取模块，用于根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。
[0049]第三方面，本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人工智能产品的技术风险评估方法，其特征在于，包括如下步骤：建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，其中每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型；根据所述待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果；根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。2.根据权利要求1所述的人工智能产品的技术风险评估方法，其特征在于，风险域包括：数据集风险、算法模型风险、系统运行风险；其中，数据集风险的风险子域包括：无偏性、完整性、有效性、保密性、准确性和数据集分布平衡性；算法模型风险的风险子域包括：鲁棒性、模型覆盖率、准确性、透明性、算法依赖性、可解释性和抗欺骗攻击性；系统运行风险的风险子域包括：功能安全性、可预测性、可复现性、容错性、可追溯性、可控性和适应性。3.根据权利要求2所述的人工智能产品的技术风险评估方法，其特征在于，数据集完整性的度量元包括：数据集模型完整性、数据集模型属性完整性、元数据完整性；数据集有效性的度量元包括：数据集有效性比率、数据元素有效性；数据集保密性的度量元包括：加密使用和非脆弱性；数据集准确性的度量元包括：语义准确性、数据集不准确性风险、元数据准确性；数据集分布平衡性的度量元包括：类别平衡和错分成本平衡；算法模型鲁棒性的度量元包括：非正常样本中输出正确率、局部对抗鲁棒性、全局对抗鲁棒性；算法模型准确性的度量元包括：精准率和准确率；算法模型透明性的度量元包括：训练过程透明度量和训练结果透明度量；算法模型算法依赖性的度量元包括：依赖算法的正确性、依赖算法的合规性；算法模型的可解释性的度量元包括：事前可解释和事后可解释；系统运行的可复现性的度量元包括：复现结果偏差和复现成功率；系统运行的容错性的度量元包括：失效的避免性、误操作的抵御性、误操作的危害性；系统运行的可追溯性的度量元包括：系统执行结果可追溯性和故障追溯分析能力；系统运行的可控性的度量元包括：危险场景下控制成功率、控制输入服从分布式一致性；系统运行的适应性的度量元包括：跨平台适应性、任务适应性。4.根据权利要求2所述的人工智能产品的技术风险评估方法，其特征在于，根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型的过程，包括：人工智能产品技术风险评估模型中的风险域所包含数据集风险、算法模型风险、系统
运行风险，均为必选项；根据人工智能产品的特性，确定已选取风险子域中的每个度量元的重要程度，将已选取风险子域中的度量元分为重要度量元...

【专利技术属性】
技术研发人员：孟令中，薛云志，董乾，高卉，武斌，杨光，师源，
申请(专利权)人：中科院软件研究所南京软件技术研究院，
类型：发明
国别省市：