人工智能系统风险检测方法、装置、计算机设备与介质制造方法及图纸

本申请涉及人工智能的模型部署领域，具体涉及一种人工智能系统风险检测方法、装置、计算机设备和存储介质。所述方法通过运行待检测人工智能系统，获取待检测人工智能系统在运行中的各个风险评价指标的指标参数，根据各个风险评价指标的指标参数对人工智能系统进行多角度的量化检测，而后通过系统的源代码以及其用途，确定其对应的权重参数，综合考虑指标参数以及对应参数来得到待检测人工智能系统的运行风险参数，通过该运行风险参数来对人工智能系统的运行风险检测，来确保已运行的人工智能系统是安全可控的，在人工智能系统的应用过程中把握及规避风险，减少安全问题或者事件的发生。

Artificial intelligence system risk detection methods, devices, computer equipment and media

【技术实现步骤摘要】
人工智能系统风险检测方法、装置、计算机设备与介质
本申请涉及计算机
，特别是涉及一种人工智能系统风险检测方法、装置、计算机设备和存储介质。
技术介绍
随着计算机科学的发展，人工智能技术也在不断更新换代，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。人工智能在帮助人们的生活更便捷，舒适的同时，也带来了巨大的安全风险，而这些安全风险可能不仅会造成财产的损失，甚至会危害人类的生命安全，目前，业界对于人工智能算法/模型、数据等的风险尚未有足够的认知和科学检测方法，无法对其风险进行检测。
技术实现思路
基于此，有必要对于人工智能算法/模型、数据等的风险尚未有足够本文档来自技高网...

【技术保护点】
1.一种人工智能系统风险检测方法，所述方法包括：/n启动待检测人工智能系统；/n运行所述待检测人工智能系统，获取所述待检测人工智能系统在运行中的各个风险评价指标的指标参数；/n识别所述待检测人工智能系统的源代码以及应用领域，根据所述待检测人工智能系统的源代码以及应用领域，获取待检测人工智能系统各风险评价指标对应的检测权重参数；/n根据各个风险评价指标的指标参数以及各风险评价指标对应的检测权重参数，获取当前待检测人工智能系统的运行风险参数；/n当所述运行风险参数大于预设风险阈值时，判定所述待检测人工智能系统存在安全风险。/n

【技术特征摘要】
1.一种人工智能系统风险检测方法，所述方法包括：
启动待检测人工智能系统；
运行所述待检测人工智能系统，获取所述待检测人工智能系统在运行中的各个风险评价指标的指标参数；
识别所述待检测人工智能系统的源代码以及应用领域，根据所述待检测人工智能系统的源代码以及应用领域，获取待检测人工智能系统各风险评价指标对应的检测权重参数；
根据各个风险评价指标的指标参数以及各风险评价指标对应的检测权重参数，获取当前待检测人工智能系统的运行风险参数；
当所述运行风险参数大于预设风险阈值时，判定所述待检测人工智能系统存在安全风险。


2.根据权利要求1所述的方法，其特征在于，所述风险评价指标包括代码安全风险参数、模型准确度、模型可解释度、模型敏感度以及模型输入数据攻击性，所述运行所述待检测人工智能系统，获取所述待检测人工智能系统测试在运行中的各预设检测时刻对应的各个风险评价指标包括：
获取所述待检测人工智能系统对应源代码，根据所述源代码获取代码安全风险参数；
获取带标记预设测试样本数据，将所述测试样本数据输入所述待检测人工智能系统，获取所述带标记预设测试样本数据对应输出数据，根据所述输出数据与对应的预测测试样本数据所带标记，获取模型准确度；
根据所述输出数据与对应的预测测试样本数据所带标记，获取所述输出数据中的出错数据，获取所述出错数据对应的错误解释信息，根据所述错误解释信息获取模型可解释度；
根据所述待检测人工智能系统的出错数据与所述待检测人工智能系统的应用领域，获取所述模型敏感度；
获取所述待检测人工智能系统对应依赖数据集，根据所述依赖数据集获取所述模型输入数据攻击性。


3.根据权利要求2所述的方法，其特征在于，所述识别所述待检测人工智能系统的源代码以及应用领域，根据所述待检测人工智能系统的源代码以及应用领域，获取待检测人工智能系统各风险评价指标对应的检测权重参数包括：
识别所述待检测人工智能系统的源代码以及应用领域；
确定所述源代码对应的风险参数类别，根据所述风险参数类别查找预设风险参数类别权重参数表，得到与所述风险参数类别对应的权重参数，将所述与所述风险参数类别对应的权重参数，作为与所述代码安全风险参数对应的第一检测权重参数；
根据所述应用领域查找预设模型准确度类别权重分布表，得到与所述应用领域对应的第一权重参数，将所述与所述应用领域对应的第一权重参数，作为与所述模型准确度对应的第二检测权重参数；
确定所述源代码对应的构成算法，根据所述构成算法查找预设模型可解释度权重分布表，得到与所述构成算法对应的权重参数，将所述构成算法对应的权重参数，作为与所述模型可解释度对应的第三检测权重参数；
根据所述应用领域确定业务影响级别，根据所述业务影响级别查找预设模型敏感度权重分布表，得到与所述业务影响级别对应的权重参数，将所述与所述业务影响级别对应的权重参数，作为所述模型敏感度对应的第四检测权重参数；
根据所述应用领域查找预设模型输入数据攻击性权重分布表，得到与所述应用领域对应的第二权重参数，将所述与所述应用领域对应的第二权重参数，作为所述模型输入数据攻击性对应的第五检测权重...

【专利技术属性】
技术研发人员：李洋，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44