一种对抗场景下电力算法模型鲁棒性的评估方法和系统技术方案

本发明专利技术提供了一种对抗场景下电力算法模型鲁棒性的评估方法和系统，包括：获取电力算法模型生成的电力巡检场景中的对抗场景图像；基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值；通过对所述各测评指标值进行功效系数转换，确定各测评指标权重；基于所述各测评指标权重，利用预先构建的电力巡检场景下算法模型鲁棒性评价指标体系，进行电力算法模型鲁棒性的评估；本发明专利技术根据要进行评估的对抗场景图像，选择对应场景的对抗鲁棒性计算公式进行模型鲁棒性评估，提高了模型鲁棒性评估的准确性；本发明专利技术通过几何变换和像素变换对异常样本进行扩充，扩大了测试集范围，使测试集能覆盖典型的电力巡检场景。的电力巡检场景。的电力巡检场景。

【技术实现步骤摘要】
一种对抗场景下电力算法模型鲁棒性的评估方法和系统


[0001]本专利技术属于电力算法模型研究
，具体为一种对抗场景下电力算法模型鲁棒性的评估方法和系统。

技术介绍

[0002]目前，在机器学习模型的性能、稳定性、使用价值方面都有一定的探索，然而尚没有相关文献对机器学习模型质量的概念进行定义和详细的描述分析；另外，安全性方面的研究，多集中在对抗样本构造和防御方法上，对鲁棒性的测评上存在一定空白。
[0003]在国网电力巡检场景的人工智能模型评测研究方面，多关注于模型的性能指标。而鲁棒性作为模型评测的重点指标之一，鲁棒性能够表征模型在异常、攻击数据下仍能保持正确输出的能力，事关数据的安全与稳定，是模型能否落地及落地后能否稳定运行的重要指标。而现在对电力巡检场景模型鲁棒性的深入研究较少。申请号为202111281411.9的专利技术提出了一种对电力巡检场景人工智能算法模型的评估方法，该专利技术利用电力巡检场景的原始电力数据建立定制化评测指标，在对抗与对抗场景中对电力算法模型鲁棒性进行评测。该专利技术虽然能够对电力巡检场景人工智能算法模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对抗场景下电力算法模型鲁棒性的评估方法，其特征在于，包括：获取电力算法模型生成的电力巡检场景中的对抗场景图像；基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值；通过对所述各测评指标值进行功效系数转换，确定各测评指标权重；基于所述各测评指标权重，利用预先构建的电力巡检场景下算法模型鲁棒性评价指标体系，进行电力算法模型鲁棒性的评估；所述测评指标包括模型的性能评估指标、模型生成式对抗网络的评估指标、模型的稳定性评估指标和模型的安全性评估指标中的一种或多种。2.如权利要求1所述的方法，其特征在于，所述基于所述对抗场景图像对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标值，包括：对所述对抗场景图像进行异常情形归纳分类；将归纳分类后的对抗场景图像，输入到预先构建的生成器中，得到虚拟的异常数据；基于所述虚拟的异常数据，利用与所述虚拟的异常数据对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标；通过对各测评指标进行二次筛选，得到各测评指标值；其中，所述生成器，基于公开数据集中的对抗场景图像异常样本进行构建、训练和测试。3.如权利要求2所述的方法，其特征在于，所述对所述对抗场景图像进行异常情形归纳分类，包括：对所述对抗场景图像进行图片分类得到异常图片分类场景，和对所述对抗场景图像进行数值分类得到异常数值分类场景；其中，所述异常图片分类场景，包括缩放、旋转、模糊、裁剪、平移和扭曲图片中的一种或多种；所述异常数值分类场景，包括在对抗场景图像对应的多维空间内的位置异常数值和对抗场景图像属性间匹配关系的异常数值中的一种或多种。4.如权利要求2所述的方法，其特征在于，所述电力巡检场景对抗鲁棒性计算公式，包括：分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式和回归模型的对抗鲁棒性计算公式。5.如权利要求4所述的方法，其特征在于，所述基于所述虚拟的异常数据，利用与所述虚拟的异常数据对应的电力巡检场景对抗鲁棒性计算公式，计算得到各测评指标，包括：基于所述虚拟的异常数据的特点，通过分类模型的对抗鲁棒性计算公式、聚类模型的对抗鲁棒性计算公式或回归模型的对抗鲁棒性计算公式中的一种，对所述虚拟的异常数据进行计算得到模型的性能评估指标；将所述模型的性能评估指标作为各测评指标；其中，所述模型的性能评估指标，包括异常数据的准确率、精确率、召回率、均方误差、平均绝对误差、调整兰德系数、调整互信息、轮廓系数和杰卡德系数中的一种或多种。6.如权利要求2所述的方法，其特征在于，所述对各测评指标进行二次筛选，得到各测评指标值，包括：
依据电力巡检对抗场景，对各测评指标进行定性筛选；基于测评指标间的差异性，对定性筛选后的各测评指标进行再次筛选，得到各测评指标值；其中，所述测评指标间的差异性包括冗余性、矛盾性和低显著性中的一种或多种。7.如权利要求1所述的方法，其特征在于，所述电力巡检场景下算法模型鲁棒性评价指标体系的构建，包括：基于公开数据集和国网数据集中的样本进行异常样本分割，得到异常样本，并对所述异常样本进行扩充；基于扩充后的异常样本，通过异常样本数据生成算法生成各电力巡检场景下的异常数据，并将所述异常数据作为模型鲁棒性的测试集；基于所述测试集，对各电力巡检场景的电力算法模型进行鲁棒性测评，得到测评结果，并基于设定的各电力巡检场景中各异常样本的出现频率和重要程度，确定测评结果的权重；基于所述测评结果和测评结果的权重，采用层次分析法构建电力巡检场景下算法模型鲁棒性评...

【专利技术属性】
技术研发人员：陈相舟，李晓燕，宋金伟，宣东海，
申请(专利权)人：国家电网有限公司大数据中心，
类型：发明
国别省市：