【技术实现步骤摘要】
本专利技术涉及模型测试领域，具体涉及一种文字情报分析模型的可解释性测试验证方法及系统。
技术介绍
1、近年来，大数据、物联网为模型训练提供了数据支撑，智能芯片、高性能并行计算提供了的充足算力，这些都推动了技术的不断突破，情报分析技术作为人工智能领域的研究热点和主流发展方向之一，受到产业界和军事领域的广泛重视。模型的可解释性是人工智能系统环境中提出新挑战的关键属性，是指人们能够理解模型决策原因的程度，描述了算法模型可被人理解其运行逻辑的特性。
2、如何测试模型的可解释性是一大难点，模型的有效性受到机器无法向人类用户解释其决策和行动的限制，通常性能最高的方法(如机器学习)最不可解释，而最可解释的方法(例如线性回归)最不准确，然而传统的黑盒、白盒测试无法评估机器学习技术的可解释性，因此急需研究一种能够验证情报分析模型的可解释性测试验证方法。
技术实现思路
1、本专利技术的目的在于提供一种文字情报分析模型的可解释性测试验证方法及系统，围绕情报分析等主流机器学习模型的可解释性测试需求，提出模型的可解释性测试评估方法，确保模型的可解释性测试充分性。增强人工智能技术的可信赖程度，从而保证软件产品质量。
2、具体地，本专利技术提供一种文字情报分析模型的可解释性测试验证方法，其包括以下步骤：
3、s1、构建待评估文字情报分析模型的基础测试数据集：基于待评估文字情报分析模型获取情报分析模型的项目测试集、公开数据集和实地采集数据集，经数据预处理后，构建基础测试数据集；
4、s2、构建可解释性测试模型，所述可解释性测试模型包括内在可解释性测试或事后可解释性测试中的一种以及全局可解释性测试或者局部可解释性测试中的一种，具体包括以下步骤：
5、s21、选取内在可解释性测试或者事后可解释性测试：判断待评估的情报分析模型是否为线性回归模型、逻辑回归模型、决策树模型或朴素贝叶斯模型；如是，则选取内在可解释性测试，如否，则选取事后可解释性测试；
6、s22、选取全局可解释性或者局部可解释性：判断是否能够获取训练后的待评估的情报分析模型、算法知识以及模型数据；如是，则选取全局可解释性测试，如否，则选取局部可解释性测试；
7、s23、基于步骤s21以及步骤s22的判断结果，构建可解释性测试模型，所述可解释性测试模型包括第一可解释性测试模型、第二可解释性测试模型、第三可解释性测试模型以及第四可解释性测试模型，所述第一可解释性测试模型包括内在可解释性测试与全局可解释性测试，所述第二可解释性测试模型包括内在可解释性测试与局部可解释性测试，所述第三可解释性测试模型包括事后可解释性测试与全局可解释性测试，所述第四可解释性测试模型包括事后可解释性测试与局部可解释性测试；
8、s3、确定内在可解释性测试、事后可解释性测试、全局可解释性测试以及局部可解释性测试的方法，具体包括以下步骤：
9、s31、确定内在可解释性测试的方法为模型结构可视化、显示模型中各节点的链接结构和数据流转通路或权重分析中的一种或多种，分析特征重要度，输出排名前三的特征作为第一重要特征集；
10、s32、确定事后可解释性测试的测试方法为置换重要性分析方法，所述置换重要性分析方法的步骤如下：
11、s321、提取情报分析模型的损失函数为l，定义l(y,f(x))为模型对于样本的预测值与真实值之间的误差，其中x为输入样本的特征矩阵，y为目标的真实标注值，f(x)为模型对于输入的预测输出；
12、s322、对于x中每个候选特征i，将其置换为特征j，生成新的输入x′，其中，j>i，将模型的预测误差影响置换为l(y,f(x′))；
13、s323、利用l(y,f(x′))-l(y,f(x)计算特征影响度；
14、s324、基于步骤s322-s323计算多个特征的影响度，并进行降序排序，选取排序前三的特征作为第一重要特征集；
15、s33、确定全局可解释性测试的测试方法为部分依赖图测试方法，所述部分依赖图测试方法，具体包括以下步骤：
16、s331、提取模型的损失函数为l，则l(y,f(x))为模型对于样本的预测值与真实值之间的误差，其中x为输入样本的特征矩阵，y为目标的真实标注值，f(x)为模型对于输入的预测输出；
17、s332、对于x中每个候选特征i，通过遮掩的方式生成新的输入x′，将模型的预测误差转换为l(y,f(x′))；
18、s333、利用l(y,f(x′))-l(y,f(x)计算特征影响度；
19、s334、基于步骤s332-s333计算多个特征的影响度，并进行降序排序，选取排序前三的特征作为第二重要特征集；
20、s34、确定局部可解释性测试的测试方法为热力图和局部代理方法，利用热力图或局部代理方法输出多个特征，选取排序前三的特征作为第二重要特征集；
21、s4、执行文字情报分析模型的可解释性测试，计算可解释性评价指标，评估可解释测试是否通过，如通过则输出测试结果，具体包括以下子步骤：
22、s41、基于步骤s1获取的待评估文字情报分析模型的基础测试数据集执行步骤s2选取第一可解释性测试模型、第二可解释性测试模型、第三可解释性测试模型或第四可解释性测试模型种的一种并基于选定的可解释性测试模型执行步骤s3中的对应的可解释性测试，获得第一重要特征集和第二重要特征集；
23、s42、计算待评估文字情报分析模型二次加权的kappa系数，评估模型的情报分析性能，如计算结果小于评价阈值时则判定该可解释性测试未通过，如计算结果大于评价阈值则进入步骤s43；
24、s43、计算可解释性评价指标，根据第一重要特征集和第二重要特征集计算可解释性评价指标即解释的正确率，如计算结果小于评价阈值时则判定该可解释性测试未通过，如计算结果大于评价阈值则通过可解释性测试，证明模型能够较为准确的解释文字情报中的重要特征并以此进行判断，其决策过程具备可解释性和可理解性；
25、其中可解释性评价指标的计算公式如下：
26、
27、其中，correctness为可解释性评价指标即解释的正确率，ci表示第i种可解释性测试方法识别的重要特征数量，ni表示第i种可解释性测试方法识别的特征总数。
28、优选地，步骤s32中事后可解释性测试的测试方法还可以选取可视化分析或反事实解释。
29、优选地，步骤s34中全局可解释性的测试方法还可以选取局部代理或shap分析。
30、优选地，步骤s42中二次加权的kappa系数的计算公式为：
31、
32、其中，wi,j、oi,j、ei,j分别为权重；计算公式分别为：
33、
34、
35、
36、其中，i∈{0,n-1}和j∈{0,n-1}均是映射到0到n-1的类别代号，每个类本文档来自技高网...
【技术保护点】
1.一种文字情报分析模型的可解释性测试验证方法，其特征在于：其包括以下步骤：
2.根据权利要求1所述的文字情报分析模型的可解释性测试验证方法，其特征在于：步骤S32中事后可解释性测试的测试方法还能够选取可视化分析或反事实解释。
3.根据权利要求1所述的文字情报分析模型的可解释性测试验证方法，其特征在于：步骤S33中全局可解释性的测试方法还能够选取局部代理或SHAP分析。
4.根据权利要求1所述的文字情报分析模型的可解释性测试验证方法，其特征在于：步骤S42中二次加权的Kappa系数的计算公式为：
5.根据权利要求1所述的文字情报分析模型的可解释性测试验证方法，其特征在于：步骤S42和步骤S43中的评价阈值为0.7。
6.根据权利要求2所述的文字情报分析模型的可解释性测试验证方法，其特征在于：所述反事实解释的步骤具体如下：
7.一种用于权利要求1所述的文字情报分析模型的可解释性测试验证方法的可解释性测试验证系统，其特征在于：其包括基础数据集构建单元、可解释性测试模型构建单元、可解释性测试方法选择单元以及可解释性
8.根据权利要求7所述的可解释性测试验证系统，其特征在于：所述可解释性测试模型包括第一可解释性测试模型、第二可解释性测试模型、第三可解释性测试模型以及第四可解释性测试模型。
...【技术特征摘要】
1.一种文字情报分析模型的可解释性测试验证方法，其特征在于：其包括以下步骤：
2.根据权利要求1所述的文字情报分析模型的可解释性测试验证方法，其特征在于：步骤s32中事后可解释性测试的测试方法还能够选取可视化分析或反事实解释。
3.根据权利要求1所述的文字情报分析模型的可解释性测试验证方法，其特征在于：步骤s33中全局可解释性的测试方法还能够选取局部代理或shap分析。
4.根据权利要求1所述的文字情报分析模型的可解释性测试验证方法，其特征在于：步骤s42中二次加权的kappa系数的计算公式为：
5.根据权利要求1所述的文字情报分析模型的可解释性测试验证方法，其特征在于：步骤s42和步骤s43中的评价阈值为0.7。
6.根据权利要求2所述的文字情报分析模...
【专利技术属性】
技术研发人员：郭耕佑，蔡玉华，封二强，刘姝研，
申请(专利权)人：中国航空综合技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。