一种基于一阶泰勒分解的图像分类模型可解释性方法技术

本发明专利技术涉及一种基于一阶泰勒分解的图像分类模型可解释性方法，包括缩减图片像素值，通过图像Transformer模型将图像分块为N*N个token，并对图像进行预测，输出全部类别的置信度，选择需要解释的类别，对其置信度进行反向传播，计算加权的注意力响应，获取最后一个Transformer层中注意力矩阵的数值及其对应的梯度值，将两者相乘，将获得的乘积取正值，获得可解释性矩阵，取可解释性矩阵中的第一行，从第二个元素开始到最后一个元素，重新排列成输入图像的尺寸N*N，将图像归一化后获得可解释性的热力图。与现有技术相比，本发明专利技术具有快速准确、实现简单、鲁棒性好等优点。鲁棒性好等优点。鲁棒性好等优点。

【技术实现步骤摘要】
一种基于一阶泰勒分解的图像分类模型可解释性方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于一阶泰勒分解的图像分类模型可解释性方法。

技术介绍

[0002]模型可解释性方法是指通过对网络模型预测的解释，使得人们可以理解网络模型输出的依据。理解网络的预测输出标准，对于很多关键领域的模型至关重要，例如运输，医疗，法律，财经等，因为可解释性有助于使用者信任模型，知道在何种情况下使用模型是安全可靠的，并且可以在模型发生预测错误时了解错误原因和优化模型的方向。
[0003]模型可解释性方法最初广泛应用于对CNN输出的解释，常用的方法包括CAM和Grad
‑
CAM。CAM是利用特征图上每个位置的值的激活程度，通过线性组合获得激活图，最后使用上采样，将激活图还原到与原图一样的大小，通过叠加，获得对于输出的解释。CAM虽然方法简单，但是它要求模型最后一层使用全局平均池化操作，导致其他模型的结构需要修改，并重新训练，大大限制了它的使用场景。Grad
‑
CAM解决了这一问题，其基本思路与CAM一致，通过对特征图加权求和，最后上采样，得到可视化结果，区别在于Grad
‑
CAM使用特征图梯度的全局平均值作为权重，对特征图进行线性组合，数学上可以证明，Grad
‑
CAM是CAM的更一般形式。
[0004]近年来，随着Transformer模型的发展，很多计算机视觉任务可以在Transformer模型上获得更好的效果，进而也推动了Transformer模型可解释性的研究。传统的CNN可视化方法在用于Transformer模型时，往往无法获得理想的效果，这是因为Transformer模型与CNN模型的差异较大，具有自注意力结构和跳连接结构，无法完全适用于CNN模型的可解释化方法。
[0005]公开号为CN114898159A的专利公开了一种基于解耦表征生成对抗网络的SAR图像可解释性特征提取方法，能够根据散射分量标签信息从SAR极化相关矩阵中提取出反映目标极化散射特性的可解释性深度特征，实现目标的解耦表征，提升深度网络模型特征提取的可解释性，然而该方法针对生成对抗网络的特征提取，无法适用于Transformer网络。
[0006]公开号为CN114925264A的专利公开了一种基于特征权重模型推荐系统及推荐结果可解释性方法，融合多路召回策略名、排序模型TopK权重特征和后处理规则名实现推荐系统推荐结果的可解释性，然而该方法针对的是推荐任务，无法处理图像分类任务的可解释性。

技术实现思路

[0007]本专利技术的目的是提供一种基于一阶泰勒分解的Transformer图像分类模型可解释性方法，通过对CAM方法的改进，将其转换为Transformer自注意力的一阶泰勒展开，并通过输入数值的压缩减小一阶泰勒展开与原函数的差异，提升Transformer模型可视化的准确性。
[0008]为达到上述目的，本专利技术采用的技术方案是：
[0009]一种基于一阶泰勒分解的图像分类模型可解释性方法，包括：
[0010]S1：缩减图片像素值，通过图像Transformer模型将图像分块为N*N个token，并对图像进行预测，输出全部类别的置信度，
[0011]S2：选择需要解释的类别，对其置信度进行反向传播，
[0012]S3：计算加权的注意力响应，获取最后一个Transformer层中注意力矩阵的数值及其对应的梯度值，将两者相乘，
[0013]S4：将S3中获得的乘积取正值，获得可解释性矩阵，
[0014]S5：取可解释性矩阵中的第一行，从第二个元素开始到最后一个元素，重新排列成输入图像的尺寸N*N，
[0015]S6：将图像归一化后获得可解释性的热力图。
[0016]上述技术方案优选地，在S1中，输入图像的数值压缩，使一阶泰勒分解后的近似模型与原模型的差异减小：
[0017]p
c
＝F(X)
[0018]p
’
c
＝F(αX)
[0019]|p
c
‑
p
’
c
|<ε，
[0020]其中，p
c
为压缩前的图像之于类别c的分类置信度，p
’
c
为压缩前的图像之于类别c的分类置信度，F为图像Transformer模型，X为输入图像，α为像素值压缩系数，p
’
c
与p
c
的差别控制在尽量小的范围内，即ε。
[0021]上述技术方案优选地，在S1中，像素值压缩系数为α＝0.1～0.5。
[0022]上述技术方案优选地，在S2中，对其置信度p
c
进行反向传播的计算式为：
[0023][0024]其中，p
c
为分类c的置信度，x为输入图像，A1，
…
，A
n
‑1，A
n
为第1，
…
，第n
‑
1，第n层的自注意力矩阵，且输出端为第n层，输入端为第1层。
[0025]上述技术方案优选地，在S3中，计算加权的注意力响应的计算式为：
[0026][0027]其中，A
n
为靠近输出端的第n层自注意力模块中的自注意力矩阵，为靠近输出端的第n层自注意力模块中的自注意力矩阵的梯度，
⊙
为内积运算。
[0028]上述技术方案优选地，在S4中，提取乘积的正值，并沿Transformer层的多头方向求平均值，获得可解释性矩阵。
[0029]进一步优选地，在S4中，可解释性矩阵的计算式为：
[0030][0031]其中，C为可解释性矩阵，为沿多头注意力方向求期望，h为多头注意力方向，Relu为激活函数，作用为取非负数值。
[0032]上述技术方案优选地，在S5中，可解释性矩阵C中需要提取的部分为：
[0033][0034]其中，可解释性矩阵C的起始行数为0，[0,1:]表示取第0行、第一列的元素开始到
最后一列的元素，即为长度为T的向量，且T＝N*N，即第一步中图像的分块数量。
[0035]上述技术方案优选地，在S6中，将图像归一化并进行上采样。
[0036]上述技术方案优选地，在S6中，将图像归一化并上采样的计算式为：
[0037]C
r
＝Upsample(C
r
/max(C
r
))
[0038]其中，C
r
为重新排列后的可解释性矩阵，Upsample为上采样至原图大小的操作，max为求最大值的操作。
[0039]由于上述技术方案运用，本专利技术与现有技术相比具有下列优点：
[0040]1、受泰勒展开公式启发，将结构复杂的Transformer模型转本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于一阶泰勒分解的图像分类模型可解释性方法，其特征在于：包括：S1：缩减图片像素值，通过图像Transformer模型将图像分块为N*N个token，并对图像进行预测，输出全部类别的置信度，S2：选择需要解释的类别，对其置信度进行反向传播，S3：计算加权的注意力响应，获取最后一个Transformer层中注意力矩阵的数值及其对应的梯度值，将两者相乘，S4：将S3中获得的乘积取正值，获得可解释性矩阵，S5：取可解释性矩阵中的第一行，从第二个元素开始到最后一个元素，重新排列成输入图像的尺寸N*N，S6：将图像归一化后获得可解释性的热力图。2.根据权利要求1所述的基于一阶泰勒分解的图像分类模型可解释性方法，其特征在于：在S1中，输入图像的数值压缩，使一阶泰勒分解后的近似模型与原模型的差异减小：p
c
＝F(X)p
’
c
＝F(αX)|p
c
‑
p
’
c
|<ε，其中，p
c
为压缩前的图像之于类别c的分类置信度，p
’
c
为压缩前的图像之于类别c的分类置信度，F为图像Transformer模型，X为输入图像，α为像素值压缩系数，p
’
c
与p
c
的差别控制在尽量小的范围内，即ε。3.根据权利要求1或2所述的基于一阶泰勒分解的图像分类模型可解释性方法，其特征在于：在S1中，像素值压缩系数为α＝0.1～0.5。4.根据权利要求1所述的基于一阶泰勒分解的图像分类模型可解释性方法，其特征在于：在S2中，对其置信度p
c
进行反向传播的计算式为：其中，p
c
为分类c的置信度，x为输入图像，A1，
…
，A
n

【专利技术属性】
技术研发人员：邓若愚，胡尚薇，
申请(专利权)人：同济人工智能研究院苏州有限公司，
类型：发明
国别省市：