一种可解释性分析方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种可解释性分析方法、装置、电子设备及存储介质，可解释性分析方法包括：获取样本图像以及样本图像对应的样本描述文本；样本图像包括多个图像块；样本描述文本包括多个子文本；各图像块和各子文本分别在各通道维度上均具有对应的中间特征信息；样本图像和样本描述文本具有对应的图文相似度；基于图文相似度以及各局部信息在各通道维度上的中间特征信息，生成各局部信息的关注程度量化值；基于各局部信息的关注程度量化值生成整体信息的可视化信息；其中，当样本图像作为整体信息时，图像块作为局部信息；当样本描述文本作为整体信息时，子文本作为局部信息。本申请可以对多模态模型中图像和文本的推理匹配结果的关注区域进行显示。

【技术实现步骤摘要】

本申请涉及数据处理，特别是涉及一种可解释性分析方法、装置、电子设备及计算机可读存储介质。

技术介绍

1、目前，可以将视觉模型通过桥接层接入语言模型，从而得到能够处理图像模态数据和文本模态数据的多模态模型。其中，桥接层用于对齐图像模态数据对应的特征和文本模态数据对应的特征。

2、近年来，越来越多的学者对多模态模型的决策依据进行了研究，从计算机视觉中分析图像和文本在匹配过程中的关注区域。但是现有的计算机视角的可解释性方法多是针对传统深度卷积分类模型设计的，不适合应用在多模态模型上。

技术实现思路

1、本申请至少提供一种可解释性分析方法、装置、电子设备及计算机可读存储介质。

2、本申请第一方面提供了一种可解释性分析方法，包括：

3、获取样本图像以及样本图像对应的样本描述文本；样本图像包括多个图像块；样本描述文本包括多个子文本；各图像块和各子文本分别在各通道维度上均具有对应的中间特征信息；

4、基于样本图像和样本描述文本，确定样本图像与样本描述文本之间对应的图文相似度；本文档来自技高网...

【技术保护点】

1.一种可解释性分析方法，其特征在于，包括：

2.根据权利要求1所述的可解释性分析方法，其特征在于，

3.根据权利要求2所述的可解释性分析方法，其特征在于，

4.根据权利要求2所述的可解释性分析方法，其特征在于，

5.根据权利要求4所述的可解释性分析方法，其特征在于，

6.根据权利要求4所述的可解释性分析方法，其特征在于，

7.根据权利要求4～6中任一项所述的可解释性分析方法，其特征在于，

8.根据权利要求1～6中任一项所述的可解释性分析方法，其特征在于，

9.根据权利要求1～8中任一项所述的...

【技术特征摘要】

1.一种可解释性分析方法，其特征在于，包括：

2.根据权利要求1所述的可解释性分析方法，其特征在于，

3.根据权利要求2所述的可解释性分析方法，其特征在于，

4.根据权利要求2所述的可解释性分析方法，其特征在于，

5.根据权利要求4所述的可解释性分析方法，其特征在于，

6.根据权利要求4所述的可解释性分析方法，其特征在于，

7.根据权利要求4～6中任一项所述的可解释性分析方法，其特征在于，

8.根据权利要求1～6中任一项所述的...

【专利技术属性】
技术研发人员：赵晨阳，王坤，曾星宇，赵瑞，
申请(专利权)人：商汤人工智能研究中心深圳有限公司，
类型：发明
国别省市：