基于视觉-语义信息的图像概念可解释方法技术

本发明专利技术公开了一种基于视觉‑语义信息的图像概念可解释方法。方法包括：采用识别一切模型对原始图像数据进行处理后对多个文本标签进行聚类，聚类后通过完整性分析公式筛选出所需的多个文本标签；选取测试图像和文本标签输入到识别一切模型中，得到分割区域图作为局部概念位置图；根据全局消融处理公式得到每个图像‑文本标签对的全局消融置信度；根据局部消融处理公式得到每个局部概念位置图的局部消融置信度作为用于识别测试图像的具有解释信息的输出信息。本发明专利技术能够自动从训练数据中提取视觉和语义概念，准确定位和解释模型识别的每个概念在输入数据中的具体位置；提供了对每个单独概念的深入理解，还揭示了它们如何相互作用以影响最终决策。

【技术实现步骤摘要】

本专利技术涉及了人工智能，尤其是涉及了一种基于视觉-语义信息的图像概念可解释方法。

技术介绍

1、在过去的十年中，深度学习经历了一次显著的转变，展示出其在各个领域的适用性和实用性。然而，深度学习模型的“黑盒”特性限制了它们在如医学诊断和自动驾驶等高风险领域的广泛应用。为了解决这一挑战，可解释人工智能(explainable artificialintelligence,xai)已经成为一种有吸引力的解决方案，通过以更符合人类理解的方式来解释模型的决策。

2、早期的基于特征归因的可解释方法(基于梯度的可解释、基于类激活热力图的可解释)主要依赖于解释和可视化输入特征的局部重要性，这些方法生成像saliency或类激活图(cam)等归因图，以识别输入图像中的局部显著区域。然而，基于归因的方法也存在一些缺陷，例如，这些方法无法指出“重要”区域内的细节，并且有时缺乏一定的可信度，因为它们可能会产生类似边缘检测结果的不可区分解释。

3、概念可解释方法相较于特征归因的可解释方法而言，通过生成人类可理解的“概念”来向用户传达深度学习模型的功能。与归本文档来自技高网...

【技术保护点】

1.一种基于视觉-语义信息的图像概念可解释方法，其特征在于：方法包括以下步骤：

2.根据权利要求1所述的一种基于视觉-语义信息的图像概念可解释方法，其特征在于：所述步骤1)中，对多个文本标签进行聚类，聚类后通过完整性分析公式筛选出所需的多个文本标签具体为：

3.根据权利要求1所述的一种基于视觉-语义信息的图像概念可解释方法，其特征在于：

4.根据权利要求1所述的一种基于视觉-语义信息的图像概念可解释方法，其特征在于：所述步骤3)中，全局消融处理公式设置如下：

【技术特征摘要】

1.一种基于视觉-语义信息的图像概念可解释方法，其特征在于：方法包括以下步骤：

2.根据权利要求1所述的一种基于视觉-语义信息的图像概念可解释方法，其特征在于：所述步骤1)中，对多个文本标签进行聚类，聚类后通过完整性分析公式筛选出所需的多...

【专利技术属性】
技术研发人员：朱路浩，孔祥维，李润森，
申请(专利权)人：浙江大学，
类型：发明
国别省市：