一种辅助无人系统视觉决策的解释序列产生方法技术方案

本发明专利技术提供一种辅助无人系统视觉决策的解释序列产生方法，为无人系统的监督任务提供层次化的决策依据，赋予系统决策透明性，方便开发者持续优化模型，其特征在于，包括以下步骤：步骤S1，将图像数据输入至预训练好的卷积神经网络模型获取最后一层的特征图张量以及每一层梯度信息；步骤S2，基于特征图张量和每一层梯度信息，采用人工智能可解释方法，获取决策显著图集合；步骤S3，基于决策显著图集合获取激活的输入数据图像集合；步骤S4，将激活的输入数据图像集合输入至预训练好的卷积神经网络模型，采用全局工作空间映射获取各显著图组对应的权重系数；步骤S5，基于各显著图组对应的权重系数合成显著图，并基于权重系数的预定顺序得到决策序列。预定顺序得到决策序列。预定顺序得到决策序列。

【技术实现步骤摘要】
一种辅助无人系统视觉决策的解释序列产生方法


[0001]本专利技术属于计算机应用领域，特别涉及一种辅助无人系统视觉决策的解释序列产生方法。

技术介绍

[0002]在无人系统中，视觉决策任务十分常见，例如自动驾驶场景的红绿灯识别、送餐机器人场景的障碍物识别等。目前表现良好的视觉监督任务模型能自动识别物体信息，但缺无法告知使用者，模型做决策的依据是什么，这为无人系统开发者的模型迭代造成困难。因此，模型决策的可解释方法来源于现实需求，能够为模型使用者提供可解释依据，在模型决策失误的时候能够找到决策证据。
[0003]理解和解释以深度神经网络为基础的模型做出的决策对开发者是至关重要的。使模型具有可解释性的方法能有助于构建用户对深度神经网络模型的信任。在计算机视觉领域，目前流行的解释方法生成直观的显著图，突出显示与神经网络决策最相关的区域。目前显著图生成的方法有很多种，例如基于区域的显著图方法XRAI，基于梯度的显著图方法Grad
‑
Cam,以及提供数据不确定性的显著图方法Aleatoric Uncertainty等。解释图生成种类繁多，不利于模型开发者挑选合适的显著图生成方法。
[0004]为统一上述模型解释办法，本专利技术借鉴认知科学中关于人做解释时的大脑认知活动。全局工作空间理论(global workspace theory)，是美国心理学家伯纳德巴尔斯提出的关于人类决策时的意识模型。该理论假设意识与一个全局的“广播系统”相关联，这个系统在整个大脑中广播信息。大脑中专属的视觉处理模块惯常的方式自动处理信息，这个时候不会主动反思决策依据。当人主动针对决策信息进行反思时，各种视觉模块处理器会通过竞争的方式，在全局工作空间中对决策信息进行分析以获得解释结果。

技术实现思路

[0005]为解决上述问题，提供一种辅助无人系统视觉决策的解释序列产生方法，本专利技术采用了如下技术方案：
[0006]本专利技术提供了一种辅助无人系统视觉决策的解释序列产生方法，其特征在于，包括以下步骤：步骤S1，将图像数据输入至预训练好的卷积神经网络模型获取最后一层的特征图张量以及每一层梯度信息；步骤S2，基于特征图张量和每一层梯度信息，采用人工智能可解释方法，获取决策显著图集合；步骤S3，基于决策显著图集合获取激活的输入数据图像集合；步骤S4，将激活的输入数据图像集合输入至预训练好的卷积神经网络模型，采用全局工作空间映射获取各显著图组对应的权重系数；步骤S5，基于各显著图组对应的权重系数合成显著图，并基于权重系数的预定顺序得到决策序列。
[0007]本专利技术提供的一种辅助无人系统视觉决策的解释序列产生方法，还可以具有这样的技术特征，其中，最后一层的特征图张量以及每一层梯度信息的获取过程为：将图像数据I输入至预训练好的卷积神经网络模型进行前向传播，根据损失函数得到最后一层的
特征图张量：F
C*H*W
，式中，C为通道，H为图片宽度，W为图片长度，以及每一层梯度信息：式中，l对应卷积神经网路的层。
[0008]本专利技术提供的一种辅助无人系统视觉决策的解释序列产生方法，还可以具有这样的技术特征，其中，在步骤S2中，决策显著图集合为：
[0009]S＝{s
纹理
，s
形状
，s
置信度
}
[0010]式中，s的图像大小与图像数据I一致。
[0011]本专利技术提供的一种辅助无人系统视觉决策的解释序列产生方法，还可以具有这样的技术特征，其中，在步骤S3中，激活的输入数据图像集合为：
[0012][0013]式中，Λ为扰动矩阵。
[0014]本专利技术提供的一种辅助无人系统视觉决策的解释序列产生方法，还可以具有这样的技术特征，其中，全局工作空间映射采用最大经验风险算法作为学习方法，最大经验风险算法为：
[0015][0016]式中，θ为模型参数，为非线性期望，x代表输入数据，y代表监督信息，g
θ
为参数化的模型，p(x,y)代表数据分布，N代表生成可解释图的方法数量，s
j
代表用于训练第j个生成可解释图方法的样本数量，x
jk
为第j个生成可解释图方法中的第k个数据样本，y
jk
为x
jk
的数据标签，为损失函数。
[0017]本专利技术提供的一种辅助无人系统视觉决策的解释序列产生方法，还可以具有这样的技术特征，其中，步骤S4包括以下子步骤：步骤S4
‑
1，将激活的输入数据图像集合I
′
输入至卷积神经网络模型基于模型参数θ对损失函数求梯度，并组合为矩阵G：
[0018][0019]式中，表示为基于纹理的模型参数θ
纹理
对损失函数求梯度，s
纹理
、s
形状
、s
模型置信度
分别对应已有可解释性方法生成的显著图，T表示为转置符号；步骤S4
‑
2，为获得统一语义的解释表示权重系数λ，将最大经验风险算法通过二次逼近后转换为求解以下最优化问题，并通过传统的二次规划求解器求出权重系数λ：
[0020][0021][0022]本专利技术提供的一种辅助无人系统视觉决策的解释序列产生方法，还可以具有这样的技术特征，其中，在步骤S7中，显著图为：
[0023][0024]决策序列基于对权重系数λ中的元素从高到低进行排序得到：
[0025]Seq
out
＝rank(λ)。
[0026]本专利技术还提供一种辅助无人系统视觉决策的解释序列产生系统，其特征在于，包括：媒体数据获取模块、计算模块以及结果显示模块，媒体数据获取模块用于获取图像数据，计算模块用于对图像数据进行处理分析并获取对应的决策序列以及合成显著图，结果显示模块用于显示图像数据以及计算模块输出的决策序列与合成显著图。
[0027]本专利技术提供的辅助无人系统视觉决策的解释序列产生系统，还可以具有这样的技术特征，其中，计算模块具有嵌入编码单元，嵌入编码单元具有编码子单元、可解释子单元、全局工作空间子单元以及融合子单元，编码子单元用于对输入的图像数据进行分析获得结果编码，可解释子单元基于可解释的人工智能算法获取与结果编码对应的后解释数据，全局工作空间子单元基于最大经验风险算法，将后解释数据进行竞争，获得统一语义的解释表示权重系数，融合子单元，用于将权重系数以及对应的后解释数据进行融合，获得合成显著图与决策序列。
[0028]专利技术作用与效果
[0029]根据本专利技术的辅助无人系统视觉决策的解释序列产生方法，基于输入的图像数据的特诊图张量以及每一层梯度信息获取决策显著图集合，对激活后的决策显著图集合采用全局工作空间的可解释方法获取到显著图组的权重系数，最终基于该权重系数中元素从高到底进行排序得到决策序列。
[0030]本专利技术的辅助无人系统视觉决策的解释序列产生方法采用符合全局工作空间机制的映射，使模型使用者在需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种辅助无人系统视觉决策的解释序列产生方法，其特征在于，包括以下步骤：步骤S1，将图像数据输入至预训练好的卷积神经网络模型获取最后一层的特征图张量以及每一层梯度信息；步骤S2，基于所述特征图张量和所述每一层梯度信息，采用人工智能可解释方法，获取决策显著图集合；步骤S3，基于所述决策显著图集合获取激活的输入数据图像集合；步骤S4，将所述激活的输入数据图像集合输入至所述预训练好的卷积神经网络模型，采用全局工作空间映射获取各显著图组对应的权重系数；步骤S5，基于所述各显著图组对应的权重系数合成显著图，并基于所述权重系数的预定顺序得到决策序列。2.根据权利要求1所述的一种辅助无人系统视觉决策的解释序列产生方法，其特征在于：其中，所述最后一层的特征图张量以及所述每一层梯度信息的获取过程为：将图像数据I输入至所述预训练好的卷积神经网络模型进行前向传播，根据损失函数得到所述最后一层的特征图张量：F
C*H*W
式中，C为通道，H为图片宽度，W为图片长度，以及每一层梯度信息：式中，l对应卷积神经网路的层。3.根据权利要求2所述的一种辅助无人系统视觉决策的解释序列产生方法，其特征在于：其中，在所述步骤S2中，所述决策显著图集合为：S＝{s
纹理
，s
形状
，s
置信度
}式中，s的图像大小与所述图像数据I一致。4.根据权利要求3所述的一种辅助无人系统视觉决策的解释序列产生方法，其特征在于：其中，在所述步骤S3中，所述激活的输入数据图像集合为：式中，Λ为扰动矩阵。5.根据权利要求4所述的一种辅助无人系统视觉决策的解释序列产生方法，其特征在于：其中，所述全局工作空间映射采用最大经验风险算法作为学习方法，所述最大经验风险算法为：式中，θ为模型参数，为非线性期望，x代表输入数据，y代表监督信息，g
θ
为参数化的模型，p(x,y)代表数据分布，N代表生成可解释图的方法数量，s
j
代表用于训练第j个生成可解
释图方法的样本数量，x
jk
为第j个生成可解释图方法中的第k个数据样本，y
jk
为x
jk

【专利技术属性】
技术研发人员：沈旭立，薛向阳，戈维峰，李斌，
申请(专利权)人：复旦大学，
类型：发明
国别省市：