【技术实现步骤摘要】
本专利技术涉及机器学习的智能机器人环境感知领域，尤其涉及一种基于多专家注意力融合的机器人视觉感知方法及装置。
技术介绍
1、近年来，智能机器人在航空航天、军事侦察、物流运输、工程制造、船舶航运等领域取得了广泛应用，在促进经济发展和保障国防安全中起到重要作用。
2、环境感知系统是智能机器人的重要组成部分，在复杂的三维工业场景中利用视觉传感器获取环境的空间信息，实现对周围环境真实的刻画。智能机器人通过环境感知系统具备了实时观察场景的能力，可以极大地增强其智能化程度。环境感知利用机器学习实现场景目标物体感知，并模拟人眼视觉系统的观测原理获取目标信息。当前已有的机器人环境感知系统针对的是静态封闭环境，即训练机器人环境感知系统的样本和测试机器人的样本中的类别和分布一致。
3、然而，在现实场景中，测试样本可能和训练样本中的类别和分布不一致，这限制了机器人视觉感知技术在现实场景中的应用。对于尝试识别现实场景中未知类别的视觉感知技术，也存在对与已知类别相似的未知类别识别不准等问题。
技术实现思路
1、为了解决上述技术问题，本专利技术提供了一种基于多专家注意力融合的机器人视觉感知方法及装置，设计了一种基于多专家注意力融合方法，约束模型能同时学习到图像中对目标类别有贡献的不同区域，并将这些区域加权获得融合后的表征，使得模型在一个小规模网络结构下能够准确学习判断图像所属类别的关键表征，提高了模型识别已知类的准确率和模型区分现实场景中未知类的能力，进一步提高了智能机器人对现实场景中
2、第一方面、一种基于多专家注意力融合的机器人视觉感知方法，所述方法包括：
3、专家模块从浅层网络中确定专家分数，基于卷积层从所述专家模块中确定特征图；基于注意力多样性约束模块从所述特征图中得到所述多样性专家注意力正则化损失；
4、基于全局平均池化层从所述特征图中确定综合表征，根据综合表征确定预测条件概率；样本通过门控网络模块得到专家分数权重，所述专家分数权重和所述专家分数通过加权融合模块得到最终分数；
5、对所述特征图进行范数标准化计算得平均特征图，根据所述最终分数的最大值和加权后的平均特征图计算特征分数；
6、根据预测条件概率从特征分数中确定已知样本阈值，根据未知样本检测模块和所述已知样本阈值判断样本属于已知样本或未知样本；机器人根据识别出的样本确定当前的环境信息。
7、其中，所述特征图的计算方式为：
8、通过将全局平均池化线性层替换为1×1卷积-全局平均池化层，得到特征图，综合表征的计算方式为：
9、
10、其中，m代表特征图，(h,w)代表样本中的每个像素，λd和λs是用于正则的参数，md代表类激活映射分数较高的区域；ms代表类激活映射分数较低的区域，δ代表和样本中类别独立的不重要的区域。
11、其中，所述类激活映射分数的计算方式为：
12、
13、其中，relu代表修正线性单元，y是标签，μ是所述类激活映射分数的平均值，i代表所述专家模块，m代表特征图。
14、其中，所述多样性专家注意力正则化损失的计算方式为：
15、
16、其中，n代表专家模块数量，||·||2代表l2范数标准化，m′yj代表专家模块j对标签y的类激活映射分数。
17、其中，所述最终分数为：
18、
19、其中，wi代表专家分数权重，li代表专家分数。
20、进一步地，所述预测条件概率的计算方式为：
21、
22、
23、其中，已知样本阈值τ代表使得95％的样本被认定为已知样本，k代表样本中类别数量，k代表已知类别k，u代表未知类别，zu代表样本的综合表征，代表当前目标类别对应的标签，代表已知类别k的标签。
24、进一步地，所述平均特征图的计算方式为：
25、
26、其中，n代表所述专家模块数量，||·||2代表l2范数标准化，mi代表第i个专家模块得到的特征图；
27、所述特征分数的计算方式为：
28、s(x)＝slg(x)+γ*sft(x)
29、其中，slg(x)代表所述最终分数的最大值，γ代表所述平均特征图的权重因子；
30、所述未知样本的计算方式为：
31、
32、其中，k代表样本属于所述已知样本。u代表所述样本属于所述未知样本，τ代表所述已知样本阈值。
33、第二方面、一种基于多专家注意力融合的机器人视觉感知装置，所述装置包括：处理器、存储器、视觉感知传感器，
34、所述视觉感知传感器将样本传输至所述存储器，所述存储器中存储有程序指令，所述处理器调用所述存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
35、第三方面、一种计算机可读存储介质，其上存储有计算机指令，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被所述处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
36、与现有技术相比，本专利技术具有以下优点：
37、1、本专利技术提出了一种基于多专家注意力融合的视觉感知方法，多个专家模块通过注意力多样性约束模块以确保特征图不同，将不同的特征图融合成为综合表征，综合表征可以准确学习判断图像所属类别，提高了机器人识别已知类的准确率；门控网络将每个专家模块学习到的专家分数进行融合，并通过特征分数识别未知变量，提高了机器人视觉感知方法区分现实世界中未知类别物体的能力；改善了现有技术对于与已知类别相似的未知类别识别不准的问题；
38、2、本专利技术提出的视觉感知技术所用的网络结构与已有技术的网络结构相比更简单，计算开销更小，应用到机器人上后实用性更强；
39、3、本专利技术提出的视觉感知技术比现有技术在区分环境中未知类别物体的能力最高提高了9.5％。
本文档来自技高网...【技术保护点】
1.一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述特征图的计算方式为：
3.根据权利要求2所述的一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述类激活映射分数的计算方式为：
4.根据权利要求1所述的一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述多样性专家注意力正则化损失的计算方式为：
5.根据权利要求1所述的一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述最终分数为：
6.根据权利要求1所述的一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述预测条件概率的计算方式为：
7.根据权利要求1所述的一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述平均特征图的计算方式为：
8.一种基于多专家注意力融合的机器人视觉感知装置，其特征在于，所述装置包括：处理器、存储器、视觉感知传感器，
9.一种计算机可读存储介质，其特
...【技术特征摘要】
1.一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述特征图的计算方式为：
3.根据权利要求2所述的一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述类激活映射分数的计算方式为：
4.根据权利要求1所述的一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述多样性专家注意力正则化损失的计算方式为：
5.根据权利要求1所述的一种基于多专家注意力融合的机器人视觉感知方法，其特征在于，所述最终分数为...
【专利技术属性】
技术研发人员：林志斌，王煜，胡清华，杨明，马熙然，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。