一种由注意力融合三特征的机器人场景识别与解析方法技术

一种由注意力融合三特征的机器人场景识别与解析方法，提出利用物品识别算法中物品特征图进一步精确解析场景中物品信息的方法；提出一种获取物品单体描述信度的方法，并且设计了由物品单体描述信度组成的物品向量；改造了卷积神经网络CNN的全连接层网络，并定义了某个全连接层网络的输出为全局特征；求出卷积神经网络CNN卷积层的输出的格拉姆矩阵，并提出全连接层网络的结构，在输入为格拉姆矩阵时输出为风格特征；利用注意力机制将三种特征进行融合，并将融合注意力向量送进用于分类的全连接层网络，输出即为最终的场景标签。本发明专利技术支持整体训练优化，可以解析该场景的物品标签与场景标签，在室内场景解析与场景分类中有较好的结果。的结果。的结果。

【技术实现步骤摘要】
一种由注意力融合三特征的机器人场景识别与解析方法


[0001]本专利技术属于维室内场景识别方法，具体涉及一种由注意力融合三特征的机器人场景识别与解析方法。

技术介绍

[0002]在二维图片场景识别主流方法中，常常使用多种场景特征去进行场景识别，例如基于颜色特征的场景识别结合基于物品对象的场景识别等等，然而这些方法通常没有引入注意力机制而是直接将这些特征进行融合分类，结果往往会顾此失彼，最后得到的场景分类准确率往往不如原来的准确率。除此之外，对于儿童房与卧室这些风格特征相似的场景用颜色特征与物品特征也无法进行有效的判别。

技术实现思路

[0003]本专利技术提出了一种由注意力融合三特征的机器人场景识别与解析方法。该方法融合了三种特征，有效的避免了卷积神经网络提取信息量较为单一的问题，同时借助了卷积神经网络在视觉任务方面的优异性能，相较于利用单一特征与直接对各种特征进行拼接然后进行分类的方法，该方法能有效地对具有相似特征的场景进行分类，在室内场景识别任务中具有较好效果。
[0004]一种由注意力融合三特征的机器人场景识别与解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由注意力融合三特征的机器人场景识别与解析方法，其特征在于：包括如下步骤：步骤1，检测图片以进行物品识别，对已检测出的物品提取特征图，将其送入全连接层网络一，全连接层网络一输出向量中最大值对应的索引为该场景中物品的标签；步骤2，检测图片以进行物品识别，对已检测出的物品提取特定卷积层上的特征图，构造物品单体描述信度，基于由物品单体描述信度构成的物品向量来描述图像涉及的物品整体特征；步骤3，对卷积神经网络VGG的全连接层网络进行改造，并记为全连接层网络二，向网络中输入图片，将全连接层网络二的倒数第二层的输出作为全局特征；步骤4，对于卷积神经网络VGG卷积层的最后一层的输出形式整理并求其格拉姆矩阵，设计全连接层网络三，将格拉姆矩阵作为输入，输出相应的风格特征；步骤5，通过全连接层网络四结合注意力机制，将物品特征、全局特征与风格特征进行融合，得到该场景的融合注意力向量；步骤6，通过全连接网络五，将步骤(5)得的融合注意力向量输入，输出的向量中最大值对应的索引为预测场景的对应标签；步骤7，整理步骤1和步骤6的输出，最终得到该场景的物品标签与该场景的标签。2.根据权利要求1所述的一种由注意力融合三特征的机器人场景识别与解析方法，其特征在于：步骤1中，对于采用的物品识别算法，找到其捕捉物品特征的卷积层，对已检测出的物品提取该卷积层上的特征图，对其进行flatten操作并送入全连接层网络一，全连接层网络输出向量最大值的索引为物品标签。3.根据权利要求1所述的一种由注意力融合三特征的机器人场景识别与解析方法，其特征在于：步骤2中，包括如下分步骤：步骤2.1，用特征图卷积法得到物品单体描述信度；对于物品识别算法，找到其捕捉物品特征的卷积层，对已检测出的物品提取该卷积层上的特征图，将卷积层上该位置物品的特征图用与特征图相同深度的卷积核进行卷积，并将所有的卷积结果求和，将所得值作为物品单体描述信度；步骤2.2，利用物品单体描述信度构造的物品向量结构如下所示：其中表示物品类的第j个物品单体描述信度，元素所处的位置隐含了物品类别的信息，对于第k类物品设检测器实际输出物品数量为，首先依照物品识别算法给出的置信度从大到小的顺序将对应的物品单体描述信度放置在该物品向量类所属的位置，若为0，则将中各个元素全部设为0;若大于，则取N中前个数据，若小于，则将不足的部分补0；将到进行拼接，得到物品向量。4.根据权利要求1所述的一种由注意力融合三特征的机器人场景识别与解析方法，其特征在于：步骤3中，令卷积神经网络CNN的最后一层全连接层网络神经元数量等于要识...

【专利技术属性】
技术研发人员：朱博，谢俊哲，范希明，高翔，徐国政，程泽恒，姚子雄，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：