基于卷积神经网络和序列匹配的在变化环境中让机器人进行视觉地点识别的实现方法技术

本发明专利技术公开了一种基于卷积神经网络和序列匹配的在变化环境中让机器人进行视觉地点识别的实现方法，通过在图片的卷积特征图上估计图片之间的非重叠区域的特征，然后移除该特征再计算图片之间的相似度距离，相对于现有的基于卷积神经网络的方法，本发明专利技术具有实时的性能且对机器人视角变化的抗干扰能力更强。相对于现有的基于序列匹配技术的方法，该发明专利技术中提出的匹配序列检测算子能更加充分的利用图片序列的信息，是机器人能在具有极端的环境变化下具有更高的地点识别准确率和召回率。

A method of vision location recognition for robot in changing environment based on convolution neural network and sequence matching

The invention discloses an implementation method of vision location recognition for robot in changing environment based on convolution neural network and sequence matching. The feature of non overlapping area between pictures is estimated on convolution feature map of pictures, then the feature is removed and the similarity distance between pictures is calculated. Compared with the existing convolution neural network based method, the invention It has real-time performance and stronger anti-interference ability to the change of robot angle of view. Compared with the existing methods based on the sequence matching technology, the matching sequence detection operator proposed in the invention can make full use of the information of the picture sequence, and the robot can have higher accuracy and recall rate of location recognition under extreme environmental changes.

【技术实现步骤摘要】
基于卷积神经网络和序列匹配的在变化环境中让机器人进行视觉地点识别的实现方法
本专利技术属于机器人和计算机视觉领域，具体涉及一种基于卷积神经网络和序列匹配的在变化环境中让机器人进行视觉地点识别的实现方法
技术介绍
机器人的视觉地点识别是机器人采集当前所在地点的图片，然后将图片与机器人的历史图片库中的图片进行比对，进而确认当前地点是否与历史图片库中的地点属于同一地点，即让机器人识别出机器人之前到达过的地点，一直是机器人视觉领域的难点问题。在变化的环境中进行视觉地点识别包含两个主要的挑战。一是光照、天气、季节等环境因素变化导致环境外貌的变化，这使得机器人在不同时间段采集的同一地点的图片的内容之间存在很大的外貌差异。二是机器人在同一地点采集图片的姿态不同，这使得采集的图片中的内容之间存在视角的差异。这两点都使得在同一地点采集的图片之间的相似度较低，不利于机器人进行地点识别。目前，基于SIFT、SUFT等关键点特征的词袋模型方法是机器人进行视觉地点识别的典型方法，然而，其缺点也是很明显的，这种方法的有效性是建立在机器人所处的环境的光照、天气等环境因素不变的基础上的，因此适用范围较窄，对环境变化本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络和序列匹配的在变化环境中让机器人进行视觉地点识别的实现方法，其特征在于，包括以下步骤：步骤一：对需要进行地点识别的位置拍摄多张图片，形成待查询图片序列，将序列中的单张图片输入卷积神经网络提取卷积特征，再将原有的在相应地点所拍摄图片形成的待对比图片序列中的每张图片输入同样的卷积神经网络提取卷积特征，然后截取卷积特征的中心区域，并将该区域与待对比图片序列中的每张图片的卷积特征进行对比，以寻找具有最大相似度的对应区域，然后将中心区域与对应区域对齐后得到图片之间非重叠区域的位置，移除非重叠区域的特征，使用剩下的重叠区域的特征计算图片之间的相似度距离；步骤二：计算出每张待查询图片...

【技术特征摘要】
1.一种基于卷积神经网络和序列匹配的在变化环境中让机器人进行视觉地点识别的实现方法，其特征在于，包括以下步骤：步骤一：对需要进行地点识别的位置拍摄多张图片，形成待查询图片序列，将序列中的单张图片输入卷积神经网络提取卷积特征，再将原有的在相应地点所拍摄图片形成的待对比图片序列中的每张图片输入同样的卷积神经网络提取卷积特征，然后截取卷积特征的中心区域，并将该区域与待对比图片序列中的每张图片的卷积特征进行对比，以寻找具有最大相似度的对应区域，然后将中心区域与对应区域对齐后得到图片之间非重叠区域的位置，移除非重叠区域的特征，使用剩下的重叠区域的特征计算图片之间的相似度距离；步骤二：计算出每张待查询图片和每张待对比图片间的相似度距离之后，以两个序列中的图片数量来建立具有相应维度的矩阵，并以各张图片的相似度距离来作为矩阵相应位置的元素值以构造图片序列的相似度距离矩阵，然后对相似度距离矩阵进行归一化处理；步骤三：设计匹配序列检测算子，使其在相似度距离矩阵上滑动卷积，计算各图片序列之间的匹配得分，当匹配得分满足阈值要求时，则判断对应的图片序列属于同一地点，否则判断属于不同地点。2.根据权利要求1所述的方法，其特征在于，步骤一中所述的提取卷积特征，是将图片输入至已经过预训练的卷积神经网络中，当所采用的卷积神经网络的第五层为池化层时，则提取该层作为图片特征，否则提取卷积层的最后一层作为图片特征。3.根据权利要求2所述的方法，其特征在于，所述的已经过预训练的卷积神经网络，是采用地点场景图片进行训练，其中地点场景图片以某一地点场景为拍摄内容，且包括在不同的时间和环境下同一地点的图片。4.根据权利要求1所述的方法，其特征在于，所述的步骤一中，估计待查询图片和图片库中图片之间非重叠区域位置的步骤为：a)记待查询图片为图片A，图片库中的图片为图片B，截取图片A卷积特征的中心区域Fc；b)将Fc在图片B的卷积特征上滑动并计算Fc与图片B的卷积特征各局部区域的相似度，寻找与Fc具有最大相似度的局部区域Rm；c)将图片A的卷积特征的中心区域Fc与图片B的卷积特征的局部区域Rm对齐，确定两个特征之间的非重叠区域；d)剔除非重叠区域的特征，使用重叠...

【专利技术属性】
技术研发人员：王勇，薛韬略，刘金鑫，常祥锋，李雯雯，
申请(专利权)人：中南大学，中国移动通信有限公司，
类型：发明
国别省市：湖南,43