基于室内建筑框架约束的视觉定位方法及系统技术方案

本发明专利技术提供基于室内建筑框架约束的视觉定位方法及系统，方法包括获取待处理图像，待处理图像包括第一相机图像和第二相机图像；对待处理图像进行建筑框架提取，以得到语义平面图；同时对待处理图像进行特征点和特征描述子提取，以得到特征点及其对应的特征描述子；构建特征点匹配模型，并将第一相机图像对应的语义平面图、每个特征点及其对应的特征描述子和第二相机图像对应的语义平面图、每个特征点及其对应的特征描述子作为数据集对特征点匹配模型进行训练；基于训练好的特征点匹配模型对待匹配的相机图像进行匹配，以得到待匹配的相机图像的对应点，以便根据待匹配的相机图像的对应点进行相机位姿估计；从而降低动态物体的干扰，提高定位效果。提高定位效果。提高定位效果。

【技术实现步骤摘要】
基于室内建筑框架约束的视觉定位方法及系统


[0001]本专利技术涉及定位
，特别涉及基于室内建筑框架约束的视觉定位方法及系统。

技术介绍

[0002]相关技术中，随着智能机器人的高速发展，智能服务业快速兴起，机器人可在服务领域代替人类完成特定任务，如无人快递小车、扫地机器人等；这些智能机器人需要感知周围环境，实现自主导航和定位功能，才能完成任务；目前，室内移动机器人在商场、安防等领域兴起，室内视觉定位也成为热门研究方向。
[0003]视觉定位也叫相机定位，是求解基于世界坐标系下的相机6DoF姿态的问题，依据任务的不同可划分为求解相对相机位姿和绝对相机位姿，本专利技术主要研究相对位姿估计方法，由于相机成本低廉，装载方便，视觉定位常常以相机作为视觉传感器；相对位姿估计的主流方法是提取两帧图像上比较明显的，可重复检测的特征点，通过特征匹配找到两帧图像之间的特征点的初始对应关系，并消除异常匹配，最后估计相机位姿；但是当前基于特征匹配的相对位姿方法都是假设环境中的物体是静止不动的，只有相机在运动；但实际场景中存在大量的运动物体，比如反复开关的门窗，常常移动的桌椅，走动的人，这些动态物体会给系统带来错误的观测数据，降低系统的鲁棒性；虽然RANSAC算法能够滤除部分异常匹配，但当动态物体占据大部分图像区域时，暴力去除这些物体可能会破坏特征匹配的数量和质量，尤其是当场景中其他静态区域无法提供足够的特征时，依然会严重影响定位的效果。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于室内建筑框架约束的视觉定位方法，能够利用建筑框架的不变性，引导网络聚焦于静态物体上的特征点，降低动态物体的干扰，从而提高定位效果。
[0005]本专利技术的第二个目的在于提出一种基于室内建筑框架约束的视觉定位系统。
[0006]为达到上述目的，本专利技术第一方面实施例提出了一种基于室内建筑框架约束的视觉定位方法，包括获取待处理图像，其中，所述待处理图像包括第一相机图像和第二相机图像；然后，对所述待处理图像进行建筑框架提取，以得到与所述待处理图像大小一致的语义平面图；同时对所述待处理图像进行特征点和特征描述子提取，以得到所述待处理图像中的每个特征点及其对应的特征描述子；构建特征点匹配模型，并将所述第一相机图像对应的语义平面图、每个特征点及其对应的特征描述子和所述第二相机图像对应的语义平面图、每个特征点及其对应的特征描述子作为数据集对所述特征点匹配模型进行训练；基于训练好的特征点匹配模型对待匹配的相机图像进行匹配，以得到所述待匹配的相机图像的对应点，以便根据所述待匹配的相机图像的对应点进行相机位姿估计。
[0007]根据本专利技术实施例的基于室内建筑框架约束的视觉定位方法，首先，获取待处理
图像，其中，待处理图像包括第一相机图像和第二相机图像；然后，对待处理图像进行建筑框架提取，以得到与待处理图像大小一致的语义平面图；同时对待处理图像进行特征点和特征描述子提取，以得到待处理图像中的每个特征点及其对应的特征描述子；接着，构建特征点匹配模型，并将第一相机图像对应的语义平面图、每个特征点及其对应的特征描述子和第二相机图像对应的语义平面图、每个特征点及其对应的特征描述子作为数据集对特征点匹配模型进行训练；最后，基于训练好的特征点匹配模型对待匹配的相机图像进行匹配，以得到待匹配的相机图像的对应点，以便根据待匹配的相机图像的对应点进行相机位姿估计；由此，能够利用建筑框架的不变性，引导网络聚焦于静态物体上的特征点，降低动态物体的干扰，从而提高定位效果。
[0008]另外，根据本专利技术上述实施例提出的一种基于室内建筑框架约束的视觉定位方法，还可以具有如下附加的技术特征：
[0009]优选地，对所述待处理图像进行建筑框架提取，以得到与所述待处理图像大小一致的语义平面图，包括：基于改进的ResNet101网络对所述待处理图像进行建筑框架提取，以便将所述待处理图像根据不同建筑内饰面分割为由多个小语义平面组成的语义平面图。
[0010]优选地，对所述待处理图像进行特征点和特征描述子提取，以得到所述待处理图像中的每个特征点及其对应的特征描述子，包括：采用训练好的SuperPoint模型中的特征点解码器进行特征点位置检测，并采用子像素卷积降低计算量，以便提取特征点；采用训练好的SuperPoint模型中的特征描述符解码器生成所述待处理图像中的每个特征点对应的特征描述子。
[0011]优选地，在对所述特征点匹配模型进行训练时，包括：采用位置编码将每个特征点的位置信息映射到高维向量中，以便将所述位置信息与其对应的特征描述子融合；通过注意力机制提升融合后的特征描述子的感受野，以便增强第一相机图像和第二相机图像的特征交流；构建特征描述子的相似度矩阵，以得到所述第一相机图像和所述第二相机图像的对应点集；根据所述对应点集得到所述第一相机图像和所述第二相机图像对应的所述语义平面图的置信度；根据每一对对应点的真实值构建第一损失函数，以及根据所述第一相机图像和所述第二相机图像的对应点集和所述语义平面图的置信度构建第二损失函数，以便根据所述第一损失函数和所述第二损失函数得到最终的损失函数。
[0012]优选地，在得到所述待匹配的相机图像的对应点后还经过RANSAC算法滤除异常匹配的数据。
[0013]优选地，根据所述待匹配的相机图像的对应点进行相机位姿估计，包括：对滤除异常匹配数据后的所述待匹配的相机图像的对应点，采用OPENCV库求解出本质矩阵，以便估计出所述待匹配的相机图像的旋转量和平移量。
[0014]为达到上述目的，本专利技术第二方面实施例提供一种基于室内建筑框架约束的视觉定位系统，包括：获取模块，用于获取待处理图像，其中，所述待处理图像包括第一相机图像和第二相机图像；第一提取模块，用于对所述待处理图像进行建筑框架提取，以得到与所述待处理图像大小一致的语义平面图；第二提取模块，用于对所述待处理图像进行特征点和特征描述子提取，以得到所述待处理图像中的每个特征点及其对应的特征描述子；训练模块，用于构建特征点匹配模型，并将所述第一相机图像对应的语义平面图、每个特征点及其对应的特征描述子和所述第二相机图像对应的语义平面图、每个特征点及其对应的特征描
述子作为数据集对所述特征点匹配模型进行训练；估计定位模块，用于基于训练好的特征点匹配模型对待匹配的相机图像进行匹配，以得到所述待匹配的相机图像的对应点，以便根据所述待匹配的相机图像的对应点进行相机位姿估计。
[0015]根据本专利技术实施例提供的基于室内建筑框架约束的视觉定位系统，能够利用建筑框架的不变性，引导网络聚焦于静态物体上的特征点，降低动态物体的干扰，从而提高定位效果。
[0016]另外，根据本专利技术上述实施例提出的基于室内建筑框架约束的视觉定位系统，还可以具有如下附加的技术特征：
[0017]优选地，所述第一提取模块还用于，基于改进的ResNet101网络对所述待处理图像进行建筑框架提取，以便将所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于室内建筑框架约束的视觉定位方法，其特征在于，包括以下步骤：获取待处理图像，其中，所述待处理图像包括第一相机图像和第二相机图像；对所述待处理图像进行建筑框架提取，以得到与所述待处理图像大小一致的语义平面图；对所述待处理图像进行特征点和特征描述子提取，以得到所述待处理图像中的每个特征点及其对应的特征描述子；构建特征点匹配模型，并将所述第一相机图像对应的语义平面图、每个特征点及其对应的特征描述子和所述第二相机图像对应的语义平面图、每个特征点及其对应的特征描述子作为数据集对所述特征点匹配模型进行训练；基于训练好的特征点匹配模型对待匹配的相机图像进行匹配，以得到所述待匹配的相机图像的对应点，以便根据所述待匹配的相机图像的对应点进行相机位姿估计。2.如权利要求1所述的基于室内建筑框架约束的视觉定位方法，其特征在于，对所述待处理图像进行建筑框架提取，以得到与所述待处理图像大小一致的语义平面图，包括：基于改进的ResNet101网络对所述待处理图像进行建筑框架提取，以便将所述待处理图像根据不同建筑内饰面分割为由多个小语义平面组成的语义平面图。3.如权利要求1所述的基于室内建筑框架约束的视觉定位方法，其特征在于，对所述待处理图像进行特征点和特征描述子提取，以得到所述待处理图像中的每个特征点及其对应的特征描述子，包括：采用训练好的SuperPoint模型中的特征点解码器进行特征点位置检测，并采用子像素卷积降低计算量，以便提取特征点；采用训练好的SuperPoint模型中的特征描述符解码器生成所述待处理图像中的每个特征点对应的特征描述子。4.如权利要求1所述的基于室内建筑框架约束的视觉定位方法，其特征在于，在对所述特征点匹配模型进行训练时，包括：采用位置编码将每个特征点的位置信息映射到高维向量中，以便将所述位置信息与其对应的特征描述子融合；通过注意力机制提升融合后的特征描述子的感受野，以便增强第一相机图像和第二相机图像的特征交流；构建特征描述子的相似度矩阵，以得到所述第一相机图像和所述第二相机图像的对应点集；根据所述对应点集得到所述第一相机图像和所述第二相机图像对应的所述语义平面图的置信度；根据每一对对应点的真实值构建第一损失函数，以及根据所述第一相机图像和所述第二相机图像的对应点集和所述语义平面图的置信度构建第二损失函数，以便根据所述第一损失函数和所述第二损失函数得到最终的损失函数。5.如权利要求1所述的基于室内建筑框架约束的视觉定位方法，其特征在于，在得到所述待匹配的相机图像的对应点后还经过RANSAC算法滤除异常匹配的数据。6.如权利要求5所述的基于...

【专利技术属性】
技术研发人员：王程，胡倩，刘伟权，
申请(专利权)人：厦门大学，
类型：发明
国别省市：