一种基于惯性和视觉特征的定位装置、方法及机器人制造方法及图纸

本发明专利技术公开一种基于惯性数据和视觉特征的定位装置、定位方法及机器人，该定位装置是一种可移动的视觉定位装置，包括：图像采集模块，其摄像头朝向保持向后并放置在所述定位装置的预设位置中，用于避免前进过程中被障碍物碰撞；图像处理模块，包括图像预处理子模块和特征匹配子模块，用于处理采集的图像数据；惯性数据采集处理模块，用于实时感应惯性传感器的旋转角度信息，加速度信息及平移速度信息；融合定位模块，用于对各传感器模块所获取的环境信息进行融合以实现定位。相对于现有技术，有效避免机器前进时摄像头被障碍物挡住，使用特征匹配的图像数据融合惯性数据并结合相对位置关系更新地标，使得特征匹配结果更准确，增强定位算法的鲁棒性。

Positioning device, method and robot based on inertial and visual features

The present invention discloses a positioning device, a positioning method and a robot based on inertial data and visual characteristics. The positioning device is a movable visual positioning device, including an image acquisition module, a camera facing back and placed in a preset position of the positioning device to avoid being moved forward. Obstacle collision; image processing module, including image preprocessing module and feature matching module, for processing the collected image data; inertial data acquisition and processing module, for real-time induction of inertial sensor rotation angle information, acceleration information and translation speed information; fusion positioning module, for each transmission The environment information obtained from the sensor module is fused to achieve localization. Compared with the existing technology, the camera is effectively prevented from being blocked by obstacles when the machine is moving forward. The image data of feature matching is used to fuse the inertial data and update the landmark with the relative position relation, which makes the result of feature matching more accurate and enhances the robustness of localization algorithm.

【技术实现步骤摘要】
一种基于惯性和视觉特征的定位装置、方法及机器人
本专利技术涉及定位方法和装置，具体涉及一种基于惯性数据和视觉特征的定位装置、定位方法及机器人。
技术介绍
机器人实现智能化，一个基础技术是能够自己定位和行走，室内导航技术是其中的关键技术。目前室内导航技术有惯性传感器导航、激光导航、视觉导航、无线电导航等等，各个技术都有自己的优缺点。惯性传感器导航是应用陀螺仪、里程计等进行导航定位，价格低廉，但是存在长时间漂移的问题；激光导航精度高，但是价格比较高，寿命也是一个问题；传统意义上的视觉导航，计算复杂，对于处理器性能要求比较高，功耗和价格会比较高；无线电需要多个固定的无线电发射源，应用不方便，价格也还比较高。多技术的融合，实现低成本和高精度是机器人导航技术的一个发展方向。现有视觉扫地机产品中，摄像头放置在机器的前面，一般情况下都需要略微突起，才能够获得比较好的视角，然而，这样容易导致摄像头镜片被一些难以检测到的物体碰到，容易刮花镜片；并且机器的前面一般放置的传感器比较多，例如很多机器有碰撞条和圆柱形的360度红外接收装置，这些容易挡住摄像头，导致摄像头的角度需要加大。
技术实现思路
一种基于惯性数据和视觉特征的定位装置，该定位装置是一种可移动的视觉定位装置，包括图像采集模块、图像处理模块、惯性数据采集模块和融合定位模块；图像采集模块的摄像头朝向保持向后并放置在所述定位装置的预设位置中，用于避免在所述定位装置前进过程中被障碍物碰撞，其中所述摄像头的数目至少为一个；图像处理模块，包括图像预处理子模块和特征匹配子模块，用于处理图像采集模块中采集的图像数据；其中，图像预处理子模块用于将所述摄像头采集的数据转换为灰度图像，特征匹配子模块用于从图像预处理子模块预处理的图像中提取出特征数据与地标数据库中的地标图像相关联特征进行匹配；其中所述数据库为图像处理模块内置的地标数据库，该地标数据库包括给定地标相关联区域的图像特征点；惯性数据采集处理模块，由一系列惯性数据测量单元组成，实时感应惯性传感器的旋转角度信息，加速度信息及平移速度信息；融合定位模块，用于根据图像处理模块中的特征匹配结果，对惯性数据采集处理模块采集的惯性数据进行数据融合，再通过数据融合结果修正当前位置信息。进一步地，所述预设位置为所述定位装置顶部表面的中部开口向后的凹入和/或凸出结构处。进一步地，所述预设位置为所述定位装置顶部表面的尾部开口向后的凹入和/或凸出结构处。进一步地，所述摄像头的光学轴与所述定位装置顶部表面形成的角度横跨0—80度。进一步地，所述融合定位模块中，当所述图像处理模块中的特征匹配成功时，根据所述灰度图像特征与实际场景中地标的成像特征几何关系，计算出所述定位装置当前位置坐标，并使用所述惯性数据更新修正；当所述图像处理模块中的特征匹配失败时，根据所述惯性数据的累积值求出所述惯性传感器与所述摄像头的刚性连接关系，同时结合所述灰度图像特征与地标数据库中的地标图像相关联特征的相对姿态，计算出新的地标并存储记录在所述地标数据库中，完成新路标的创建；其中，所述惯性传感器到所述摄像头，所述摄像头到所述灰度图像特征或地标图像相关联特征都存在着映射关联，同时特征能够通过所述灰度图像提取获得；所述刚性连接关系是基于所述摄像头采集的相邻两帧图像间所述惯性数据对应的位姿变化建立起来的位置关系。一种基于惯性数据和视觉特征的定位方法，所述定位方法应用于所述定位装置，包括如下步骤：将摄像头针对实际场景中地标采集的图像预处理得到灰度图像，并从灰度图像中提取特征点，生成灰度图像特征，确定特征点的描述子；将生成的灰度图像特征的描述子与存储在地标数据库中的地标图像相关联特征的描述子进行特征匹配；判断所述灰度图像特征与地标数据库中的地标图像相关联特征是否匹配，是则根据所述灰度图像特征与实际场景中地标的成像特征几何关系，融合惯性数据，得到当前位置坐标；否则根据所述惯性传感器与所述摄像头的刚性连接关系，结合所述灰度图像特征与地标数据库中的地标图像相关联特征的相对姿态，对所述惯性数据进行融合，计算出新的地标并存储记录在所述地标数据库中，完成新路标的创建；其中所述惯性数据已经过校准滤波处理，所述刚性连接关系是基于所述摄像头采集的相邻两帧图像间所述惯性数据对应的位姿变化建立起来的位置关系。进一步地，所述特征匹配过程包括：在当前帧图像下，计算所述灰度图像特征的描述子与所述地标数据库的地标图像相关联特征中对应描述子之间的汉明距离；若所述汉明距离小于预设阈值，则表示采集进来的图像与所述地标数据库中对应的所述地标图像的相关联特征相似度高，视为匹配成功；其中所述预设阈值对应一个确定的所述相对姿态的数值关系。进一步地，所述融合惯性数据包括：当所述特征匹配失败时，根据所述摄像头采集的相邻两帧图像间所述惯性数据对应的位姿变化，求出所述惯性传感器与所述摄像头的刚性连接关系，在所述摄像头内参已知的情况下，根据所述惯性传感器与所述摄像头的刚性连接关系计算得到所述惯性传感器预测的当前帧图像的特征点坐标，然后结合所述灰度图像特征与地标数据库中的地标图像相关联特征的相对姿态，将所述惯性传感器预测的当前帧图像的特征点坐标与所述摄像头采集的当前帧图像的特征点坐标对比，对所述摄像头采集的当前图像的特征点坐标进行更新修正。进一步地，成像特征几何关系是基于所述预设位置处的所述摄像头上采集的当前帧图像中的特征点与采集的实际场景中的路标的位置关系建立起来的相似三角形关系。一种机器人，所述机器人是一种装设所述定位装置的移动机器人。相对于现有技术，本专利技术提供的一个或多个摄像头放置在所述定位装置表面朝后凸出结构处，这样避免机器前进时被没有检测到的障碍物挡住，同时使其安装的位置有更多的选择，更为的灵活。根据所述摄像头在所述定位装置上的定位，本专利技术使用与地标数据库的图像特征对拍摄的地标图像进行匹配，融合惯性数据，在定位的同时又为地标数据库创建新的地标，提高定位精度，同时缩小地标数据库在定位匹配过程中特征搜索范围，缩短特征搜寻时间，提高导航效率。附图说明图1为本专利技术实施提供的一种基于惯性数据和视觉特征的定位装置的模块框架图；图2为本专利技术实施提供的一种基于惯性数据和视觉特征的定位方法流程图；图3为本专利技术实施提供的一种基于惯性数据和视觉特征的机器人系统结构图（摄像头定位在所述定位装置表面凸出结构处）；图4为本专利技术实施提供的另一种基于惯性数据和视觉特征的机器人系统结构图（摄像头定位在所述定位装置表面凹入结构处）。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明：本专利技术实施例中的一种基于惯性数据和视觉特征的定位装置以机器人的方式来实施，包括扫地机器人、AGV等等移动机器人。下面假设所述避障装置装设在扫地机器人上。然而本领域技术人员将理解的是，除了特别用于移动机器人之外，根据本专利技术的实施方式的构造能扩展应用于移动终端。本专利技术提供一种基于惯性数据和视觉特征的定位装置，该视觉定位装置是一种可移动的视觉定位装置，如图1所示，包括图像采集模块、图像处理模块、惯性数据采集模块和融合定位模块；图像采集模块的摄像头放置在所述定位装置的预设位置中，用于避免在所述定位装置前进过程中被障碍物碰撞。在所述定位装置前进过程中，如果所述摄像头放置在所述定位装置的本文档来自技高网...

【技术保护点】
1.一种基于惯性数据和视觉特征的定位装置，该定位装置是一种可移动的视觉定位装置，其特征在于，包括图像采集模块、图像处理模块、惯性数据采集模块和融合定位模块；图像采集模块的摄像头朝向保持向后并放置在所述定位装置的预设位置中，用于避免在所述定位装置前进过程中被障碍物碰撞，其中所述摄像头的数目至少为一个；图像处理模块，包括图像预处理子模块和特征匹配子模块，用于处理图像采集模块中采集的图像数据；其中，图像预处理子模块用于将所述摄像头采集的数据转换为灰度图像，特征匹配子模块用于从图像预处理子模块预处理的图像中提取出特征数据与地标数据库中的地标图像相关联特征进行匹配；其中所述数据库为图像处理模块内置的地标数据库，该地标数据库包括给定地标相关联区域的图像特征点；惯性数据采集处理模块，由一系列惯性数据测量单元组成，实时感应惯性传感器的旋转角度信息，加速度信息及平移速度信息；融合定位模块，用于根据图像处理模块中的特征匹配结果，对惯性数据采集处理模块采集的惯性数据进行数据融合，再通过数据融合结果修正当前位置信息。

【技术特征摘要】
1.一种基于惯性数据和视觉特征的定位装置，该定位装置是一种可移动的视觉定位装置，其特征在于，包括图像采集模块、图像处理模块、惯性数据采集模块和融合定位模块；图像采集模块的摄像头朝向保持向后并放置在所述定位装置的预设位置中，用于避免在所述定位装置前进过程中被障碍物碰撞，其中所述摄像头的数目至少为一个；图像处理模块，包括图像预处理子模块和特征匹配子模块，用于处理图像采集模块中采集的图像数据；其中，图像预处理子模块用于将所述摄像头采集的数据转换为灰度图像，特征匹配子模块用于从图像预处理子模块预处理的图像中提取出特征数据与地标数据库中的地标图像相关联特征进行匹配；其中所述数据库为图像处理模块内置的地标数据库，该地标数据库包括给定地标相关联区域的图像特征点；惯性数据采集处理模块，由一系列惯性数据测量单元组成，实时感应惯性传感器的旋转角度信息，加速度信息及平移速度信息；融合定位模块，用于根据图像处理模块中的特征匹配结果，对惯性数据采集处理模块采集的惯性数据进行数据融合，再通过数据融合结果修正当前位置信息。2.根据权利要求1所述定位装置，其特征在于，所述预设位置为所述定位装置顶部表面的中部开口向后的凹入和/或凸出结构处。3.根据权利要求1所述定位装置，其特征在于，所述预设位置为所述定位装置顶部表面的尾部开口向后的凹入和/或凸出结构处。4.根据权利要求1所述定位装置，其特征在于，所述摄像头的光学轴与所述定位装置顶部表面形成的角度横跨0—80度。5.根据权利要求1所述定位装置，其特征在于，所述融合定位模块中，当所述图像处理模块中的特征匹配成功时，根据所述灰度图像特征与实际场景中地标的成像特征几何关系，计算出所述定位装置当前位置坐标，并使用所述惯性数据更新修正；当所述图像处理模块中的特征匹配失败时，根据所述惯性数据的累积值求出所述惯性传感器与所述摄像头的刚性连接关系，同时结合所述灰度图像特征与地标数据库中的地标图像相关联特征的相对姿态，计算出新的地标并存储记录在所述地标数据库中，完成新路标的创建；其中，所述惯性传感器到所述摄像头，所述摄像头到所述灰度图像特征或地标图像相关联特征都存在着映射关联，同时特征能够通过所述灰度图像提取获得；所述刚性连接关系是基于所述摄像头采集的相邻两帧图像间所述惯性数据对应的位姿变化建立起来的位置关系。6.一种基于惯性数据和视...

【专利技术属性】
技术研发人员：赖钦伟，
申请(专利权)人：珠海市一微半导体有限公司，
类型：发明
国别省市：广东,44