一种基于机器视觉的室内定位与地图构建装置制造方法及图纸

本发明专利技术揭示了一种基于机器视觉的室内定位与地图构建装置，该装置包括传感器标定部分、图像预处理部分、视觉里程计构建部分与地图构建部分，所述传感器标定部分是对单目相机进行标定；图片预处理部分是将单目相机拍摄的图像进行校准与特定的灰度处理；视觉里程计构建部分是选择了半稠密直接算法最小化光度误差，来重建一个半稠密的结构，并且估计相机的位姿实现对相机的定位；地图构建部分依据半稠密直接算法提取的具有一定梯度的像素点进行局部地图的重建，最后将地图保存为八叉树地图的形式，并用可视化程序显示。

An indoor location and map building device based on machine vision

The invention discloses an indoor positioning and map building device based on machine vision, the device includes a sensor calibration part, an image preprocessing part, a vision odometer construction part and a map building part, the sensor calibration part is to calibrate the monocular camera, the image preprocessing part is to calibrate the image taken by the monocular camera and carry out specific gray-scale processing; In the visual odometer building part, the semi dense direct algorithm is selected to minimize the photometric error to reconstruct a semi dense structure and estimate the camera's pose to realize the camera's positioning; in the map building part, the local map is reconstructed according to the pixel points with certain gradient extracted by the semi dense direct algorithm, and finally the map is saved as an octree map Visualization program display.

【技术实现步骤摘要】
一种基于机器视觉的室内定位与地图构建装置
本专利技术涉及一种基于机器视觉的室内定位与地图构建装置，可用于机器视觉领域。
技术介绍
随着科技的发展，人工智能受到了越来越多的关注，机器视觉可以说是人工智能的热门研究方向之一，机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统通过图像摄取装置，将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机器视觉目的是使机器具有类似于人眼的感知能力和大脑的决策能力。但如今的大多数机器感知并不能保证足够的精准度，更不能保证机器能在获取的信息下做出正确的选择，通常来说，大部分设备只能依靠经验来定位分析物体，而没有形成系统的理论体系。因此,目前物体定位与建图技术存在较大的不确定性，没有办法保证足够的稳定性，识别精度不高，存在有较大的误匹配率和漏匹配率等问题，比如目前的家用扫地机器人，经常出现部分区域无法定位等问题。
技术实现思路
本专利技术的目的就是为了解决现有技术中存在的上述问题，提出一种基于机器视觉的室内定位与地图构建装置。本专利技术的目的将通过以下技术方案得以实现：一种基于机器视觉的室内定位与地图构建装置，该装置包括传感器标定部分、图像预处理部分、视觉里程计构建部分与地图构建部分，所述传感器标定部分是对单目相机进行标定；图片预处理部分是将单目相机拍摄的图像进行校准与特定的灰度处理；视觉里程计构建部分是选择了半稠密直接算法最小化光度误差，来重建一个半稠密的结构，并且估计相机的位姿实现对相机的定位；地图构建部分依据半稠密直接算法提取的具有一定梯度的像素点进行局部地图的重建，最后将地图保存为八叉树地图的形式，并用可视化程序显示。优选地，在所述的系统标定部分，采用通用的张正友标定法，构建3个坐标系分别为：世界坐标系、相机坐标系、图像坐标系。根据世界坐标与摄像机坐标之间的旋转、平移关系，摄像机坐标与图像物理坐标之间的相似三角形的正比关系，图像物理坐标与图像像素坐标之间的平移、比例关系可得图像像素坐标与世界坐标之间的关系。优选地，在所述的图像预处理部分，首先根据系统标定部分得出的内参矩阵与外参矩阵，获得相机的径向畸变系数和切向畸变系数，通过泰勒级数展开将畸变点在成像仪上面的成像矫正至新的位置，从而达到尽可能减少径向畸变和切向畸变的目的。优选地，在图像预处理部分将矫正的图片进行灰度化处理，改善图像的质量，灰度化采用分量法，将R、G、B三个分量的颜色比例进行调整，所呈现的灰度图更加直观的显示图像的信息。优选地，在图像预处理部分采用图像大范围归一化处理之后采用非线性滤波中的中值滤波，将0到255的灰度值拉伸到-100到400之间，这样处理后的图像颜色对比度会更加明显，对于轮廓的显示和提取更有优势。优选的，在视觉里程计构建中通过半稠密直接法进行重建。半稠密直接法不同于稀疏直接法和稠密直接法。他不需要计算所有的像素，只要将前后两帧图像中将带有一定梯度的像素点进行计算，舍弃像素点不明确的地方，该舍弃的像素点对于位姿的计算没有贡献并且加大计算量，最后将保留的像素点进行计算，重构成一个半稠密的结构，该方法相比于稠密重建对于CPU的要求也有一定程度的降低。优选的，具体重建过程如下：设P的世界坐标为[X；Y；Z]，它在前一帧和后一帧的图像上的非齐次像素坐标为P1,P2；我们的目标是求前一帧到后一帧的位姿变换，所以以前一帧的相机为参照系，经过旋转和平移到达第二个帧相机的位置，并设旋转和平移的矩阵为R,t,；两个相机的内参相同设为K,投影方程为：其中Z1是P在第一个相机坐标系下的深度，Z2是P在第二个坐标系下的深度，ξ为旋转平移对应的李代数，为了寻找与P1,更相似的P2，需要最小化光度误差，也就是最小化P在前后两帧的上的像的亮度误差：e＝I1(p1)-I2(p2)，优化目标为该误差的二范数，由于灰度不变假设，假设一个空间点在各个视角下成像的灰度是不变的，那么任意空间点为Pi，整个相机位姿ξ的最小化误差为：由于求解直接法相当于进行一个优化的问题，本文采用现有的优化库进行优化。优选的，求解直接法相当于进行一个误差优化的问题，本文采用G2O进行优化，使用该库进行优化是将求解过程抽象成一个图优化的过程，图优化的关键是节点与边的构建，由于优化变量是一个相机位姿，并且在计算中用到了李代数，所以位姿顶点的构建我们使用SE(3)位姿顶点，使用G2O库中的VertexSE3Expmap函数作为相机位姿，G2O库中不存在计算光度误差的边，所以我们自己定义一条新的边，并在构建边时继承现有的边g2o::BaseUnaryEdge。在继承时，需要在模板参数里填入测量值的维度、类型，以及连接此边的顶点，同时，我们把空间点P、相机内参和图像存储在该边的成员变量中。优选的，由于我们视觉里程计部分是采用的半稠密直接法，所以地图构建方面我们可以构建半稠密的八叉树地图。八叉树地图是将点云划分空间，划分到八个立体体元中，再将每个立体体元继续划分直到划分到规定的阈值条件停止。八叉树地图从视觉上看像是很多个小方块组成的。当分辨率较高时，方块很小；分辨率较低时，方块很大。每个方块表示该格被占据的概率。八叉树地图本身具有较好的压缩性能，不仅克服了点云图占用存储空间大、不能处理运动物体的缺点，又可以实时的反应周围环境。附图说明图1为本专利技术的坐标转换示意图。图2为本专利技术视觉里程计流程示意图。图3为本专利技术的直接法示意图。图4为本专利技术的半稠密直接法的实验图。图5为本专利技术的生成八叉树地图。图6装置整体流程图。具体实施方式本专利技术的目的、优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本专利技术技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本专利技术要求保护的范围之内。本专利技术揭示了一种基于机器视觉的室内定位与地图构建装置，该装置包括传感器标定部分、图像预处理部分、视觉里程计构建部分与地图构建部分，所述传感器标定部分是对单目相机进行标定；图片预处理部分是将单目相机拍摄的图像进行校准与特定的灰度处理；视觉里程计构建部分是选择了半稠密直接算法最小化光度误差，来重建一个半稠密的结构，并且估计相机的位姿实现对相机的定位；地图构建部分依据半稠密直接算法提取的具有一定梯度的像素点进行局部地图的重建，最后将地图保存为八叉树地图的形式，并用可视化程序显示。相机标定部分为单目标定，通过单目标定估计相机的内参就是固有属性，包括焦距，像元尺，径向畸变系数和切向畸变系数等。获得的畸变系数与相机内参作为后续的铺垫，畸变系数用来对单目相机拍摄的图片进行矫正处理；相机内参矩阵作为视觉里程计的输入参数。本专利技术采用张正友标定法，采用本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的室内定位与地图构建装置，其特征在于：主要由如下部件组成：/n传感器标定部分，用于对单目相机进行标定；/n图片预处理部分，用于将单目相机拍摄的图像进行校准与特定的灰度处理；/n视觉里程计构建部分，用于选择半稠密直接算法最小化光度误差，来重建一个半稠密的结构，并且估计相机的位姿实现对相机的定位；/n地图构建部分，依据半稠密直接算法提取的具有一定梯度的像素点进行局部地图的重建，最后将地图保存为八叉树地图的形式，并用可视化程序显示。/n

【技术特征摘要】
1.一种基于机器视觉的室内定位与地图构建装置，其特征在于：主要由如下部件组成：
传感器标定部分，用于对单目相机进行标定；
图片预处理部分，用于将单目相机拍摄的图像进行校准与特定的灰度处理；
视觉里程计构建部分，用于选择半稠密直接算法最小化光度误差，来重建一个半稠密的结构，并且估计相机的位姿实现对相机的定位；
地图构建部分，依据半稠密直接算法提取的具有一定梯度的像素点进行局部地图的重建，最后将地图保存为八叉树地图的形式，并用可视化程序显示。


2.根据权利要求1所述的一种基于机器视觉的室内定位与地图构建装置，其特征在于：在所述传感器标定部分为单目标定，通过单目标定估计相机的内参就是固有属性，包括焦距，像元尺，径向畸变系数和切向畸变系数，通过相机标定获得畸变系数与相机内参，畸变系数用来对单目相机拍摄的图片进行矫正处理，相机内参矩阵作为视觉里程计的输入参数。


3.根据权利要求1所述的一种基于机器视觉的室内定位与地图构建装置，其特征在于：通过单目相机拍摄后的图片需要进行特定的预处理，首先由于室内环境光线不均，对于传感器采集的室内图像根据人眼对红绿蓝三种颜色的敏感程度，对图像的三分量权值进行调整；其次，采用归一化处理灰度图像，目的是为了增加图像的对比度，将原本灰度值范围扩大后可加强线条轮廓，便于后续光度误差的计算。


4.根据权利要求1所述的一种基于机器视觉的室内定位与地图构建装置，其特征在于：视觉里程计主要通过半稠密直接法进行重建，半稠密直接法将前后两帧图像中将带有一定梯度的像素点进行计算，舍弃像素点不明确的地方，最后将保留的像素点进行计算，重构成一个半稠密的结构。


5.根据权利要求4所述的一种基于机器视觉的室内定位与地图构建装置，其特征在于：具体重建过程如下：设P的世界坐标为[X；Y；Z]，它在前一帧和后一帧的图像上的非齐次像素坐标为P1，P2；我们的目标是求前一帧到后一帧的位姿变换，所以以前一帧的相机为参照系，经过旋转和平移到达第二个帧相机的位置，并设旋转和平移的矩阵为R，t，；两个相机的内参相同设为K，投影方程为：

【专利技术属性】
技术研发人员：徐荣青，丁歆甯，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32