基于双目视觉和卷积神经网络的机器人定位系统及方法技术方案

本发明专利技术公开一种基于双目视觉和卷积神经网络的机器人定位系统及定位方法。所述系统包括移动机器人，所述移动机器人搭载有分别与传感器控制模块相连接的惯性传感器模块、双目视觉模块和上位机。通过惯性传感器模块得到移动机器人的运动状态，通过双目视觉模块得到周围环境的图像，并利用卷积神经网络进行立体匹配，计算得到地标的位置。传感器控制模块对惯性传感器模块和双目视觉模块进行操作控制，并接收其数据，然后将获取的数据传到上位机进行数据处理，得到移动机器人的位置。通过所提出的方法实现了移动机器人高效的自我定位。

【技术实现步骤摘要】
基于双目视觉和卷积神经网络的机器人定位系统及方法
本专利技术涉及机器人即时定位与地图构建(SimultaneousLocalizationandMapping，SLAM)领域，尤其涉及一种基于双目视觉和卷积神经网络的机器人定位系统及定位方法。。
技术介绍
对于自主式移动机器人而言，即时定位与地图构建(SLAM)技术为其在未知或者无先验地图的复杂环境下实现真正意义上的自主导航提供了可行性方案。SLAM技术可以在对周围环境地图进行实时构建的同时获取自身在该地图中的位置估计。移动机器人通过传感器来获取所处的环境信息，传感器主要有激光传感器和视觉传感器等。激光传感器体积大，能耗高，价格昂贵，不适用于体型较小的机器人。此外，激光传感器在高度混乱或者拥挤的情况下难以提取角或者直线特征，具有感知漂移的问题。感知分辨率比较低，很难将观测的特征和已知的特征进行数据关联。视觉传感器能够获得丰富的信息，装载方便，价格便宜。在环境特征地标的提取、匹配、环境地图的表示和管理等方面表现很好，利用视觉可以很好解决SLAM当中的数据关联问题。单目视觉相对立体视觉系统由于获得的图像信息比较少，在方向测量中不确定性较大，而且深度恢复比较困难，应用场合受到一定限制。双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法。从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。得到了物体的深度信息，就可以计算出物体与相机之间的实际距离，物体三维大小，两点之间实际距离。卷积神经网络是特殊的一种人工神经网络，它目前己经成为语音分析和图像识别领域最常使用的工具之一。卷积神经网络通过结合局部感知区域、共享权重、空间或者时间上的降采样来充分利用数据本身包含的局部性等特征，优化网络结构。卷积神经网络的结构是一种特殊的多层感知器，它对平移、缩放、倾斜、旋转或者其他形式的变换具有高度不变性。扩展卡尔曼滤波(EKF)在移动机器人同时定位与地图构建(SLAM)过程中存在实时性差、精度低、易受干扰等问题。
技术实现思路
本专利技术的目的是针对上述现有技术存在的问题和不足，提出一种基于双目视觉和卷积神经网络的机器人定位系统及定位方法。本专利技术采用增广扩展卡尔曼滤波算法，以增强机器人定位的鲁棒性和提高定位精度。为实现上述目的，本专利技术采取以下技术方案：一种基于双目视觉和卷积神经网络的机器人定位系统，所述系统包括移动机器人，所述移动机器人搭载有分别与传感器控制模块相连接的惯性传感器模块、双目视觉模块和上位机。通过惯性传感器模块得到移动机器人的运动状态，通过双目视觉模块得到周围环境的图像，并利用卷积神经网络进行立体匹配，获取地标的位置。传感器控制模块对惯性传感器模块和双目视觉模块进行操作控制，并接收其数据，然后将获取的数据传到上位机进行数据处理，得到移动机器人的位置。通过所提出的方法实现了移动机器人高效的自我定位。进一步，上述所述双目视觉模块由双目立体相机组成，所述惯性传感器模块由惯性传感器组成，所述传感器控制模块由单片机组成，所述上位机为笔记本电脑。为实现上述的目的，本专利技术采用另一技术方案如下。一种基于双目视觉和卷积神经网络的机器人定位系统的定位方法，其步骤为：(1)通过惯性传感器获取移动机器人的运动状态，包括加速度和角速度；(2)通过双目立体相机获取周围图像并以此计算地标位置；2.1用双目相机获取周围环境的双目图像；2.2图像校正双目相机获取图像难以得到完全处于平行对准状态的双目视觉模型，此时需要进行双目校正操作，让双目相机获取的图像对重新投影，使其满足平行对准状态。图像校正把实际中不是共面行对准的两幅图像，校正成共面行对准。双目校正是根据摄像头标定后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。将左右视图调整成完全平行对准的理想形式，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。通常使用标准双目校正算法Bouguet算法实现双目校正。Bouguet算法的原理主要是当重投影畸变最小化时，使观测面积最大。在得到两个相机的相对关系矩阵即旋转矩阵R和平移向量T的条件下，将左右两个相机各旋转一半，即将旋转矩阵R分解为rl和rr，这样两个相机的光轴就能够平行的指向其原主光轴指向的向量和方向。此时旋转的图像平面只能实现共面还不能实现行对准。为了实现行对准，即极点变换到无穷远处且极线水平对准，需要构建变换矩阵Rrect，设：其中，Rrect是变换矩阵，e1、e2、e3为组成的三个向量。由于矩阵Rrect将左相机的极点变换到无穷远且极线水平，所以向量e1方向就是两个相机主点之间的平面方向：其中，向量e2只需与向量e1正交即可。一般情况下选择与主光轴正交的方向，通过计算向量e1和主光轴方向(0,0,1)的叉积得到，将其归一化得：其中，Tx、Ty、Tz由矩阵T分解得到。第三个向量e3与向量e1和e2正交，通过叉积得：e3＝e1×e2由左右相机的旋转矩阵和变换矩阵可得到双目相机的校正矩阵，能够得到理想的平行光轴双目视觉模型。其中，Rrect为变换矩阵，rl,rr是合成旋转矩阵，Rl,Rr是整体旋转矩阵。2.3用卷积神经网络进行立体匹配；2.3.1利用卷积神经网络对双目图像计算各视差匹配代价；立体匹配的本质是比较双目图像中两个像素点的相似程度，而匹配代价就是这种相似程度的数学表达。两个像素点之间匹配代价越低，它们之间越相似，匹配程度越高。利用基于块的图像匹配方法,使用卷积神经网络找到各块之间准确的对应关系，通过将图像划分为多个块，比较各块的相似性试图找到相对应的像素点，然后根据不同块的对应关系进行不同程度的相似性打分。相似性的负值被定义为立体匹配的代价，用于后续的代价聚合和视差计算。基于卷积神经网络方法的双目立体匹配代价计算的具体步骤可归纳如下：1)分别使用4层卷积神经网络层提取左右图像块的不同特征信息；2)联结左右特征信息，利用4层全连接层网络对特征进行分类判断。其中，损失函数使用交叉熵代价函数：tlog(s)+(1-t)log(1-s)式中s为相似性比较网络的输出，t为样本标记，当输入为正样本时t＝1，输入为负样本时t＝0；3)对相似和不相似的判断结果以相似性打分的形式输出，用于后续的立体匹配；4)利用相似性打分的反比例构造代价函数，得到匹配代价。2.3.2代价聚合以一个像素点的匹配代价去选择最优视差，容易受到图像中噪声的影响，使得算法稳定性较差。在局部匹配算法中，以待匹配像素为中心，取周围邻域(聚合窗口)内所有像素点匹配代价进行叠加统计。对一个待选择视差来说，聚合窗口是二维平面；对视差搜索范围内所有待选择视差来说，聚合窗口为三维空间。匹配代价的聚合，相当于使用聚合窗口与视差空间中一待选择的视差平面卷积，如下式所示。式中，CA(p,d)表示参考点p在待选择视差d处的聚合代价，C0(p,d)表示参考点p在待选择视差d处的原始匹配代价，w(p,d)表示点p在视差d平面的聚合窗口权重。最简本文档来自技高网...

【技术保护点】
1.一种基于双目视觉和卷积神经网络的机器人定位系统，其特征在于，包括移动机器人，所述移动机器人搭载有分别与传感器控制模块相连接的惯性传感器模块、双目视觉模块和上位机；通过所述惯性传感器模块得到移动机器人的运动状态，通过所述双目视觉模块得到周围环境的图像，并利用卷积神经网络进行立体匹配，获取地标的位置；所述传感器控制模块对所述惯性传感器模块和双目视觉模块进行操作控制，并接收其数据，然后将获取的数据传到所述上位机进行数据处理，得到移动机器人的位置。

【技术特征摘要】
1.一种基于双目视觉和卷积神经网络的机器人定位系统，其特征在于，包括移动机器人，所述移动机器人搭载有分别与传感器控制模块相连接的惯性传感器模块、双目视觉模块和上位机；通过所述惯性传感器模块得到移动机器人的运动状态，通过所述双目视觉模块得到周围环境的图像，并利用卷积神经网络进行立体匹配，获取地标的位置；所述传感器控制模块对所述惯性传感器模块和双目视觉模块进行操作控制，并接收其数据，然后将获取的数据传到所述上位机进行数据处理，得到移动机器人的位置。2.根据权利要求1所述的一种基于双目视觉和卷积神经网络的机器人定位系统，其特征在于，所述双目视觉模块由双目立体相机组成，所述惯性传感器模块由惯性传感器组成，所述传感器控制模块由单片机组成，所述上位机为笔记本电脑。3.一种根据权利要求书1所述的基于双目视觉和卷积神经网络的机器人定位系统的定位方法，其特征在于，包括如下步骤：(1)通过惯性传感器和双目视觉传感器进行数据采集，通过惯性传感器获得移动机器人的加速度和角速度，通过双目视觉传感器得到移动机器人周围的图像；(2)通过获取的图像利用卷积神经网络进行立体匹配计算得到地标的位置；(3)根据惯性传感器获取的移动机器人的运动状态和得到的地标位置，进行增广扩展卡尔曼滤波处理，得到移动机器人的位置；(4)根据移动机器人的位置变化绘制运动地图。4.根据权利要求书3所述的定位方法，其特征在于，步骤(2)所述通过获取的图像用卷积神经网络进行立体匹配得到地标的位置，具体步骤包括：(1)...

【专利技术属性】
技术研发人员：马国军，倪朋，郑威，朱琎，李效龙，曾庆军，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：江苏,32