一种基于视觉slam双目相机的无人车定位系统技术方案

一种基于视觉slam双目相机的无人车定位系统，包括无人车，无人车的前部安装有双目相机，双目相机与树莓派模块有线连接，树莓派模块通过局域网与上位机连接，并与单片机有线连接；双目相机将实时采集的图像发送至树莓派模块，再由树莓派模块将图像实时的发送至上位机进行图像处理，上位机将图像处理后得到的信息反馈至树莓派模块后，树莓派模块将图像信息发送至单片机，单片机根据图像信息，发送信号至车轮驱动模块，控制车轮的运行方向。本发明专利技术通过上位机对双目相机实时采集的图片进行处理，推算出物体到相机之间的距离；并通过对图片中像素关键点的采集，比较计算出相机的运行轨迹；并协助其他系统对小车偏移车道，异常行驶等行为进行报告和预警。等行为进行报告和预警。等行为进行报告和预警。

【技术实现步骤摘要】
一种基于视觉slam双目相机的无人车定位系统


[0001]本专利技术涉及视觉slam定位
，具体涉及一种基于视觉slam双目相机的无人车定位系统。

技术介绍

[0002]目前，无人驾驶技术已经遍布军事、工业和民用等各大领域，并且还在不断发展当中，无人驾驶技术体现智能化性能的一个重要标识就是可以自主导航定位。
[0003]目前，在园区对无人驾驶车进行定位导航多采用以下几种方式：GPS惯导差分定位、视觉里程计定位、视觉车道线及路标辅助定位。
[0004]上述利用GPS惯导差分定位在树木、建筑物等遮挡情况下，GPS信号会丢失，定位精度无法得到保证。利用视觉里程计定位、视觉车道线及路标辅助定位时，由于大多数路口环境没有部署车道线，则无法借助车道线，无法满足自动驾驶定位。同时，由于园区中的地图数据可能会随着时间或周围环境的变化而变化，这样就需对地图数据进行实时维护，若维护不及时，则园区无人驾驶车在行驶过程中可能存在导航不准确的情况，且地图数据的维护需要大量时间和资金成本。

技术实现思路

[0005]本专利技术提出了一种基于视觉slam双目相机的无人车定位系统；可以在GPS信号差或者环境恶劣的情况下基于无人车准确定位，能有效的解决上述问题。
[0006]本专利技术通过以下技术方案实现：
[0007]一种基于视觉slam双目相机的无人车定位系统，包括无人车，无人车的前部安装有双目相机；双目相机通过信号线与树莓派模块连接，树莓派模块通过局域网与上位机连接，同时，树莓派模块通过信号线与单片机连接，单片机与车轮的驱动装置连接；所述的双目相机将实时采集的图像发送至树莓派模块，再由树莓派模块将图像实时的发送至上位机进行图像处理，上位机将图像处理后得到的信息反馈至树莓派模块后，树莓派模块将图像信息发送至单片机，单片机根据图像信息，发送信号至车轮驱动模块，控制车轮的运行方向；上位机对双目相机实时采集的图片进行处理，通过对图片中像素关键点的采集，比较计算出相机的运行轨迹，具体的操作方式如下：
[0008]步骤1：双目相机在小车运动中连续拍摄图片，并通过树莓派模块将图像上传至上位机的图像处理系统中对图像进行处理；图像处理系统在相机拍摄的图像中选取比较有代表性的特征点；
[0009]步骤2：在相机少量运动时拍摄的图片中找到相似或相同的特征点；
[0010]步骤3：将不同图片中寻找到的特征点进行特征匹配；
[0011]步骤4：通过对迭代最近的特征点进行ICP计算，预测相机的运动轨迹；得到旋转矩阵R和平移矩阵t；
[0012]步骤5：图像处理系统将结果返回至上位机进行信号处理；
[0013]步骤6：上位机反馈图像处理的信息给树莓派模块，由树莓派模块反馈给单片机；
[0014]步骤7：单片机向无人车的驱动系统发送信号，控制无人车的车轮运行。
[0015]进一步的，步骤1所述的选取比较有代表性的特征点时，可以根据ORB特征对FAST关键点的角点进行提取，找出图像中的角点，即一像素与相邻像素差别较大的点；再计算每个关键点的描述子，即将关键点对其相邻的任意一个像素作比较，相邻的像素比关键点大则取1，反之则取0；再将两张图像相似的描述子进行匹配，根据匹配的结果来预测相机的运动。
[0016]进一步的，步骤4所述的通过ICP计算预测相机的运动轨迹时，可以解决估计两组3D点的运动问题；设现在有一组匹配好的3D点P和P
’
，旋转矩阵为R，平移矩阵为t；采用线性方法进行计算，具体的计算步骤如下：
[0017]S1：先计算第n点和第n
‑
1点的误差项；
[0018]先定义两组点Pn和Pn
‑
1，并定义这对点的误差e：
[0019]ei＝p
n
‑
(Rp
n
‑1+t)；
[0020]再用下列公式求误差的平方和达到最小的旋转矩阵R和平移矩阵t；
[0021]即：
[0022]S2：定义两组点的质心，代入误差函数化简；
[0023]S3：计算两组点的去质心坐标；
[0024]S4：代入去质心坐标并优化；
[0025]S5：用SVD方法计算出旋转矩阵R；
[0026]S6：根据旋转矩阵R求出平移矩阵t。
[0027]进一步的，S2所述的定义两组点的质心，代入误差函数化简的具体的操作方式如下：
[0028]先计算两组点的质心，计算两组点的质心公式为：
[0029][0030]将两组质心带入误差公式中，将误差公式进行简单的变换；变换公式如下：
[0031][0032]提取并化简可得：
[0033][0034]在等式右边中，第一项加数没有平移矩阵t，只有旋转矩阵R，而第二项加数中有旋转矩阵R且有平移矩阵t；但第二项加数中的旋转矩阵R与平移矩阵t只与质心有关，与点位置无关；
[0035]如此，可以根据右式第一项算出旋转矩阵R，再根据第二项旋转矩阵R和质心关系算出平移矩阵t；即可将其优化成旋转矩阵R、平移矩阵t和质心的关系式去计算旋转矩阵R。
[0036]进一步的，S3所述的计算两组点的去质心坐标，具体的操作方式如下：
[0037]先计算去质心坐标q,q＝p
n
‑
p
a
；再设前后两组的去质心坐标分别为q1、q2，则q1和q2的代入式如下所示：
[0038]q1＝p
n
‑
p1，q2＝p
n
‑1‑
p2。
[0039]进一步的，S4所述的代入去质心坐标并优化的具体操作方式如下：
[0040]将S3得到的去质心坐标为q1、q2，优化成求得下式结果最小时，旋转矩阵R的值，即求旋转前后两个去质心坐标平方和最小时，公式中旋转矩阵R的值；
[0041]将上式展开，根据平方和求和公式提取，可提取成：
[0042][0043]从该式中可以得到：等式右边括号内的第一项加数q
1T
q1没有出现旋转矩阵R，第二项加数q
2T
R
T
Rq2中的R
T
R＝I；括号内只有第三项加数才与R有关，所以上式可优化成求第三项的最优解，即上式可以优化成求括号内第三项，即的最优解。进一步的，S5所述的用SVD方法计算出旋转矩阵R的具体操作方式如下：
[0044]根据现有的关于最优性的证明，通过下列SVD最优解公式：
[0045]可计算
[0046]由于，W是一个3
×
3矩阵，上式中∑是一个奇异值组成的对角矩阵；根据SVD分解进行计算，W＝U∑V
T
，其中，∑为奇异值组成的对角矩阵，对角线元素由大到小排列，而U、V是对角矩阵，当W为满秩时，旋转矩阵R经过奇异值分解可以计算得到R＝UV
T
形式的解，则得到旋转矩阵R的值。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉slam双目相机的无人车定位系统，包括无人车，无人车的前部安装有双目相机；其特征在于：双目相机通过信号线与树莓派模块连接，树莓派模块通过局域网与上位机连接，同时，树莓派模块通过信号线与单片机连接，单片机与车轮的驱动装置连接；所述的双目相机将实时采集的图像发送至树莓派模块，再由树莓派模块将图像实时的发送至上位机进行图像处理，上位机将图像处理后得到的信息反馈至树莓派模块后，树莓派模块将图像信息发送至单片机，单片机根据图像信息，发送信号至车轮驱动模块，控制车轮的运行方向；上位机对双目相机实时采集的图片进行处理，通过对图片中像素关键点的采集，比较计算出相机的运行轨迹，具体的操作方式如下：步骤1：双目相机在小车运动中连续拍摄图片，并通过树莓派模块将图像上传至上位机的图像处理系统中对图像进行处理；图像处理系统在相机拍摄的图像中选取比较有代表性的特征点；步骤2：在相机少量运动时拍摄的图片中找到相似或相同的特征点；步骤3：将不同图片中寻找到的特征点进行特征匹配；步骤4：通过对迭代最近的特征点进行ICP计算，预测相机的运动轨迹；得到旋转矩阵R和平移矩阵t；步骤5：图像处理系统将结果返回至上位机进行信号处理；步骤6：上位机反馈图像处理的信息给树莓派模块，由树莓派模块反馈给单片机；步骤7：单片机向无人车的驱动系统发送信号，控制无人车的车轮运行。2.根据权利要求1所述的一种基于视觉slam双目相机的无人车定位系统，其特征在于：步骤1所述的选取比较有代表性的特征点时，可以根据ORB特征对FAST关键点的角点进行提取，找出图像中的角点，即一像素与相邻像素差别较大的点；再计算每个关键点的描述子，即将关键点对其相邻的任意一个像素作比较，相邻的像素比关键点大则取1，反之则取0；再将两张图像相似的描述子进行匹配，根据匹配的结果来预测相机的运动。3.根据权利要求1所述的一种基于视觉slam双目相机的无人车定位系统，其特征在于：步骤4所述的通过ICP计算预测相机的运动轨迹时，可以解决估计两组3D点的运动问题；设现在有一组匹配好的3D点P和P
’
，旋转矩阵为R，平移矩阵为t；采用线性方法进行计算，具体的计算步骤如下：S1：先计算第n点和第n
‑
1点的误差项；先定义两组点Pn和Pn
‑
1，并定义这对点的误差e：e
i
＝p
n
‑
(Rp
n
‑1+t)；再用下列公式求误差的平方和达到最小的旋转矩阵R和平移矩阵t；即：S2：定义两组点的质心，代入误差函数化简；S3：计算两组点的去质心坐标；S4：代入去质心坐标并优化；S5：用SVD方法计算出旋转矩阵R；S6：根据旋转矩阵R求出平移矩阵t。
4.根据权利要求3所述的一种基于视觉slam双目相机的无人车定位系统，其特征在于：S2所述的定义两组点的质心，代入误差函数化简的具体的操作方式如下：先计算两组点的质心，计算两组点的质心公式为：将两组质心带入误差公式中，将误差公式进行简单的变换；变换公式如下：提取并化简可得：在等式右边中，第一项加数没有平移矩阵t，只有旋转矩...

【专利技术属性】
技术研发人员：赵志国，王瑞，魏晓倩，毛康康，庞敏，万小康，徐连高，张磊，孙中，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：