一种基于单目相机和主动结构光的障碍探测方法技术

本发明专利技术公开了一种基于单目相机和主动结构光的障碍探测方法，实现步骤包括基准相机与主动结构光坐标标定、备份相机与基准相机坐标转换、激光图像处理、激光点三维恢复、障碍判断。本发明专利技术能够在阴影区域或者缺乏纹理特征区域进行环境感知；利用结构光的先验信息和单个相机配合进行快速三维恢复，计算量小，处理时间短，能够实现障碍物的快速识别和判断。

【技术实现步骤摘要】

本专利技术涉及一种基于单目相机和主动结构光的障碍探测方法，适用于在月球、火星等外星球表面进行探测任务的巡视器的障碍识别，也可用于在野外恶劣环境进行作业的移动机器人的障碍识别。
技术介绍
巡视探测器在行星工作阶段，需要控制巡视探测器在非结构复杂地面环境中实现长距离行驶，并安全到达预先指定的工作点，以完成特定的科学考察任务，并保障自身的安全和稳定工作。由于行星表面环境的不可预知性，巡视器必须具有环境感知的能力，在选择配备了立体相机作为环境感知的主要手段之后，考虑到行星表面阴影区完全无光照，巡视器进入阴影区或背对太阳时无法探测环境进行安全行走，所以考虑增加主动结构光，利用投射出的离散激光点进行阴影区内的障碍识别判断，保证行走安全。针对相机和主动结构光的障碍探测方式，考虑冗余配置问题，设计了主动结构光分别和双目相机、左单目、右单目相机配合的三种工作方式。其中双目相机的方式类似立体视觉重建，而单目相机和主动结构光的配合使用，就需要用到结构光本身的信息，为此提出了激光点空间出射方程的高精度标定方法，在主动结构光加工完成后，在地面进行了离散激光出射线的标定，通过标定结果和相机拍摄的激光点图像实现了主动结构光和左相机或者右相机的激光点坐标解算，保证在任何一个相机失效的情况下，主动结构光探测仍能进行，提高了结构光探测的可靠性和安全性。
技术实现思路
本专利技术要解决的技术问题是：为克服现有技术的不足，提出一种基于单目相机和主动结构光的障碍探测方法，在基准相机失效的情况下，利用备份相机仍能实现障碍物的快速识别和判断。本专利技术技术解决方案：一种基于单目相机和主动结构光的障碍探测方法，具体步骤如下：(1)基准相机与主动结构光坐标标定在主动结构光的外部粘接基准镜作为外测基准建立基准镜下坐标系，同时将基准镜作为基准相机虚拟坐标系的外引基准，建立与主动结构光外测基准之间的关系，得到基准相机坐标系下主动结构光出射线的标定方程；假设主动结构光一共设计有N个激光出射点，标定得到的主动结构光的出射线方程在基准相机坐标系下的描述如下(A0i,B0i,C0i)为直线上一点坐标，(pi,qi,ri)为直线的矢量方向；用基准相机对激光点成像，得到基准图像；(2)备份相机与基准相机坐标转换可另设备份相机，备份相机到基准相机坐标系的转换矩阵为R=r11r12r13r21r22r23r31r32r33,]]>平移矩阵为T=txtytz,]]>同时用备份相机对激光点成像，得到备份图像；(3)激光图像处理将步骤(1)及步骤(2)得到的基准图像和备份图像中灰度值大于灰度阈值的像素点分割出来，剔除伪激光点及由其他杂光在图像中引起的噪点；根据从图像中提取出的激光点的能量中心，得到激光点能量中心在基准图像中的坐标和备份图像中的坐标，并确定图像中的激光点对应的编号；(4)激光点三维恢复结合相机参数，对步骤(3)中识别出的各激光点的坐标进行校正，消除其畸变误差，进行基准相机、备份相机与主动结构光的坐标解算，激光点在基准图像上三维坐标确定方法为：A=f10-x1i0000f1y1i000000qi-pi0000ri0-pix1if1-y1if1f12-x1if1y1if1-f12-pi-qi-ripiqiri]]>其中f1为基准相机焦距，(x1i,y1i)i＝1～N为基准图像中激光点坐标，C=00qiA0i-piB0iriA0i-piC0i00]]>M＝(A)-1C其中M＝(mi)6×1，(A)-1表示对矩阵A进行逆运算xp(i)=(m1+m4)/2000yp(i)=(m2+m5)/2000zp(i)=(m3+m6)/2000]]>得到激光点的三维坐标；其中(xp(i),yp(i),zp(i))i＝1～N为地面投射的主动结构光点在基准相机坐标系下的坐标；激光点在基准图像上三维坐标确定方法为：A=r13x2i+r11f2-r23x2i-r21f2-r33x2i-r31f2000r13y2i+r12f2-r23y2i-r22f2-r33y2i-r32f2000000qi-pi0000ri0-pi-L1-L2-L3L1L2L3-pi-qi-ripiqiri]]>其中：f2为备份相机焦距，(x2i,y2i)i＝1～N为备份图像中激光点的坐标，L1＝(r23x2i+r21f2)*(r33y2i+r32f2)-(r33x2i+r31f2)*(r23y2i+r22f2)L2＝-(r33x2i+r31f2)*(r13y2i+r12f2)+(r13x2i+r11f2)*(r33y2i+r32f2)L3＝-(r13x2i+r11f2)*(r23y2i+r22f2)+(r23x2i+r21f2)*(r13y2i+r12f2)C=r11f2tx+r13x2itx+r21f2ty+r23x2ity+r31f2tz+r33x2itzr12f2tx+r13y2itx+r22f2ty+r23y2ity+r32f2tz+r33y2itzqiA0i-piB0iriA0i-piC0i00]]>M＝(A)-1C其中M＝(mi)6×1，(A)-1表示对矩阵A进行逆运算xp(i)=(m1+m4)/2000yp(i)=(m2+m5)/2000zp(i)=(m3+m6)/2000]]>得到激光点的三维坐标；其中(xp(i),yp(i),zp(i))i＝1～N为地面投射的主动结构光点在备份相机坐标系下的坐标。(5)障碍判断结合相机的安装及巡视器的姿态，得到由相机坐标系到水平坐标系的转换矩阵，然后进行平面拟合，得到各激光点到拟合平面的距离，进而判断激光投射区域是否存在障碍。所述步骤(5)中相机坐标系的定义为：原点位于相机光心，Z轴沿相机的光轴向前，与图像平面垂直，X轴与Z轴垂直，指向相机系统的右侧，Y轴与X轴、Z轴满足右手定则。本专利技术与现有技术相比的优点在于：(1)本专利技术能够在阴影区域或者缺乏纹理特征区域进行环境感知，利用结构光的先验信息和单个相机配合进行快速三维恢复，计算量小，处理时间短，能够实现障碍物的快速识别和判断；(2)本专利技术基准相机及备份相机都可与主动结构光形成测量，作为补充备份，增加系统可靠性，可应用于巡视探测器或移动机器人的在线实时障碍探测；(3)本专利技术提出了将主动结构光设备和相机测量的坐标系进行统一的标定方法，通过装订数据实现了结构光的直接坐标测量。附图说明图1为本专利技术的流程图；图2为本专利技术的激光点构型示例图。具体实施方式下本文档来自技高网...

【技术保护点】
一种基于单目相机和主动结构光的障碍探测方法，其特征在于，具体步骤如下：(1)基准相机与主动结构光坐标标定在主动结构光的外部粘接基准镜作为外测基准建立基准镜下坐标系，同时将基准镜作为基准相机虚拟坐标系的外引基准，建立与主动结构光外测基准之间的关系，得到基准相机坐标系下主动结构光出射线的标定方程；假设主动结构光一共设计有N个激光出射点，标定得到的主动结构光的出射线方程在基准相机坐标系下的描述如下(A0i,B0i,C0i)为直线上一点坐标，(pi,qi,ri)为直线的矢量方向；用基准相机对激光点成像，得到基准图像；(2)备份相机与基准相机坐标转换可另设备份相机，备份相机到基准相机坐标系的转换矩阵为R=r11r12r13r21r22r23r31r32r33,]]>平移矩阵为T=txtytz,]]>同时用备份相机对激光点成像，得到备份图像；(3)激光图像处理将步骤(1)及步骤(2)得到的基准图像和备份图像中灰度值大于灰度阈值的像素点分割出来，剔除伪激光点及由其他杂光在图像中引起的噪点；根据从图像中提取出的激光点的能量中心，得到激光点能量中心在基准图像中的坐标和备份图像中的坐标，并确定图像中的激光点对应的编号；(4)激光点三维恢复结合相机参数，对步骤(3)中识别出的各激光点的坐标进行校正，消除其畸变误差，进行基准相机、备份相机与主动结构光的坐标解算，激光点在基准图像上三维坐标确定方法为：A=f10-x1i0000f1y1i000000qi-pi0000ri0-pix1if1-y1if1f12-x1if1y1if1-f12-pi-qi-ripiqiri]]>其中f1为基准相机焦距，(x1i,y1i)i＝1～N为基准图像中激光点坐标，C=00qiA0i-piB0iriA0i-piC0i00]]>M＝(A)‑1C其中M＝(mi)6×1，(A)‑1表示对矩阵A进行逆运算xp(i)=(m1+m4)/2000yp(i)=(m2+m5)/2000zp(i)=(m3+m6)/2000]]>得到激光点的三维坐标；其中(xp(i),yp(i),zp(i))i＝1～N为地面投射的主动结构光点在基准相机坐标系下的坐标；激光点在备份图像上三维坐标确定方法为：A=r13x2i+r11f2-r23x2i-r21f2-r33x2i-r31f2000r13y2i+r12f2-f23y2i-r22f2-r33y2i-r32f2000000qi-pi0000ri0-pi-L1-L2-L3L1L2L3-pi-qi-ripiqiri]]>其中：f2为备份相机焦距，(x2i,y2i)i＝1～N为备份图像中激光点的坐标，L1＝(r23x2i+r21f2)*(r33y2i+r32f2)‑(r33x2i+r31f2)*(r23y2i+r22f2)L2＝‑(r33x2i+r31f2)*(r13y2i+r12f2)+(r13x2i+r11f2)*(r33y2i+r32f2)L3＝‑(r13x2i+r11f2)*(r23y2i+r22f2)+(r23x2i+r21f2)*(r13y2i+r12f2)C=r11f2tx+r13x2itx+r21f2ty+r23x2ity+r31f2tz+r33x2itzr12f2tx+r13y2itx+r22f2ty+r23y2ity+r32f2tz+r33y2itzqiA0i-piB0iriA0i-piC0i00]]>M＝(A)‑1C其中M＝(mi)6×1，(A)‑1表示对矩阵A进行逆运算xp(i)=(m1+m4)/2000yp(i)=(m2+m5)/2000zp(i)=(m3+m6)/2000]]>得到激光点的三维坐标；其中(xp(i),yp(i),zp(i))i＝1～N为地面投射的主动结构光点在备份相机坐标系下的坐标；(5)障碍判断结合相机的安装及巡视器的姿态，得到由相机坐标系到水平坐标系的转换矩阵，然后进行平面拟合，得到各激光点到拟合平面的距离，进而判断激光投射区域是否存在障碍。...

【技术特征摘要】
1.一种基于单目相机和主动结构光的障碍探测方法，其特征在于，具体步
骤如下：
(1)基准相机与主动结构光坐标标定
在主动结构光的外部粘接基准镜作为外测基准建立基准镜下坐标系，同时
将基准镜作为基准相机虚拟坐标系的外引基准，建立与主动结构光外测基准之
间的关系，得到基准相机坐标系下主动结构光出射线的标定方程；假设主动结
构光一共设计有N个激光出射点，标定得到的主动结构光的出射线方程在基准
相机坐标系下的描述如下(A0i,B0i,C0i)为直线
上一点坐标，(pi,qi,ri)为直线的矢量方向；用基准相机对激光点成像，得到基准
图像；
(2)备份相机与基准相机坐标转换
可另设备份相机，备份相机到基准相机坐标系的转换矩阵为
R=r11r12r13r21r22r23r31r32r33,]]>平移矩阵为T=txtytz,]]>同时用备份相机对激光点成像，得到备
份图像；
(3)激光图像处理
将步骤(1)及步骤(2)得到的基准图像和备份图像中灰度值大于灰度阈
值的像素点分割出来，剔除伪激光点及由其他杂光在图像中引起的噪点；
根据从图像中提取出的激光点的能量中心，得到激光点能量中心在基准图
像中的坐标和备份图像中的坐标，并确定图像中的激光点对应的编号；
(4)激光点三维恢复
结合相机参数，对步骤(3)中识别出的各激光点的坐标进行校正，消除其
畸变误差，进行基准相机、备份相机与主动结构光的坐标解算，激光点在基准

\t图像上三维坐标确定方法为：
A=f10-x1i0000f1y1i000000qi-pi0000ri0-pix1if1-y1if1f12-x1if1y1if1-f12-pi-qi-ripiqiri]]>其中f1为基准相机焦距，(x1i,y1i)i＝1～N为基准图像中激光点坐标，
C=00qiA0i-piB0iriA0i-piC0i00]]>M＝(A)-1C
其中M＝(mi)6×1，(A)-1表示对矩阵A进行逆运算
xp(i)=(m1+m4)/2000yp(i)=(m2+m5)/2000zp(i)=(m3+m6)/2000]]>得到激光点的三维坐标；
其中(xp(i),yp(i),zp(...

【专利技术属性】
技术研发人员：毛晓艳，邢琰，刘祥，滕宝毅，贾永，
申请(专利权)人：北京控制工程研究所，
类型：发明
国别省市：北京;11