一种基于全向结构光的大视场深度测量系统及方法技术方案

一种基于全向结构光的大视场深度测量系统及方法，该系统包括摄像机、双曲面反射镜、至少4个投影仪、三轴移动平台和计算机；投影仪和摄像机均固定放置在三轴移动平台上，且投影仪围绕摄像机均匀分布布置；三轴移动平台可以沿x、y、z三个轴进行移动；投影仪投射的编码结构光照射在被测场景目标物上，经过双曲面反射镜反射后进入摄像机成像；所成图像由计算机进行采集并进行处理获得场景深度信息；采用双曲面镜反射成像，扩大了摄像机的视场范围，与结构光视觉测量相结合，实现了宽视场的视觉三维感知测量；系统结构简单，实用性强，摄像机与投影仪无需精确对准即能完成测量任务；采用平面白板完成摄像机与投影仪标定，操作简单，标定精度较高。

【技术实现步骤摘要】

本专利技术属于测量
，具体涉及一种基于全向结构光的大视场深度测量系统及方法。
技术介绍
立体视觉是机器视觉(robot vision)领域的关键技术，即由同一场景的两幅或多幅观测图像出发获取目标物三维信息的一种方法。立体视觉的目的是根据所测的图像信息，建立被观测景物的三维模型。心理学上的视觉感知使我们得知二维图像本身蕴含着丰富的三维信息，其中最重要的就是深度信息，因此深度感知与测量是立体视觉的研究基础。它主要研究如何利用机器视觉系统模拟、延伸和扩展人的视觉感知能力，使机器人能在视觉系统引导下有效的与周围环境产生作用。传统的深度测量技术分为被动式和主动式两种。被动式深度测量技术是指视觉系统接受来自场景发射或反射的光能量，然后摄像机捕获图像，在这些图像的基础上恢复场景的深度。而主动式深度测量技术有专门的光源装置，由光源装置向场景发射能量，然后由摄像机捕获图像，根据系统的几何关系恢复场景深度。被动式深度测量技术中具有代表性的就是双目立体视觉技术，其基本原理就是利用位置不同的两台或者一台摄像机经过移动或旋转拍摄同一副场景，通过计算空间点在两幅图像中的视差，来获得该点的深度信息。双目立体视觉技术理论基础强，方法可靠。但是它需要解决不同摄像机捕获的图像之间像素的匹配难题。为了解决双目立体视觉技术对应点匹配的难题，结构光技术被提出。结构光技术用一个光源装置代替双目视觉中的一个摄像机。用光源装置向场景中投射已知图案，用摄像机捕获图案，根据系统几何关系和三角测量原理获得待测目标物的深度。结构光技术是一种主动式深度测量技术，由于此技术使用已知图案对空间待测目标物进行标记，因此很好的解决了对应点匹配的难题。同时结构光技术还具有成像系统结构紧凑，深度测量准确的优点。但是当前的结构光技术普遍所获视场较小，一次拍摄只能获得空间中零散的信息，无法对场景有一个全面的感知，限制了此技术的应用和发展。投影仪为一种常见的光源装置，由于其不是图像捕捉装置，其标定的难点是获取目标特征点的图像坐标。根据获取坐标的方式，投影仪标定方法通常有三类：(1)获得标定物上特征点的世界坐标，运用相位技术求出其图像坐标。这类方法需要多次投射正弦光栅，并且图像坐标的精度依赖于绝对相位展开的精度；(2)同样先测得标定物上特征点的世界坐标，然后将特定的结构光图案投射到标定物上，运用交比不变性换算出投影图案特征点在图像坐标下的坐标。这类方法需要分别将用于相机标定和投影仪标定的图案区分开来，还需要做直线拟合和灰度插值；(3)获得投影图案特征点的图像坐标，利用已标定相机模型的参数，反向投影求解其世界坐标。为了达到将相机标定和投影仪标定的图案区分开来的目的，此类方法通常需要特殊设计的标定板。
技术实现思路
：针对现有技术中存在的不足，本专利技术提出一种基于全向结构光的大视场深度测量系统及方法，将全向图和结构光结合起来，既利用全景成像大视场特点，又利用主动视觉优势进行深度信息提取，在获得大视场的同时，还可以获得周围场景的深度信息，进而实现三维重建。本专利技术的技术方案是这样实现的：1.一种基于全向结构光的大视场深度测量系统，该系统包括全景摄像机、结构光投射单元、三轴移动平台和计算机；所述全景摄像机包括摄像机和双曲面反射镜；所述双曲面反射镜倒立放置在摄像机的正上方；所述结构光投射单元，包括至少4个投影仪，即第一投影仪、第二投影仪、第三投影仪和第四投影仪；所述结构光投射单元和摄像机均固定放置在三轴移动平台的台面上，且第一投影仪、第二投影仪、第三投影仪和第四投影仪围绕摄像机均匀分布布置；所述三轴移动平台可以沿x、y、z三个轴进行移动；所述第一投影仪、第二投影仪、第三投影仪和第四投影仪投射的编码结构光照射在被测场景目标物表面上，被结构光照射的被测场景目标物的光线经过双曲面反射镜反射后进入摄像机成像；所成图像由计算机进行采集，并由计算机对采集图像进行处理获得场景深度信息。采用所述的基于全向结构光的大视场深度测量系统进行场景深度测量的方法，实施过程分为标定阶段和测量阶段，进行一次标定即可连续测量，包括如下步骤：A、标定阶段：A.1.调整摄像机和双曲面反射镜的相对位置，使二者的轴心在一条直线上，并尽量使得摄像机设置在双曲面反射镜的第二焦点位置上，使全景摄像机具有单视点特性；调整摄像机镜头焦距，保证在双曲面反射镜四周的反射光路方向上距离摄像机50～400cm范围内的目标物所成图像较为清晰；A.2.标定全景摄像机的参数，具体步骤如下：A.2.1:在全景摄像机的视场范围内，首先利用格子尺寸为30mm×30mm的7×9的棋盘格标定模板，拍摄一幅1024×768像素的图像；自由移动该棋盘格标定模板7次，每移动一次拍摄一幅1024×768像素的图像，最终通过全景摄像机捕捉到8幅不同位置的该标定模板的图像，这8幅图像都称为全景摄像机的待标定图像；A.2.2:对全景摄像机的每幅待标定图像进行角点(棋盘格角点)提取；A.2.3:利用步骤A.2.2所提取的所有角点的图像坐标来标定全景摄像机的内部参数，包括全向图中心坐标u0、v0以及仿射变换参数k1、k2、k3；A.2.4:根据步骤A.2.3的标定结果，确定被测目标物表面反射到全景摄像机的光线方程；A.3：对投影仪分别进行标定；采用至少两个深度已知的参考面对投影仪进行标定，进行一次标定即可连续测量，具体方法如下：垂直于世界坐标系的X轴，在待标定投影仪正前方设置第一参考面或者第二参考面，参考面的深度应保证结构光投射到摄像机视场范围内且所成图像较为清晰；所述参考面的深度为参考面到摄像机的距离；假设投影仪的投射光线为Li，被测目标物表面目标点为O，与Li对应的全景摄像机捕捉的被测目标物表面目标点的光线为Lx，对投影仪的标定，就是要计算出射线Li的方程，具体步骤如下：1).打开投影仪，使待标定投影仪投射出的编码结构光照射到深度为d1的第一参考面上，由全景摄像机捕捉到第一参考面的图像；假设第一参考面上的点r1反射到全景摄像机的反射光线为Lo1，根据全景摄像机的标定结果所得到的图像坐标得到光线Lo1的方向向量为(x1,y1,z1)，又根据Lo1经过双曲面反射镜第一焦点即世界坐标系的原点(0,0,0)，得出Lo1的参数方程为：x=x1·ty=y1·tz=z1·t]]>其中t为任意非零变量；由第一参考面的平面方程为x＝d1，可求出r1在世界坐标系下的坐标为2本文档来自技高网...

【技术保护点】
一种基于全向结构光的大视场深度测量系统，其特征在于：该系统包括全景摄像机(1)、结构光投射单元、三轴移动平台(8)和计算机；所述全景摄像机包括摄像机(2)和双曲面反射镜(3)；所述双曲面反射镜(3)倒立放置在摄像机(2)的正上方；所述结构光投射单元，包括至少4个投影仪，即第一投影仪(4)、第二投影仪(5)、第三投影仪(6)和第四投影仪(7)；所述结构光投射单元和摄像机(2)均固定放置在三轴移动平台(8)的台面上，且第一投影仪(4)、第二投影仪(5)、第三投影仪(6)和第四投影仪(7)围绕摄像机(2)均匀分布布置；所述三轴移动平台(8)可以沿x、y、z三个轴进行移动；所述4个投影仪投射的编码结构光照射在被测场景目标物表面上，被结构光照射的被测场景目标物的光线经过双曲面反射镜(3)反射后进入摄像机(2)成像；所成图像由计算机进行采集，并由计算机对采集图像进行处理获得场景深度信息。

【技术特征摘要】
1.一种基于全向结构光的大视场深度测量系统，其特征在于：该系统包括全景摄像机(1)、
结构光投射单元、三轴移动平台(8)和计算机；
所述全景摄像机包括摄像机(2)和双曲面反射镜(3)；所述双曲面反射镜(3)倒立放
置在摄像机(2)的正上方；
所述结构光投射单元，包括至少4个投影仪，即第一投影仪(4)、第二投影仪(5)、
第三投影仪(6)和第四投影仪(7)；
所述结构光投射单元和摄像机(2)均固定放置在三轴移动平台(8)的台面上，且第一
投影仪(4)、第二投影仪(5)、第三投影仪(6)和第四投影仪(7)围绕摄像机(2)均匀
分布布置；
所述三轴移动平台(8)可以沿x、y、z三个轴进行移动；
所述4个投影仪投射的编码结构光照射在被测场景目标物表面上，被结构光照射的被测
场景目标物的光线经过双曲面反射镜(3)反射后进入摄像机(2)成像；所成图像由计算机
进行采集，并由计算机对采集图像进行处理获得场景深度信息。
2.根据权利要求1所述的基于全向结构光的大视场深度测量系统，其特征在于：双曲面
反射镜(3)可以把水平方向360度范围内目标物的光线反射到摄像机(2)，从而使得摄像
机(2)在一次拍摄中获得远大于普通摄像机视野范围的图像，即全向图。
3.采用权利要求1所述的基于全向结构光的大视场深度测量系统进行场景深度测量的方
法，实施过程分为标定阶段和测量阶段，进行一次标定即可连续测量，其特征在于：包括如
下步骤：
A、标定阶段：
A.1：调整摄像机(2)和双曲面反射镜(3)的相对位置，使二者的轴心在一条直线上，
并尽量使得摄像机(2)设置在双曲面反射镜(3)的第二焦点位置上；调整摄像机镜头焦距，
保证在双曲面反射镜四周的反射光路方向上距离摄像机50～400cm范围内的目标物所成图像
较为清晰；
A.2：标定全景摄像机的参数；
A.3：对投影仪进行标定；
采用至少两个深度已知的参考面对投影仪进行标定，进行一次标定即可连续测量，具体
方法如下：
垂直于世界坐标系的X轴，在待标定投影仪正前方已知深度处设置第一参考面或者第二
参考面，参考面的深度应保证结构光投射到摄像机视场范围内且所成图像较为清晰；所述参
考面的深度为参考面到摄像机的距离；
假设投影仪的投射光线为Li，被测目标物表面目标点为O，与Li对应的全景摄像机捕捉
的被测目标物表面目标点的光线为Lx，对投影仪的标定，就是要计算出射线Li的方程，具体
步骤如下：
1).打开投影仪，使待标定投影仪投射出的编码结构光照射到深度为d1的第一参考面上，
由全景摄像机捕捉到第一参考面的图像；假设第一参考面上的点r1反射到全景摄像机的反射
光线为Lo1，根据全景摄像机的标定结果所得到的图像坐标得到光线Lo1的方向向量为
(x1,y1,z1)，又根据Lo1经过双曲面反射镜第一焦点即世界坐标系的原点(0,0,0)，得出Lo1的参
数方程为：
x=x1·ty=y1·tz=z1·t]]>其中t为任意非零变量；
由第一参考面的平面方程为x＝d1，可求出r1在世界坐标系下的坐标为2).使待标定投影仪投射出的编码结构光照射到深度为d2的第二参考面上，由全景摄像
机捕捉到第二参考面的图像，利用相应的结构光解码方法，分别计算第一参考面图像与第二
参考面图像中各个编码图案的码值，并根据单位位置上编码图案的唯一性原则确定r1在第二
参考面图像上的对应点r2，假设点r2反射到全景摄像机的反射光线为Lo2，根据全景摄像机的
标定结果所得到的图像坐标得到与之对应的光线Lo2的方向向量为(x2,y2,z2)，Lo2的参数方程
为：
x=x2·t...

【专利技术属性】
技术研发人员：贾同，王炳楠，高海红，孟海秀，张浩，吴景状，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21