三维三目摄像装置及深度融合方法制造方法及图纸
3D three mesh camera and depth fusion method
The present invention provides a 3D camera and three mesh depth fusion method, which comprises: visible light image sensor for shooting the object collected about two visible image data; depth sensor, aiming at the subject acquisition way of depth image data; among them, according to the picked object relationship established between the two pixel regions around visible light image data of the pixel region and the way the depth of image data; and an image processing module is connected with the left and right visible light image sensor and a depth sensor, to the left and right paths visible light image data and a depth image data fusion depth in order to obtain, corresponding to the depth of integration of information of each pixel region left visible image data or the right visible light image data, which can The three-dimensional image is determined according to the fusion depth information and the visible light image data of the left road or the visible light image data on the right road. The quality of 3D images can be obtained.
【技术实现步骤摘要】
三维三目摄像装置及深度融合方法
本专利技术涉及图像处理
，尤其涉及的是一种三维三目摄像装置及深度融合方法。
技术介绍
目前，摄相机的二维(以下简称2D)成像技术都日趋成熟，高清、智能、多维成为未来摄像机的发展趋势。目前无论是芯片商还是设备商，都将未来的发展方向瞄准了三维(以下简称3D)成像与智能分析两个方面，并推出了多种解决方案，解决了一些应用问题。在3D成像方面，有结构光、TOF与双目可见光视差计算深度三种方案，在手势识别、3D摄影及工业检测等取得一些应用。在智能分析方面，2D图像的智能分析在智能交通、人脸识别与智能机器视觉等领域全面推广。但3D图像的智能分析稍显滞后，如主流应用中的3D摄影、智能汽车、人的识别与行为分析等，都是研究多实际应用少，究其原因，就是目前各种主流方案，都存在着无法解决的缺陷，不能形成优质的解决方案，各个方案的缺陷如下：1.结构光方案，在强光下，结构光核心技术激光散斑会被淹没，因此，不合适室外；同时，在长时间监控方面，激光发射设备容易坏，重新换设备后，需要重新标定；2.双目可见光视差计算方案，实现算法需要很高的计算资源，导致实时性很差，而且分辨率越高，要求精度越高，则计算越复杂，同时，双目方案受光照，物体纹理性质影响；3.TOF(飞行时间)方案，分辨率较低，但检测角度最宽，实时性高，不需要额外增加计算资源，几乎无算法开发工作量。
技术实现思路
本专利技术所要解决的技术问题是提供一种三维三目摄像装置及深度融合方法，能够获得优质的3D图像。为解决上述问题，本专利技术提出一种三维三目摄像装置，包括：左右可见光图像传感器，针对拍摄对象采...
【技术保护点】
一种三维三目摄像装置，其特征在于，包括：左右可见光图像传感器，针对拍摄对象采集左右两路可见光图像数据；深度传感器，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；及图像处理模块，连接所述左右可见光图像传感器和深度传感器，用以将所述左右两路可见光图像数据及一路深度图像数据进行深度融合，以得到对应到左路可见光图像数据或右路可见光图像数据的各个像素区域的融合深度信息，从而能够根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据确定三维图像。
【技术特征摘要】
1.一种三维三目摄像装置，其特征在于，包括：左右可见光图像传感器，针对拍摄对象采集左右两路可见光图像数据；深度传感器，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；及图像处理模块，连接所述左右可见光图像传感器和深度传感器，用以将所述左右两路可见光图像数据及一路深度图像数据进行深度融合，以得到对应到左路可见光图像数据或右路可见光图像数据的各个像素区域的融合深度信息，从而能够根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据确定三维图像。2.如权利要求1所述的三维三目摄像装置，其特征在于，所述图像处理模块包括处理器及存储器，存储器和处理器以及存储在存储器上并可被处理器调用的计算机程序，所述处理器执行所述计算机程序时，实现以下步骤：A1：根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行；A2：利用左右可见光图像传感器计算的深度信息，确定左右可见光图像传感器与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器传入的深度信息确定融合深度信息，执行完成；否则继续执行；其中，步骤A1和步骤A2可调换；A3：根据左右可见光图像传感器通过视差法计算的深度信息和深度传感器采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息。3.如权利要求2所述的三维三目摄像装置，其特征在于，所述步骤A3包括对深度传感器采集的深度图像数据的每个像素区域进行反射光强度判别：A31：当反射光强度大于等于设定的强度高值时，根据深度传感器传入的深度信息确定对应像素区域的融合深度信息；A32：当反射光强度小于等于设定的强度低值时，根据所述左右可见光图像传感器计算的深度信息确定对应像素区域的融合深度信息；A33：当反射光强度大于强度低值时并且小于强度高值时，根据反射光强度确定所述深度传感器传入的深度信息的置信度α(i,j)，根据左右两路可见光图像数据的匹配度确定所述左右可见光图像传感器计算的深度信息的置信度β(x,y)，根据置信度α(i,j)及其对应深度信息、和置信度β(x,y)及其对应深度信息，最终确定对应像素区域的融合深度信息。4.如权利要求3所述的三维三目摄像装置，其特征在于，所述步骤A31中和/或所述步骤A2中，以第一路可见光图像数据为基准图，第二路可见光图像数据为匹配图，基准图上的像素点(x，y)的融合深度信息按照如下步骤确定：A311：找到基准图上的像素点(x，y)对应的深度传感器上的像素坐标信息(i,j)，并取该像素坐标信息(i,j)的八个邻域点，共九个点用(i+δi,j+δj)表示；其中，δi∈[-1，+1]δj∈[-1，+1]展开即：(i-1,j-1)、(i,j-1)、(i+1,j-1)、(i-1,j)、(i,j)、(i+1,j)、(i-1,j+1)、(i,j+1)、(i+1,j+1)A312：根据匹配图和所述深度图像数据的像素对应关系，确定该九个点对应所述深度图像数据上的九个大小M*N像素块，每个像素块对应的深度信息为TD(i+δi,j+δj)，反射光强度为RI(i+δi,j+δj)；M和N为正整数；A313：以基准图上的像素点(x,y)为中心，在基准图上取大小M*N的像素块，分别与匹配图上的9个像素块做匹配，找到最佳匹配的像素块，基准图上的像素点(x,y)的融合深度信息D(x,y)即取该像素块对应的深度值TD，即D(x,y)＝TD(i+δi,j+δj)。5.如权利要求4所述的三维三目摄像装置，其特征在于，所述步骤A33包括以下步骤：A331：针对所述深度图像数据，对各个像素点的反射光强度RI(i,j)进行归一化，作为所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。