多视觉传感器融合装置及其方法和电子设备制造方法及图纸

一种多视觉传感器融合装置及其方法和电子设备。该多视觉传感器融合装置包括:一双目相机，其中该双目相机包括被间隔布置的一左目相机和一右目相机，其中该左目相机用于采集一场景的图像信息以得到初始的左目图像，其中该右目相机用于同步采集该场景的图像信息以得到初始的右目图像；一TOF相机，其中该TOF相机与该双目相机之间的相对位置固定，用于同步采集该场景的深度信息以得到初始的深度图像；以及一多视觉传感器融合系统，其中该多视觉传感器融合系统分别与该双目相机和该TOF相机可通信地连接，用于以该初始的深度图像为参考，对该初始的左目图像和该初始的右目图像进行处理，以获得融合的深度图像。以获得融合的深度图像。以获得融合的深度图像。

【技术实现步骤摘要】
多视觉传感器融合装置及其方法和电子设备


[0001]本专利技术涉及视觉传感器
，尤其是涉及一种多视觉传感器融合装置及其方法和电子设备。

技术介绍

[0002]随着人工智能的飞速发展，对高精度的视觉传感器的需求越来越多。而良好的深度信息可以为以视觉为基础的各类算法开发提供更好地帮助，便于在诸如安防、监控、机器视觉或机器人等许多领域得到广泛拓展。例如：自动驾驶中的物体识别和障碍物检测；工业中散乱码放物体的识别、分拣、拆垛、码垛；物流场景中物体的货架抓取等等。
[0003]目前，用于获取深度信息的深度视觉传感器主要有双目视觉立体匹配技术(如双目相机)、TOF(Time of Flight，飞行时间法)技术(如TOF相机)、以及结构光技术(如结构光相机)等等。然而，单独的TOF相机存在多路径干扰的影响，并且在反射率低的区域存在深度信息丢失，整体的分辨率较低、点云稀疏，特别是在远距离时获取的深度信息的精度较差；而双目相机虽然没有TOF相机的缺点，但计算量较大，并且存在遮挡、重复纹理以及弱纹理区域匹配错误的问题，导致通过双目相机获取的深度信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视觉传感器融合装置，其特征在于，包括:一双目相机，其中所述双目相机包括被间隔布置的一左目相机和一右目相机，其中所述左目相机用于采集一场景的图像信息以得到初始的左目图像，其中所述右目相机用于同步采集该场景的图像信息以得到初始的右目图像；一TOF相机，其中所述TOF相机与所述双目相机之间的相对位置固定，用于同步采集该场景的深度信息以得到初始的深度图像；以及一多视觉传感器融合系统，其中所述多视觉传感器融合系统分别与所述双目相机和所述TOF相机可通信地连接，用于以所述初始的深度图像为参考，对所述初始的左目图像和所述初始的右目图像进行处理，以获得融合的深度图像。2.如权利要求1所述的多视觉传感器融合装置，进一步包括一RGB相机，其中所述RGB相机与所述TOF相机之间的相对位置固定，用于同步采集该场景的颜色信息以得到RGB图像。3.如权利要求2所述的多视觉传感器融合装置，其中，所述TOF相机被设置于所述双目相机的所述左目相机和所述右目相机之间，并且所述TOF相机的光心位于所述左目相机的光心和所述右目相机的光心之间的连线上。4.如权利要求3所述的多视觉传感器融合装置，其中，所述RGB相机被设置于所述双目相机的所述左目相机和所述右目相机之间，并且所述RGB相机的光心位于所述左目相机的光心和所述右目相机的光心之间的连线上。5.如权利要求3所述的多视觉传感器融合装置，其中，所述RGB相机被设置于所述双目相机的所述左目相机和所述右目相机之间，并且所述RGB相机的光心与所述TOF相机的光心之间的连线垂直于所述左目相机的光心和所述右目相机的光心之间的连线。6.如权利要求1所述的多视觉传感器融合装置，其中，所述多视觉传感器融合系统包括相互可通信地连接的一获取模块和一融合模块，其中所述获取模块分别与所述双目相机和所述TOF相机可通信地连接，用于获取所述初始的左目图像、所述初始的右目图像以及所述初始的深度图像；其中所述融合模块用于以所述初始的深度图像中像素点的深度值作为参考，在预设的视差范围内对所述初始的左目图像和所述初始的右目图像进行点对匹配，以得到初始的双目深度图像，使得所述初始的双目深度图像作为所述融合的深度图像。7.如权利要求2至5中任一所述的多视觉传感器融合装置，其中，所述多视觉传感器融合系统包括相互可通信地连接的一获取模块和一融合模块，其中所述获取模块分别与所述双目相机和所述TOF相机可通信地连接，用于获取所述初始的左目图像、所述初始的右目图像、所述初始的深度图像以及所述RGB图像；其中所述融合模块用于以所述初始的深度图像中像素点的深度值作为参考，在预设的视差范围内对所述初始的左目图像和所述初始的右目图像进行点对匹配，以得到初始的双目深度图像，使得所述初始的双目深度图像作为所述融合的深度图像。8.如权利要求7所述的多视觉传感器融合装置，其中，所述多视觉传感器融合系统还包括一预处理模块，其中所述预处理模块被可通信地设置在所述获取模块和所述融合模块之间，用于对经由所述获取模块获取的所述初始的左目图像、所述初始的右目图像以及所述初始的深度图像进行预处理，以得到预处理的左目图像、预处理的右目图像以及预处理的深度图像，使得所述融合模块用于以所述预处理的深度图像中像素点的深度值作为参考，在所述预设的视差范围内对所述预处理的左目图像和所述预处理的右目图像进行点对匹
配，以得到所述初始的双目深度图像。9.如权利要求8所述的多视觉传感器融合装置，其中，所述预处理模块包括一中值滤波模块、一下采样模块以及一深度滤波模块，其中所述中值滤波模块与所述获取模块可通信地连接，用于通过中值滤波分别对所述初始的左目图像和所述初始的右目图像进行优化去噪，以得到滤波后的左目图像和滤波后的右目图像；其中所述下采样模块与所述中值滤波模块可通信地连接，用于分别对所述滤波后的左目图像和所述滤波后的右目图像进行向下采样，以得到所述预处理的左目图像和所述预处理的右目图像；其中所述深度滤波模块与所述获取模块可通信地连接，用于通过导向滤波，参考所述RGB图像对所述初始的深度图像进行滤波处理，以得到滤波后的深度图像，使得所述滤波后的深度图像直接作为所述预处理的深度图像。10.如权利要求9所述的多视觉传感器融合装置，其中，所述预处理模块还包括一上采样模块，其中所述上采样模块与所述深度滤波模块可通信地连接，用于对所述滤波后的深度图像进行向上采样，以得到上采样后的深度图像，使得所述上采样后的深度图像被作为所述预处理的深度图像。11.如权利要求10所述的多视觉传感器融合装置，其中，所述融合模块包括相互可通信地连接的一畸变极线校正模块和一双目匹配模块，其中所述畸变极线校正模块与所述预处理模块可通信地连接，用于对所述预处理的左目图像和所述预处理的右目图像进行极线畸变校正，以得到校正后的双目图像；其中所述双目匹配模块与所述预处理模块可通信地连接，用于参考所述预处理的深度图像，对所述校正后的双目图像进行双目立体匹配，以得到所述初始的双目深度图像。12.如权利要求11所述的多视觉传感器融合装置，其中，所述双目匹配模块包括相互可通信地连接的一转换模块和一代价计算模块，其中所述转换模块用于根据所述TOF相机与所述左目相机之间的位姿关系，将所述预处理的深度图像转换到所述左目相机的坐标系下，以得到左目深度参考图像，其中所述代价计算模块用于对所述左目深度参考图像中存在深度值的像素点在所述预处的视差范围内进行代价计算以进行点对匹配，从而得到所述初始的双目深度图像。13.如权利要求12所述的多视觉传感器融合装置，其中，所述双目匹配模块的所述转换模块只用于将所述预处理的深度图像中深度值小于所述TOF相机的探测距离的像素点转换至所述左目相机的坐标系下，以使所述左目深度参考图像中只保留了所述预处理的深度图像中深度值小于所述探测距离的深度信息。14.如权利要求7所述的多视觉传感器融合装置，其中，所述多视觉传感器融合系统还包括一后处理模块，其中所述后处理模块与所述融合模块可通信地连接，用于对所述初始的双目深度图像进行后处理，以得到最终的深度图像，使得所述最终的深度图像是稠密的且精度较高的深度图像。15.如权利要求14所述的多视觉传感器融合装置，其中，所述后处理模块包括相互可通信地连接的一左右一致性检测模块和一误匹配点填充模块，其中所述左右一致性检测模块用于对所述初始的双目深度图像进行左右一致性检测，以得到所述初始的双目深度图像中存在的误匹配点；其中所述误匹配点填充模块用于对所述误匹配点的深度信息进行填充处理，以剔除所述误匹配点。
16.如权利要求15所述的多视觉传感器融合装置，其中，所述误匹配点填充模块还用于当所述误匹配点的深度小于所述TOF相机的探测距离时，将所述预处理的深度图像中相应像素点的深度信息填充到所述误匹配点；当所述误匹配点的深度不小于所述TOF相机的探测距离时，采用水平线搜索的方法对所述误匹配点进行填充。17.如权利要求16所述的多视觉传感器融合装置，其中，所述后处理模块还包括一杂散点滤除模块，其中所述杂散点滤除模块与所述误匹配点填充模块可通信地连接，用于通过对所述填充后的双目深度图像进行连通域判断，去除变化较大且连通空间较小的区域，以得到滤除杂散点后的双目深度图像。18.如权利要求17所述的多视觉传感器融合装置，其中，所述后处理模块还包括一染色模块，其中所述染色模块分别与所述杂散点滤除模块和所...

【专利技术属性】
技术研发人员：孙佳睿，李楠，李健，金瑞，
申请(专利权)人：浙江舜宇智能光学技术有限公司，
类型：发明
国别省市：