【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体涉及一种基于多通道偏振双目图像融合的三维重建方法。
技术介绍
1、双目立体视觉技术是一种利用不同空间位置处的两台相机采集同一场景图像，并根据两幅图像的视差计算场景绝对深度信息的技术。相较于光度立体、编码结构光、激光线扫等其他三维成像方法，双目立体视觉技术需要的装置相对简单、无需搭配主动光源、可采集场景绝对深度信息、点云生成效率较高，现已成为一种主流的三维成像方法，广泛应用于人脸识别、自动驾驶、工业生产、增强现实、逆向工程等领域。基于双目立体视觉技术的三维成像主要流程包括相机标定、图像采集、极线校正、立体匹配和三维重建，其中立体匹配是双目立体视觉技术中的关键和难点。立体匹配也被称为视差估计，通过表面纹理特征衡量待匹配像素和候选像素之间的相关性，从而挑选出同名特征点并计算该点在两幅图像中的视差，利用三角测量原理得到其深度信息。由于立体匹配算法要求被摄物体表面具有较强的纹理特征，因此现有的双目立体视觉技术无法适用于高反光、弱纹理表面的三维重建。
2、偏振成像技术是一种新型的光学成像技术，通过在相机上集成偏振滤光芯片、光路中设置旋转偏振片等方式，可以对不同偏振态的场景反射光进行成像，从而采集场景的偏振信息。由于某点处反射光的偏振态与该点所在微面元的材质、纹理等表面属性密切相关，因此偏振成像技术能显著增强场景表面纹理细节特征的表征。通过挖掘偏振信息和表面纹理的内在关联，利用偏振成像技术“强光弱化、弱光强化”特点，有望克服双目成像技术无法适应于高反光、弱纹理表面三维重建的难题。
3、国内
技术实现思路
1、本专利技术的目的在于克服上述技术不足，提出基于多通道偏振双目图像融合的三维重建方法，解决现有技术中双目立体视觉技术无法适用于高反光、弱纹理表面的三维重建的技术问题。
2、为达到上述技术目的，第一方面，本专利技术的技术方案提供一种基于多通道偏振双目图像融合的三维重建方法，包括以下步骤：
3、使用偏振双目相机采集目标场景的多通道偏振双目图像集合，所述多通道偏振双目图像集合包括左目偏振强度图像集合和右目偏振强度图像集合；
4、剔除所述多通道偏振双目图像集合中过曝面积大于设定阈值的偏振强度图像；
5、对所述左目偏振强度图像集合和所述右目偏振强度图像集合进行排列组合，得到多对不同偏振通道组合的双目图像，根据所述偏振双目图像进行相机标定，逐一对所述偏振双目图像进行极线校正、立体匹配，得到视差数据立方；
6、采用数理统计方法检测并剔除视差数据列的离群值，根据数据源的偏振特性对所述视差数据列中剩下的视差数据赋予不同的权重，将加权平均的结果作为融合视差值；
7、逐像素点计算所述融合视差值，得到基于多通道偏振双目图像的融合视差图像；
8、采用视差后处理算法对所述融合视差图像进行视差后处理得到最终视差图像，根据所述最终视差图像进行三维重建得到目标场景的三维点云数据。
9、与现有技术相比，本专利技术提供的基于多通道偏振双目图像融合的三维重建方法的有益效果包括：
10、本专利技术的基于多通道偏振双目图像融合的三维重建方法，首先采用偏振双目相机采集多通道偏振双目图像集合；剔除图像集合中过曝面积大于设定阈值的偏振图像；对左右偏振图像集合进行排列组合，分别得到不同偏振通道组合的立体匹配视差图像，进而构建图像视差三维数据立方；经由上述方式，每个图像像素点可以得到多个视差值，分别对应不同偏振通道图像排列组合并进行立体匹配计算视差的结果，基于数理统计方法检测并剔除视差数列的离群值，根据数据源的偏振特性对剩下的视差数据赋予不同的权重，将其加权平均的结果作为融合视差值；逐像素点计算融合视差值，得到基于多通道偏振双目图像的融合视差图像；采用一系列视差优化算法优化视差图像；并根据最终视差图像进行三维重建得到场景点云数据。
11、为克服双目立体视觉技术中高反光、弱纹理表面易产生点云数据空洞的问题，本专利技术充分考虑不同偏振通道的双目三维重建表面之间的互补性，通过逐像素点提取从多通道偏振双目图像立体匹配得到的视差值数列，基于数理统计方法剔除误匹配视差并加权测算融合视差值，从而得到表面完整、形状准确的三维重建结果。通过挖掘偏振信息和表面纹理的内在关联，利用偏振成像技术“强光弱化、弱光强化”特点，有望克服双目成像技术无法适应于高反光、弱纹理表面三维重建的难题。
12、根据本专利技术的一些实施例，使用偏振双目相机采集目标场景的多通道偏振双目图像集合，包括步骤：
13、使用偏振双目相机的左目采集目标场景的3个以上不同偏振角度的左目偏振强度图像集合，使用偏振双目相机的右目采集目标场景的3个以上不同偏振角度的右目偏振强度图像集合；
14、根据所述左目偏振强度图像集合和所述右目偏振强度图像集合计算出左右偏振度图像、左右偏振方位角图像和左右非偏振强度图像，采集的偏振强度图像在像素点(u,v)处的强度值i与偏振角度θj有关，满足式：
15、
16、式中：s0、s1、s2为斯托克斯参量，采集3幅以上不同偏振角度的偏振图像，即可根据式(1)构建线性方程组求解出强度值i；s0、s1、s2和偏振度ρ、偏振方位角和非偏振强度iun的关系满足式：
17、iun(u,v)＝0.5·s0(u,v)。
18、根据本专利技术的一些实施例，对所述左目偏振强度图像集合和所述右目偏振强度图像集合进行排列组合，得到多对不同偏振通道组合的偏振双目图像，包括步骤：
19、所述左目偏振强度图像集合剩余n1幅图像，所述右目偏振强度图像集合剩余n2幅图像，对所述左目偏振强度图像集合和所述右目偏振强度图像集合进行排列组合得到n1×n2对不同偏振通道组合的双目图像，加上左右偏振度图像、左右偏振方位角图像和左右非偏振强度图像，总计n1×n2+3对偏振双目图像。
20、根据本专利技术的一些实施例，对所述偏振双目相机进行相机标定，逐一对所述双目图像进行极线校正、立体匹配，得到视差数据立方，包括步骤：
21、通过拍摄不同位姿的单平面棋盘格图案，计算得到偏振双目相机的内参矩阵、旋转矩阵、平移矩阵和畸变系数，以对所述偏振双目相机进行相机标定；
22本文档来自技高网...
【技术保护点】
1.一种基于多通道偏振双目图像融合的三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，使用偏振双目相机采集目标场景的多通道偏振双目图像集合，包括步骤：
3.根据权利要求2所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，对所述左目偏振强度图像集合和所述右目偏振强度图像集合进行排列组合，得到多对不同偏振通道组合的偏振双目图像，包括步骤：
4.根据权利要求2所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，对所述偏振双目相机进行相机标定，逐一对所述双目图像进行极线校正、立体匹配，得到视差数据立方，包括步骤：
5.根据权利要求1所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，采用数理统计方法检测并剔除视差数据列的离群值，所述离群值定义为与所述视差数据列中中位数相差超过3倍的换算中位数绝对偏差的元素，所述换算中位数绝对偏差CMAD表达式如下：
6.根据权利要求5所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，根据数据
7.根据权利要求1所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，采用视差后处理算法对所述融合视差图像进行视差后处理得到最终视差图像，包括步骤：
8.根据权利要求7所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，根据所述最终视差图像进行三维重建得到目标场景的三维点云数据，包括步骤：
9.一种基于多通道偏振双目图像融合的三维重建系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的基于多通道偏振双目图像融合的三维重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至8任意一项所述的基于多通道偏振双目图像融合的三维重建方法。
...【技术特征摘要】
1.一种基于多通道偏振双目图像融合的三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，使用偏振双目相机采集目标场景的多通道偏振双目图像集合，包括步骤：
3.根据权利要求2所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，对所述左目偏振强度图像集合和所述右目偏振强度图像集合进行排列组合，得到多对不同偏振通道组合的偏振双目图像，包括步骤：
4.根据权利要求2所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，对所述偏振双目相机进行相机标定，逐一对所述双目图像进行极线校正、立体匹配，得到视差数据立方，包括步骤：
5.根据权利要求1所述的基于多通道偏振双目图像融合的三维重建方法，其特征在于，采用数理统计方法检测并剔除视差数据列的离群值，所述离群值定义为与所述视差数据列中中位数相差超过3倍的换算中位数绝对偏差的元素，所述换算中位数绝对偏差cmad表达式如下：
6.根据权利要求5所述的基于多通道偏振...
【专利技术属性】
技术研发人员：虞益挺，周俊焯，金业，纵园，郝佳，
申请(专利权)人：西北工业大学宁波研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。