【技术实现步骤摘要】
本专利技术属于计算机视觉与深度学习，涉及一种基于物理先验引导特征融合网络的偏振三维重建方法和系统，适用于高精度要求的三维重建应用场景。
技术介绍
1、偏振三维重建是一种重要的目标三维重建方法，在过去几十年里得到了广泛的研究。偏振三维重建技术根据目标对偏振光的反射特性等对目标表面法向量进行估算，实现目标表面三维重建。作为一种被动的三维重建方法，偏振三维重建方法在重建密集纹理细节上表现出色，此外还可以应用于镜面反射和透明物体的重建。尽管一些主动三维重建技术具有高分辨率等优势，如激光雷达和结构光。但是激光雷达只能提供稀疏的三维数据，并且容易受到噪声的影响，而结构光的成像距离非常有限，限制了其应用。因此，与其他三维成像技术相比，偏振三维重建在目标检测和目标分割[1]的应用中具有更大的潜力。然而，为了在表面法线估算中获得更高准确性，以下两个问题亟待解决:(1)在偏振三维重建的物理模型中，方位角有两个π弧度差的解，而不是一个唯一解。π-模糊域的曲面法线估计误差较大，从而导致相应区域重建的三维形状估计不准确。(2)计算天顶需要知道物体表面的反射特性，因为物体表面在漫反射区域和镜面反射区域的物理模型是不同的。然而，在大多数应用中，物体表面的反射特性通常是未知的。此外，真实物体表面的大多数反射光同时包含漫射光和镜面光，这使得计算天顶变得更加困难。
2、为了解决上述两个问题，目前已经提出了许多基于物理模型的偏振三维重建方法，可分为两大类:基于深度数据的偏振三维重建方法(sfp-d)和基于照明或阴影约束的偏振三维重建方法(sfp-is)。
3、近年来，深度学习被引入到偏振三维重建领域，提供了新的问题解决思路。2020年，kondo等人提出了一种新的偏振双向反射分布函数模型[12]，用于创建偏振图像的合成数据集，并基于卷积神经网络估计表面法线。ba等人提出了基于u-net[13]的神经网络。随后，lei等人构建了一个新的复杂场景数据集[14]，并提出了一种基于深度学习的偏振三位重建方法。以上三个方法仅利用了偏振先验信息，这导致在复杂场景(特别是在目标表面有较大镜面反射区域时)的重建效果明显较差。此外，邵等人专门针对透明物体提出了一种基于学习的偏振三维重建方法[15]，并在他们的透明物体数据集上进行了实验，该数据集包含真实世界和合成集合。muglikar等人使用事件相机记录旋转引起的连续偏振信息[16]，重建多个偏振角的相对强度，而不是输入多个偏振角的偏振图像，从而获得所有偏振角的偏振信息。
4、虽然在基于深度学习的偏振三维重建方法中引入可靠的物理先验信息(如遮阳先验)是有价值的，但仍然存在两个具有挑战性的问题:(1)现有的用于深度学习的偏振三维重建数据集只包含未知光照方向和目标表面反射率的偏振图像，难以直接获得阴影先验。通过捕获不同光照方向的图像来构建新的数据集，可以实现阴影先验计算，但会增加成像时间和计算复杂度。(2)偏振先验和阴影先验在深度网络中的有效融合值得研究。偏振先验存在π-模糊的问题，而阴影先验由于光照方向和表面反射率的不确定性往往存在估计误差。从这两种先验信息中提取可靠信息并通过深度学习进行有效融合是实现高质量目标表面法线重建的关键。
技术实现思路
1、本专利技术针对现有技术的不足，提出了一种新的基于物理先验引导特征融合网络的偏振三维重建方法和系统。利用特征校正模块对输入的偏振先验和阴影先验双分支信息分别在通道维度和空间维度上对缺陷进行自动校正。利用基于交叉注意机制的特征融合模块对校正过的偏振先验和阴影先验特征图进行有效融合，实现高精度表面法向量估计，从而重建高质量三维目标。
2、本专利技术所采用的技术方案是：一种基于物理先验引导特征融合网络的偏振三维重建方法，首先从不同偏振角度的偏振图像得到偏振先验图组，包括偏振度、无偏振图像、重新表示的方位角以及视场编码等内容，作为特征融合网络第一个分支的输入。接着我们从不同偏振角度偏振图像，无偏振图像和偏振先验表面法线重建结果得到阴影先验图组，包括镜面置信度和阴影先验表面法线重建结果，作为特征融合网络第二个分支的输入。然后构建特征校正模块对网络两个分支的输入信息分别在通道维度和空间维度进行缺陷校正。对于每一层特征图的提取，我们构建了一个基于高效交叉注意机制的特征提取模型，增强信息交互，并将两个分支的特征融合成一个单一的特征图。采用convnext作为编码器和解码器的主干，加入特征校对模块和特征融合模块的基础上，构建用于偏振三维重建的特征融合网络，并设计一个适用于该网络的损失函数，最后在物体数据集deepsfp和场景数据集spw上分别进行训练，根据训练得到的偏振三维重建模型进行三维重建。该方法包括以下步骤：
3、步骤1，获取偏振先验输入图组：获取目标物体和目标场景分别在不同偏振角度的偏振图像，根据得到的不同偏振角度的偏振图像计算得到包含无偏振图像、偏振度、重新表示的相位角和视场编码的偏振表示图组作为偏振先验输入图组。同时获得偏振先验目标表面重建结果；
4、步骤2，获取阴影先验输入图组：根据不同偏振角度偏振图像，无偏振图像和偏振先验表面目标法线重建结果计算得到包含镜面置信度和阴影先验表面法线重建结果的阴影先验输入图组；
5、步骤3，构建用于偏振三维重建的双分支特征融合网络本文档来自技高网...
【技术保护点】
1.一种基于先验引导融合网络的偏振三维重建方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种基于先验引导融合网络的偏振三维重建方法，其特征在于：双分支特征融合网络由两个编码器组成，用于提取两种不同的先验特征，两个分支除输入通道不同外，结构和参数相同，每个分支都有若干层，每层包括一个下采样模块Down，用于将输入图像下采样到适当的特征图大小，以及多个ConvNeXt块构成的Block用于提取特征；
3.如权利要求1所述的一种基于先验引导融合网络的偏振三维重建方法，其特征在于：所述特征校正模块用于对两个编码器中的第一层特征进行校正，包括通道校正和空间校正，然后通过对通道校正和空间校正的结果进行加权作为综合校正的结果。
4.如权利要求2或3所述的一种基于先验引导融合网络的偏振三维重建方法，其特征在于：所述特征校正模块具体处理过程如下；
5.如权利要求1所述的一种基于先验引导融合网络的偏振三维重建方法，其特征在于：所述特征融合模块用于对编码器中的每一层特征进行融合，具体处理过程如下：
6.如权利要求1所述的一种基于先验
7.如权利要求6所述的一种基于先验引导融合网络的偏振三维重建方法，其特征在于：的表达式如下：
8.如权利要求1所述的一种基于先验引导融合网络的偏振三维重建方法，其特征在于：步骤1的具体实现包括以下子步骤，
9.如权利要求1所述的一种基于先验引导融合网络的偏振三维重建方法，其特征在于：步骤2的具体实现包括以下子步骤，
10.一种基于先验引导融合网络的偏振三维重建系统，其特征在于，包括如下模块：
...【技术特征摘要】
1.一种基于先验引导融合网络的偏振三维重建方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种基于先验引导融合网络的偏振三维重建方法，其特征在于：双分支特征融合网络由两个编码器组成，用于提取两种不同的先验特征，两个分支除输入通道不同外，结构和参数相同，每个分支都有若干层，每层包括一个下采样模块down，用于将输入图像下采样到适当的特征图大小，以及多个convnext块构成的block用于提取特征；
3.如权利要求1所述的一种基于先验引导融合网络的偏振三维重建方法，其特征在于：所述特征校正模块用于对两个编码器中的第一层特征进行校正，包括通道校正和空间校正，然后通过对通道校正和空间校正的结果进行加权作为综合校正的结果。
4.如权利要求2或3所述的一种基于先验引导融合网络的偏振三维重建方法，其特征在于：所述特征校...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。