一种透明物体的表面法线估计方法及系统技术方案

本发明专利技术提供一种透明物体的表面法线估计方法及系统，方法包括：采用网络框架对待估计的透明物体的表面法线进行估计，构建网络框架包括三个编码器和一个解码器；编码器分别是物理先验分支、原始偏振分支以及物理先验置信度分支；使用偏振相机单次拍摄得到待估计的透明物体的四个不同偏振角度的图像，获取图像中每个像素点的原始的线偏振度图、原始的线偏振角图以及物理先验信息；分别输入网络框架，物理先验分支和原始偏振分支中间的特征被提取，并以物理先验置信度分支的特征为指导进行融合得到融合后的特征；融合后的特征输入到所述解码器中对待估计的透明物体的表面法线图进行预测。通过物理先验置信度的概念提高对透明物体表面法线预测的精度。体表面法线预测的精度。体表面法线预测的精度。

【技术实现步骤摘要】
一种透明物体的表面法线估计方法及系统


[0001]本专利技术涉及计算机视觉与3D形状估计
，尤其涉及一种透明物体的表面法线估计方法及系统。

技术介绍

[0002]透明物体是生活中常见的物体，由于它们独特的视觉特性，计算机视觉中常用的三维重建方法难以直接应用在透明物体上。
[0003]物体的表面法线可以提供关于物体表面的详细信息。基于光度信息的方法可以从图像中恢复出像素级的表面法线，例如从阴影中恢复形状(Shape from Shading,SfS)、光度立体法(Photometric Stereo,PS)等等，这些方法在非透明物体中表现良好，但是由于透明物体与光线之间存在的复杂的折射和反射作用，这些方法无法用于透明物体的表面估计上。与SfS和PS方法相比，从偏振信息中成像(Shape from Polarization,SfP)可以建立透明物体表面偏振信息与其表面几何之间的关系。当一束非偏振光(自然光)击中在透明物体表面时，会发生反射与折射现象，反射光与折射光会发生偏振现象，从而成为带有偏振信息的部分偏振光，反射光的偏振信息的改变与该点的表面法线以及入射方向有关，这个关系可由菲涅尔方程来描述，通过观察反射光的偏振信息，就可以解析出该点的表面法线信息。
[0004]目前利用SfP方法恢复透明物体表面的难点如下：
[0005]一、表面反射光的偏振信息存在着π歧义和π/2歧义，导致反射光偏振态与物体表面法线之间不是一对一的关系，而是一对多的关系，一个偏振态对应四个可能的表面法线。
[0006]二、由于透明物体内部存在着光线复杂的交互作用，现有的透明物体SfP方法遵循镜面反射光主导的假设，但背景的透射与光线折射会破坏这个假设，导致误差变大。
[0007]三、数据驱动的深度学习方法可以解决第一个问题，但现有的深度学习架构都未考虑透明物体背景透射造成的干扰，难以直接迁移到透明物体上。
[0008]为了保证透物体尽可能满足镜面反射主导的假设，Saito等人将透明物体放置在一个光学漫射球中，可以保证各个方向的入射光的强度是均匀的，从任何方向观察透明物体都能获得较强的镜面反射光。
[0009]为了解决偏振信息与表面法线的多值性问题，日本学者Miyazaki采用旋转目标测量的方法，匹配旋转前后两种偏振状态的特征点，再进行法线解算。由于透明物体表面极化信息会被背景透射与内部折射影响，Miyazaki等人又使用了逆向偏振光线追踪的方法来对透明物体的形状进行优化。但是这些方法所研究的对象都是简单的透明球体或者透明玻璃板，难以应用在复杂的透明物体表面恢复中。
[0010]深度学习与SfP方法的结合，大大提高了SfP方法的精度。Ba等人首次将深度学习与SfP方法结合，建立了第一个真实世界的物体级的数据集，实验结果证明深度学习方法可以很好的解决多值性问题。Deschaintre等人将深度学习与偏振信息结合，能够同时预测物体的表面形状和表面的双向反射分布函数。除此之外偏振信息和深度学习还被扩展到其他的任务当中，例如场景级法线估计，人体形状估计等等。
[0011]deepSfP是第一个直接处理点云的深度学习框架，但是透明物体存在的透射影响导致物理先验信息可靠性降低，直接将物理先验输入进网络做法在透明物体上无法取得较好的效果。
[0012]Inverse Polaization Raytracing(IPR)是一种使用偏振信息对透明物体进行三维重建的方法。但是存在如下不足：
[0013]一、对初始模型依赖较高；IDR优化算法需要目标物体的初始模型，并且最终的优化效果依赖初始模型的精度，然而大多数情况下透明物体的粗糙模型的获取是有较大代价的。
[0014]二、优化时间长；IDR采取的优化算法每次都需要运行偏振光线追踪算法，并且优化的步数也较多，导致整体的优化算法的时间较长。
[0015]三、难以用于复杂透明物体；IDR算法中只考虑了背部为平面的问题，没有考虑到背部为复杂形状的物体，因此IDR算法难以应用在较复杂的透明物体上。
[0016]现有技术中用于深度学习的偏振数据集都是非透明物体，缺乏透明物体的偏振数据集，并且现有的深度学习架构都直接以偏振信息为输入，表面法线为输出，这种架构在非透明物体上是比较适合的，但是透明物体存在的透射会带来较大的干扰，因此这种以原始偏振信息输入的架构难以直接迁移到透明物体上。
[0017]现有技术中，深度学习偏振框架难以处理透明物体自身特性的导致的物理先验信息可靠度下降。
[0018]以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。

技术实现思路

[0019]本专利技术为了解决现有的问题，提供一种透明物体的表面法线估计方法及系统。
[0020]为了解决上述问题，本专利技术采用的技术方案如下所述：
[0021]一种透明物体的表面法线估计方法，采用网络框架对待估计的透明物体的表面法线进行估计，包括如下步骤：S1：构建网络框架，所述网络框架包括三个编码器和一个解码器；三个所述编码器分别是物理先验分支、原始偏振分支以及物理先验置信度分支；S2：使用偏振相机单次拍摄得到所述待估计的透明物体的四个不同偏振角度的图像，获取所述图像中每个像素点的原始的线偏振度图、原始的线偏振角图以及物理先验信息；S3：所述网络框架的物理先验分支以所述物理先验信息为输入，所述原始偏振分支以所述原始的线偏振度图、所述原始的角偏振角图作为输入，所述物理先验置信度分支以物理先验置信度为输入，所述物理先验分支和所述原始偏振分支中间的特征被提取，并以所述物理先验置信度分支的特征为指导进行融合得到融合后的特征；S4：所述融合后的特征输入到所述解码器中对所述待估计的透明物体的表面法线图进行预测。
[0022]优选地，所述编码器的结构是加入了通道注意力的进制的改进ResNet50，在所述编码器的最后一层中加入了空洞空间金字塔池化层。
[0023]优选地，在所述编码器的四个阶段引出的中间特征将进行逐元素的融合：设x
prior
,x
c
,x
orig
分别为所述物理先验分支、所述物理先验置信度分支和所述原始偏振分支的特征，
则融合后的特征为：
[0024]x
fusion
＝x
orig
+Sigmoid(x
c
)
·
x
prior
[0025]其中，Sigmoid(
·
)用于将所述物理先验置信度分支的中间特征转换到(0,1)的范围内。
[0026]优选地，所述解码器是由五个相同的上采样模块构成，逐渐将小尺寸大通道数的高维特征转换成大尺寸小通道数的目标法线信息；
[0027]所述融合后的特征x
...

【技术保护点】

【技术特征摘要】
1.一种透明物体的表面法线估计方法，其特征在于，采用网络框架对待估计的透明物体的表面法线进行估计，包括如下步骤：S1：构建网络框架，所述网络框架包括三个编码器和一个解码器；三个所述编码器分别是物理先验分支、原始偏振分支以及物理先验置信度分支；S2：使用偏振相机单次拍摄得到所述待估计的透明物体的四个不同偏振角度的图像，获取所述图像中每个像素点的原始的线偏振度图、原始的线偏振角图以及物理先验信息；S3：所述网络框架的物理先验分支以所述物理先验信息为输入，所述原始偏振分支以所述原始的线偏振度图、所述原始的角偏振角图作为输入，所述物理先验置信度分支以物理先验置信度为输入，所述物理先验分支和所述原始偏振分支中间的特征被提取，并以所述物理先验置信度分支的特征为指导进行融合得到融合后的特征；S4：所述融合后的特征输入到所述解码器中对所述待估计的透明物体的表面法线图进行预测。2.如权利要求1所述的透明物体的表面法线估计方法，其特征在于，所述编码器的结构是加入了通道注意力的进制的改进ResNet50，在所述编码器的最后一层中加入了空洞空间金字塔池化层。3.如权利要求2所述的透明物体的表面法线估计方法，其特征在于，在所述编码器的四个阶段引出的中间特征将进行逐元素的融合：设x
prior
,x
c
,x
orig
分别为所述物理先验分支、所述物理先验置信度分支和所述原始偏振分支的特征，则融合后的特征为：x
fusion
＝x
orig
+Sigmoid(x
c
)
·
x
prior
其中，Sigmoid(
·
)用于将所述物理先验置信度分支的中间特征转换到(0,1)的范围内。4.如权利要求3所述的透明物体的表面法线估计方法，其特征在于，所述解码器是由五个相同的上采样模块构成，逐渐将小尺寸大通道数的高维特征转换成大尺寸小通道数的目标法线信息；所述融合后的特征x
fusion
将使用跳跃连接的方式连接到相同层次的所述编码器的上采样模块当中。5.如权利要求4所述的透明物体的表面法线估计方法，其特征在于，当所述编码器连接来的特征与所述上采样模块要求的输入不一致时，所述编码器连接来的特征经过一个校准器模块；所述校准器模块与所述上采样模块的主体...

【专利技术属性】
技术研发人员：梁斌，王学谦，邵明启，夏崇坤，朱晓俊，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：