图像分解方法和相关装置、设备制造方法及图纸

本申请公开了一种图像分解方法和相关装置、设备。该方法包括：获取待分解图像；利用法向量估计模型获取待分解图像的法向量信息；基于法向量信息，利用图像分解模型对待分解图像进行分解，得到待分解图像的本征图像。上述方案，提高了本征图像的分解效果。

【技术实现步骤摘要】
图像分解方法和相关装置、设备
本申请涉及图像处理
，特别是涉及一种图像分解方法和相关装置、设备。
技术介绍
本征图像分解是计算机视觉和计算机图形学领域的重要问题之一。本征图像是指将一幅原图像分解成光照率(shading)图像和反射率(reflectance/albedo)图像。本征图像在三维重建、真实感图像编辑、增强现实、语义分割等领域有着广泛的应用，影响重大。目前，如何实现本征图像的分解，使得本征图像更好与原图像中场景信息匹配，具有非常重要的意义。
技术实现思路
本申请至少提供一种图像分解方法和相关装置、设备。本申请第一方面提供了一种图像分解方法，该方法包括：获取待分解图像；利用法向量估计模型获取待分解图像的法向量信息；基于法向量信息，利用图像分解模型对待分解图像进行分解，得到待分解图像的本征图像。因此，通过获取待分解图像的法向量信息，使得图像分解模型能够利用法向量信息更好地理解待分解图像中场景的环境情况，使得图像分解模型分解得到的本征图像能够与待分解图像的场景较好匹配，提高了本征图像的分解效果；另外，待分解图像的法向量信息是利用独立于图像分解模型的法向量估计模型得到，采用针对性模型，能够得到准确的法向量信息，进一步提高了后续分解得到的本征图像与待分解图像的场景的匹配度。其中，上述的本征图像包括光照率图像；上述的基于法向量信息，利用图像分解模型对待分解图像进行分解，得到待分解图像的本征图像，包括：利用图像分解模型对待分解图像进行处理，得到待分解图像的场景光照条件信息；基于场景光照条件信息和法向量信息，得到待分解图像的光照率图像。因此，通过获取关于待分解图像的场景光照条件信息，可以提高图像分解模型在光照环境复杂的场景下的本征图像分解的效果。其中，上述的场景光照条件信息为包含待分解图像不同像素的法向量自适应向量的法向量自适应图，上述的法向量信息为包含待分解图像不同像素的法向量的法向量图。上述的基于场景光照条件信息和法向量信息，得到待分解图像的光照率图像，包括：将法向量自适应图和法向量图进行点积，得到待分解图像的光照率图像。因此，通过法向量自适应图，可以建模随空间的变化而变化的光照条件，提高了图像分解模型在光照环境复杂的场景下的本征图像分解的效果。其中，上述的图像分解模型包括共享编码器和光照率解码器。上述的利用图像分解模型对待分解图像进行处理，得到待分解图像的场景光照条件信息，包括：利用共享编码器对待分解图像进行特征提取得到图像特征图，并对图像特征图和法向量估计模型的法向量编码器输出的第一场景结构特征图进行融合，得到第一融合特征图；利用光照率解码器对第一融合特征图进行解码，得到待分解图像的场景光照条件信息。因此，通过利用共享编码器将图像特征图和法向量估计模型的法向量编码器输出的第一场景结构特征图进行融合，使得图像分解模型可以利用第一场景结构特征图的结构特征信息，提高了本征图像的分解效果。其中，上述的共享编码器包括顺序连接的至少一个编码单元，每个编码单元包括法向量自适应器。上述的对图像特征图和法向量估计模型的法向量编码器输出的第一场景结构特征图进行融合，得到第一融合特征图，包括：将图像特征图输出至第一个编码单元；对于每个编码单元：利用法向量自适应器对前一编码单元输出的特征图和第一场景结构特征图进行融合，得到编码单元对应的第二融合特征图；其中，每个编码单元对应的场景结构特征图中的特征丰富度不同；基于最后一个编码单元的第二融合特征图，得到第一融合特征图。因此，通过利用法向量自适应器将法向量估计模型输出的场景结构特征图和图像分解模型对待分解图像进行特征提取得到的图像特征图进行融合，使得图像分解模型后续可以利用场景结构特征图中的关于待分解图像中场景的场景结构信息，实现了将法向量估计模型得到的特征信息传递给图像分解模型来利用的效果。其中，上述的在利用法向量自适应器对前一编码单元输出的特征图和场景结构特征图进行融合，得到编码单元对应的第二融合特征图之前，方法还包括：对前一编码单元输出的特征图进行降采样处理；和/或，利用法向量自适应器对前一编码单元输出的特征图和场景结构特征图进行融合，得到编码单元对应的第二融合特征图，包括：利用法向量自适应器执行：将场景结构特征图调整为预设尺度的场景结构特征图，将调整后的场景结构特征图与前一编码单元输出的特征图进行串联并卷积，得到编码单元对应的第二融合特征图。因此，通过降采样处理，可以缩小前一编码单元输出的特征图。另外，法向量自适应器还通过场景结构特征图与前一编码单元输出的特征图进行串联并卷积，实现了对场景结构特征图和前一编码单元输出的特征图的融合。其中，上述的利用光照率解码器对第一融合特征图进行解码，得到待分解图像的场景光照条件信息，包括：利用光照率解码器对第一融合特征图和至少一个法向量自适应器的第二融合特征图进行解码，得到待分解图像的场景光照条件信息。因此，光照率解码器通过利用第一融合特征图和法向量自适应器输出的第二融合特征图，可以得到待分解图像的场景光照条件信息。其中，上述的图像分解模型还包括反射率解码器；基于法向量信息，利用图像分解模型对待分解图像进行分解，得到待分解图像的本征图像，还包括：利用反射率解码器对第一融合特征图进行解码，得到待分解图像的反射率图像。因此，反射率解码器通过利用第一融合特征图，可以得到待分解图像的反射率图像。其中，上述的利用反射率解码器对第一融合特征图进行解码，得到待分解图像的反射率图像，包括：利用反射率解码器对第一融合特征图和至少一个法向量自适应器的第二融合特征图进行解码，得到待分解图像的反射率图像。因此，反射率解码器通过利用第一融合特征图和至少一个法向量自适应器的第二融合特征图，可以得到待分解图像的反射率图像。其中，上述的法向量估计模型包括法向量编码器、法向量解码器和细分子网络。上述的利用法向量估计模型获取待分解图像的法向量信息，包括：利用法向量编码器对待分解图像进行编码，得到第一场景结构特征图；利用法向量解码器对第一场景结构特征图进行解码，得到解码特征图；利用细分子网络对第一场景结构特征图和解码特征图进行融合，得到待分解图像的法向量信息。因此，通过利用法向量估计模型的法向量编码器、法向量解码器和细分子网络来对待分解图像进行处理，可以获得待分解图像的法向量信息。其中，上述的利用法向量编码器对待分解图像进行编码，得到第一场景结构特征图，包括：利用法向量编码器对待分解图像进行多层编码，得到每层对应的第一场景结构特征图，其中，每层对应的第一场景结构特征图中的特征丰富度不同，最后一层编码器对应的第一场景结构特征图输出至法向量解码器。上述的利用细分子网络对第一场景结构特征图和解码特征图进行融合，得到待分解图像的法向量信息，包括：利用细分子网络执行：将每层对应的第一场景结构特征图串联得到第二场景结构特征图，并将第二场景结构特征图与解码特征图串联得到第三场景结构特征图，基于第三场景结构特征图，得到待分解图像的法向量本文档来自技高网...

【技术保护点】
1.一种图像分解方法，其特征在于，包括：/n获取待分解图像；/n利用法向量估计模型获取所述待分解图像的法向量信息；/n基于所述法向量信息，利用图像分解模型对所述待分解图像进行分解，得到所述待分解图像的本征图像。/n

【技术特征摘要】
1.一种图像分解方法，其特征在于，包括：
获取待分解图像；
利用法向量估计模型获取所述待分解图像的法向量信息；
基于所述法向量信息，利用图像分解模型对所述待分解图像进行分解，得到所述待分解图像的本征图像。


2.根据权利要求1所述的方法，其特征在于，所述本征图像包括光照率图像；所述基于所述法向量信息，利用图像分解模型对所述待分解图像进行分解，得到所述待分解图像的本征图像，包括：
利用图像分解模型对所述待分解图像进行处理，得到所述待分解图像的场景光照条件信息；
基于所述场景光照条件信息和所述法向量信息，得到所述待分解图像的光照率图像。


3.根据权利要求2所述的方法，其特征在于，所述场景光照条件信息为包含所述待分解图像不同像素的法向量自适应向量的法向量自适应图，所述法向量信息为包含所述待分解图像不同像素的法向量的法向量图；所述基于所述场景光照条件信息和所述法向量信息，得到所述待分解图像的光照率图像，包括：
将所述法向量自适应图和所述法向量图进行点积，得到所述待分解图像的光照率图像。


4.根据权利要求2或3所述的方法，其特征在于，所述图像分解模型包括共享编码器和光照率解码器；所述利用图像分解模型对所述待分解图像进行处理，得到所述待分解图像的场景光照条件信息，包括：
利用所述共享编码器对所述待分解图像进行特征提取得到图像特征图，并对所述图像特征图和所述法向量估计模型的法向量编码器输出的第一场景结构特征图进行融合，得到第一融合特征图；
利用所述光照率解码器对所述第一融合特征图进行解码，得到所述待分解图像的场景光照条件信息。


5.根据权利要求4所述的方法，其特征在于，所述共享编码器包括顺序连接的至少一个编码单元，每个所述编码单元包括法向量自适应器；所述对所述图像特征图和所述法向量估计模型的法向量编码器输出的第一场景结构特征图进行融合，得到第一融合特征图，包括：
将所述图像特征图输出至第一个所述编码单元；
对于每个所述编码单元：利用所述法向量自适应器对前一所述编码单元输出的特征图和所述第一场景结构特征图进行融合，得到所述编码单元对应的第二融合特征图；其中，每个所述编码单元对应的所述场景结构特征图中的特征丰富度不同；
基于最后一个所述编码单元的所述第二融合特征图，得到所述第一融合特征图。


6.根据权利要求5所述的方法，其特征在于，在所述利用所述法向量自适应器对前一所述编码单元输出的特征图和所述场景结构特征图进行融合，得到所述编码单元对应的第二融合特征图之前，所述方法还包括：
对前一所述编码单元输出的特征图进行降采样处理；
和/或，所述利用所述法向量自适应器对前一所述编码单元输出的特征图和所述场景结构特征图进行融合，得到所述编码单元对应的第二融合特征图，包括：
利用所述法向量自适应器执行：将所述场景结构特征图调整为预设尺度的场景结构特征图，将调整后的场景结构特征图与前一所述编码单元输出的特征图进行串联并卷积，得到所述编码单元对应的第二融合特征图。


7.根据权利要求5或6所述的方法，其特征在于，所述利用所述光照率解码器对所述第一融合特征图进行解码，得到所述待分解图像的场景光照条件信息，包括：
利用所述光照...

【专利技术属性】
技术研发人员：章国锋，鲍虎军，罗俊丹，黄昭阳，李易瑾，周晓巍，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33