图像阴影去除方法、装置、存储介质及设备制造方法及图纸

本申请提供图像阴影去除方法、装置、存储介质及设备，包括：获取阴影图像和阴影掩码图像，将所述阴影图像和阴影掩码图像输入Transformer模型的掩码深度融合模块，得到特征向量矩阵；将所述特征向量矩阵输入Transformer模型的注意力机制模块，得到去阴影图像。上述方法通过阴影掩码融合与Transformer模型多阶段融合，使Transformer模型将注意力集中在图像阴影区域的修复上，高效精确地得到去阴影图像。精确地得到去阴影图像。精确地得到去阴影图像。

【技术实现步骤摘要】
图像阴影去除方法、装置、存储介质及设备


[0001]本专利技术涉及图像处理，具体涉及图像阴影去除方法、装置、存储介质及设备。

技术介绍

[0002]图像中的阴影是由于光线被物体完全或者部分遮挡而形成的暗色区域。图像中阴影的形成有两种情况，一种是由于物体自身部分区域没有被光直接照射到，称为自影；另一种是物体向光源方向投影形成的暗区，称为投影。阴影在自然界是普遍存在的，图像中的阴影不仅会影响人类的视觉感受，也会影响计算机视觉的任务表现，例如图像识别、目标检测、目标跟踪等。因此去除阴影对于图像处理具有重要的意义。
[0003]目前应用于阴影去除的主流方法是通过利用大型真实世界阴影图像数据集训练深度学习方法，例如生成对抗网络技术、卷积神经网络，以获得高性能的结果。然而上述方法具有局限性：第一，基于卷积神经网络的模型框架在一些图像处理任务上已经不再是最优选择；第二，虽然阴影掩码能够有效的辅助阴影去除已经被大量的基于深度学习的方法证明，但是如何有效将掩码与模型框架结合起来成为一个难题。

技术实现思路

[0004]基于此，本专利技术提供图像阴影去除方法、装置、存储介质及设备，将掩码与模型框架高效融合，用于精准高效地去除图像中的阴影部分。
[0005]第一方面，本专利技术提供一种图像阴影去除方法，包括：
[0006]获取阴影图像和阴影掩码图像；
[0007]将所述阴影图像和阴影掩码图像输入Transformer模型的掩码深度融合模块，得到特征向量矩阵；
[0008]将所述特征向量矩阵输入Transformer模型的注意力机制模块，得到去阴影图像。
[0009]进一步的，所述将所述阴影图像和阴影掩码图像输入Transformer模型的掩码深度融合模块，得到特征向量矩阵，包括：
[0010]将所述阴影掩码图像分别进行二则化处理和归一化处理，得到第一阴影掩码和第二阴影掩码；
[0011]所述阴影图像在图块嵌入处理后得到第一特征向量，所述第二阴影掩码在图块嵌入处理后得到第二特征向量；
[0012]将所述第一特征向量、第一阴影掩码和第二特征向量融合，得到特征向量矩阵。
[0013]进一步，所述Transformer模型通过掩码融合损失训练得到。
[0014]第二方面，本专利技术提供一种图像阴影去除装置，包括：
[0015]获取单元，用于获取阴影图像和阴影掩码图像；
[0016]预处理单元，用于将所述阴影图像和阴影掩码图像输入Transformer模型的掩码深入融合模块，得到特征向量矩阵；
[0017]去阴影单元，用于将所述特征向量矩阵输入Transformer模型的注意力机制模块，
得到去阴影图像。
[0018]第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项图像阴影去除方法的步骤。
[0019]第四方面，本专利技术提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，执行第一方面中任一项图像阴影去除方法。
[0020]采用上述技术方案的有益效果为：本专利技术的图像阴影去除方法，基于阴影掩码融合与Transformer模型多阶段融合的设想，分别在模型的预处理阶段设置掩码深度融合模块，以及在损失训练阶段设置掩码融合损失。预处理阶段引入掩码深度融合模块，使Transformer模型将注意力集中在图像阴影区域的修复上，避免无意义的模型参数求解。损失训练阶段的掩码融合损失能有效地提高Transformer模型去图像阴影的性能，更加精准的去除图像阴影。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0022]图1为本申请一个实施例中图像阴影去除方法示意图；
[0023]图2为本申请一个实施例中图像阴影去除方法框架示意图；
[0024]图3为本申请一个实施例中图像阴影去除方法详细框架示意图；
[0025]图4为本申请一个实施例中图像阴影去除方法与其他阴影去除方法的效果比较图；
[0026]图5为本申请一个实施例中图像阴影去除方法与其他阴影去除方法的另一个效果比较图；
[0027]图6为本申请一个实施例中图像阴影去除方法与其他阴影去除方法的峰值信噪比、结构相似性以及均方根误差第一比较示意图；
[0028]图7为本申请一个实施例中图像阴影去除方法与其他阴影去除方法的峰值信噪比、结构相似性以及均方根误差第二比较示意图；
[0029]图8为本申请一个实施例中图像阴影去除方法与其他阴影去除方法的参数量比较示意图；
[0030]图9为本申请一个实施例中图像阴影去除装置的示意图。
具体实施方式
[0031]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了更详细说明本专利技术，下面结合附图对本专利技术提供的图像阴影去除方法、装置、存储介质及设备，进行具体地描述。
[0032]图像阴影去除是由于图像中物体向光源部分投影形成了暗区，图像中的阴影不利于后续图像处理中的图像识别、目标检测、目标跟踪等部分技术的应用，故在图像处理阶段
去除阴影是尤为重要的一环。
[0033]本申请实施例提供了图像阴影去除方法的应用场景，该应用场景包括实施例提供的终端设备，所述终端设备包括但不限于智能手机和计算机设备，其中计算机设备可以是台式计算机、便携式计算机、膝上型计算机、大型计算机、平板电脑等设备中的至少一种。用户对所述终端设备进行操作，得到去除阴影后的图像，具体过程请参见图像阴影去除方法实施例。
[0034]基于此，本专利技术实施例提供了一种图像阴影去除方法，以该方法应用于终端设备为例进行说明，结合附图1示出的图像阴影去除方法示意图、附图2及附图3示出的图像阴影去除方法框架示意图。
[0035]步骤S101：获取阴影图像和阴影掩码图像。
[0036]具体的，通过图像采集装置获取阴影图像，所述阴影图像的阴影是由于物体遮挡光线或向光源方向投影形成的。
[0037]所述阴影掩码图像用于指示阴影图像中阴影区域的像素是否应该被考虑或处理。阴影掩码图像通常由与原始图像相同的尺寸和形状的像素网格组成，其中阴影掩码图像中每个像素对应于原始图像中相应位置的像素。阴影掩码图像的每个像素值通常为0或255，其中0表示对应位置的像素应该被忽略或排除，表示阴影区域；255表示对应位置的像素应该被保留或处理，表示非阴影区域。通过阴影掩码图像对阴影图像进行元素级别的逐像素运算，可以实现对特定区域的选择性操作，例如遮罩、裁剪、滤波、融合等。
[0038]步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像阴影去除方法，其特征在于，包括：获取阴影图像和阴影掩码图像；将所述阴影图像和阴影掩码图像输入Transformer模型的掩码深度融合模块，得到特征向量矩阵；将所述特征向量矩阵输入Transformer模型的注意力机制模块，得到去阴影图像。2.如权利要求1所述的图像阴影去除方法，其特征在于，所述将所述阴影图像和阴影掩码图像输入Transformer模型的掩码深度融合模块，得到特征向量矩阵，包括：将所述阴影掩码图像分别进行二则化处理和归一化处理，得到第一阴影掩码和第二阴影掩码；所述阴影图像在图块嵌入处理后得到第一特征向量，所述第二阴影掩码在图块嵌入处理后得到第二特征向量；将所述第一特征向量、第一阴影掩码和第二特征向量融合，得到特征向量矩阵。3.如权利要求2所述的图像阴影去除方法，其特征在于，所述将所述第一特征向量、第一阴影掩码和第二特征向量融合，得到特征向量矩阵，具体表达式为：I＝((w1*M
s
+w2*(1
‑
M
s
))*T
i
)*T
m
，其中，I为特征向量矩阵，w1为第一区域权重，w2为第二区域权重，M
s
为第一阴影掩码，T
i
为第一特征向量，T
m
为第二特征向量。4.如权利要求1所述的图像阴影去除方法，其特征在于，所述Transformer模型通过掩码融合损失训练得到。5.如权利要求4所述的图像阴影去除方法，其特征在于，所述掩码融合损失包括色彩一致性损失和加权相似度损失，具体表达式为：L＝L
clo
+L
m
，其中，L为掩码融合损失，L
clo
为色彩一致性损失，L
m
为加权相似度损失。6.如权利要求5所述的图像阴影去除方法，其特征在于，所述色彩一...

【专利技术属性】
技术研发人员：李卓浩，陆智超，郑子彬，
申请(专利权)人：中山大学，
类型：发明
国别省市：