【技术实现步骤摘要】
本专利技术属于工业图像生成领域，更具体地，涉及一种基于循环生成对抗网络的逼真阴影生成方法和系统。
技术介绍
1、在图像生成任务中，为了达到生成图片真实不易区分的目的，一个重要的影响因素就是图片中物体阴影的生成。阴影在大多数光线情况下非常重要，让图片不能分离出一个独立的物体。有阴影的场景更难处理和分析，逼真阴影生成是图像编辑的重要组成部分，可以极大地提高各种计算机视觉任务的性能，也对于人类来说有更好的视觉效果。近年来受到越来越多的关注。在动画影视等行业，使用基于渲染的方法是主流。然而不仅费时费力，花费也是巨大的。随着深度学习技术的发展，这一领域逐渐有了更好的解决方法。
2、现有的关于阴影生成的研究可以分为两类：基于渲染的生成阴影方法和图像到图像的生成阴影方法；基于渲染的生成阴影方法需要明确的照明，反射率，材料属性和场景几何知识，以使用渲染技术为插入的虚拟对象生成阴影。然而，这些知识在现实世界的应用中通常是不可用的，进行生成的成本较大。所以现在主流方法是图像到图像的转换方法。
3、图像到图像转换的生成阴影方法学习从没有目标物体阴影的输入图像到有目标物体阴影的输出图像的映射，而不需要明确的照明，反射率，材料属性和场景几何知识。这组中的大多数方法都具有编解码器网络结构。但循环生成过程无法在复杂场景中生成阴影，因此需要针对该不同场景使用额外的配对数据集进行针对训练。该方法训练所使用的配对数据集包含以下类型的图片，含有目标物体及阴影的真实图片ifs，含有目标物体的背景图片if，目标物体掩码mf，目标物体阴影掩码mfs
4、然而，上述图像到图像转换的生成阴影方法都存在一些不可忽略的缺陷：
5、第一、训练所使用的数据集需要依赖经验预设规则选取合适图片，一对完整的数据需要对真实阴影图片进行阴影消除作为输入，因此往往单个环境的数据量过少，需要在特定环境中需要额外数据集；而完善上述配对类型的图片所需要的成本较高，无法对于实际环境中的所有异常和特殊地点进行图片生成；
6、第二，该方法不能充分利用背景图片中光照及背景图片中存在的物体与其阴影的映射关系，因此导致模型在缺少明确信息的情况下，生成阴影模糊，阴影形状不符合人类视觉的问题；
7、第三、该方法是基于深度学习的端到端式的生成网络，在复杂的生成任务中，如果数据量较少，往往训练的模型参数不够优化，且在实际的生产应用中泛用性低，鲁棒性较差。同时训练过程不稳定，不容易收敛。
技术实现思路
1、针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于循环生成对抗网络的逼真阴影生成方法和系统，其目的在于，解决现有图像到图像转换的生成阴影方法存在的完善配对类型的图片所需要的成本较高，无法对于实际环境中的所有异常和特殊地点进行图片生成的技术问题，以及模型在缺少明确信息的情况下，生成阴影模糊，阴影形状不符合人类视觉的技术问题，以及在实际的生产应用中泛用性低，鲁棒性较差。同时训练过程不稳定，不容易收敛的技术问题。
2、为实现上述目的，按照本专利技术的一个方面，提供了一种基于循环生成对抗网络的逼真阴影生成方法，包括如下步骤：
3、(1)获取需要进行阴影生成的背景图片it、以及有待插入背景图片进行阴影生成的目标物体图片w，对获取的背景图片it进行预处理，以得到其中背景物体的掩码mb及其阴影部分的掩码mbs，以及背景图片if的图像向量矩阵；并对获取的目标物体图片w进行预处理，以得到其中目标物体的阴影掩码mfs和目标物体图片w的图像向量矩阵。
4、(2)对步骤(1)得到的背景图片it的向量矩阵进行切分裁剪处理，以得到多个图像向量矩阵，并根据步骤(1)得到的背景物体的掩码mb及其阴影部分的掩码mbs、目标物体的阴影掩码mfs、以及目标物体图片w构建多个k-v键值对，所有键值对构成k-v键值对集合。
5、(3)将步骤(2)得到的k-v键值对集合输入预先训练好的阴影生成模型中，以获得多张生成图片，并从中选择最符合人类视觉的生成图片作为最终的阴影生成结果；其中阴影生成模型包括依次连接的基于unet网络的编码器解码器构成的阴影掩码生成网络u、循环生成对抗网络c、以及基于vgg16的图片增强网络v。
6、优选地，步骤(1)具体为，首先针对需要进行阴影生成的背景图片it而言，使用描边工具勾画出背景图片it中的背景物体及其阴影部分，将背景物体部分的所有像素填充1，其余部分填充0，以得到背景物体的掩码mb；将阴影部分的所有像素填充1，其余部分填充0，以得到阴影部分的掩码mbs；然后，针对目标物体图片w而言，使用描边工具勾画出该目标物体图片中的目标物体，将目标物体部分的所有像素填充1，其他部分填充0，以得到目标物体的阴影掩码mfs；
7、最后，把背景图片it从rgb形式的3通道转化为lab形式的3通道，且0-255的数字空间等比降至0-1的数字空间中，以获取背景图片if的图像向量矩阵，并将目标物体图片w从rgb形式的3通道转化为lab形式的3通道，且0-255的数字空间等比降至0-1的数字空间中，以获取目标物体图片w的图像向量矩阵。
8、优选地，步骤(2)具体为，首先是使用一个256×256的滑动窗口在背景图片it做随机移动，以得到多张切片图片；
9、其后，针对获得的每张切片图片而言，判断其中的阴影形状是否完整，如果不完整，则丢弃该切片图片，如果完整，则将该切片图片放大至背景图片it的大小，然后同样从rgb形式的3通道转化为lab形式的3通道，且0-255的数字空间等比降至0-1的数字空间中，以获取该切片图片对应的图像向量矩阵，并将其放入预先建立的列表l1中；
10、然后，将背景图片it与背景物体的掩码mb的反矩阵二者做点积计算，并将计算结果和步骤(1)得到的目标物体图片w的图像向量矩阵相加，以得到含有目标物体的背景图片if；
11、随后，构建四元组t1，四元组中4个元素依次是含有目标物体的背景图片if、背景物体的掩码mb和阴影掩码mbs、以及目标物体的阴影掩码mfs；
12、最后，构建k-v键值对集合，其中第一组键值对中的k是列表l1中第一张切片图片对应的图像向量矩阵，v是四元组t1；第二组键值对中的k是列表l1中第二张切片图片对应的图像向量矩阵，v是四元组t1；以此类推，...；第n组键值对中的k是列表l1中第n张切片图片对应的图像向量矩阵，v是四元组t1，其中n表示得到的切片图片的总数。
13、优选地，阴影掩码生成网络u包括编码器es、解码器ds和注意力网络。
14、编码器es的输入是维度为b×512×512×4的的输入图片，其采用两个3×3的relu卷积层和一个2x2的最大池化层，对输入图片进行4次下采样处理，输出为b×32×32×512的特征向量；随后使用2x2的逆卷积层和批归一化层，对图片进行4次上采样处理，输出为b×512×512×4的特征向本文档来自技高网...
【技术保护点】
1.一种基于循环生成对抗网络的逼真阴影生成方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于循环生成对抗网络的逼真阴影生成方法，其特征在于，步骤(1)具体为，首先针对需要进行阴影生成的背景图片It而言，使用描边工具勾画出背景图片It中的背景物体及其阴影部分，将背景物体部分的所有像素填充1，其余部分填充0，以得到背景物体的掩码Mb；将阴影部分的所有像素填充1，其余部分填充0，以得到阴影部分的掩码Mbs；
3.根据权利要求1或2所述的基于循环生成对抗网络的逼真阴影生成方法，其特征在于，步骤(2)具体为，首先是使用一个256×256的滑动窗口在背景图片It做随机移动，以得到多张切片图片；
4.根据权利要求1至3中任意一项所述的基于循环生成对抗网络的逼真阴影生成方法，其特征在于，
5.根据权利要求4所述的基于循环生成对抗网络的逼真阴影生成方法，其特征在于，
6.根据权利要求5所述的基于循环生成对抗网络的逼真阴影生成方法，其特征在于，图像增强网络V的结构是基于VGG16网络，其具体结构为：
7.根据权利要求
8.根据权利要求7所述的基于循环生成对抗网络的逼真阴影生成方法，其特征在于，
9.根据权利要求8所述的基于循环生成对抗网络的逼真阴影生成方法，其特征在于，
10.一种基于循环生成对抗网络的逼真阴影生成系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于循环生成对抗网络的逼真阴影生成方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于循环生成对抗网络的逼真阴影生成方法，其特征在于，步骤(1)具体为，首先针对需要进行阴影生成的背景图片it而言，使用描边工具勾画出背景图片it中的背景物体及其阴影部分，将背景物体部分的所有像素填充1，其余部分填充0，以得到背景物体的掩码mb；将阴影部分的所有像素填充1，其余部分填充0，以得到阴影部分的掩码mbs；
3.根据权利要求1或2所述的基于循环生成对抗网络的逼真阴影生成方法，其特征在于，步骤(2)具体为，首先是使用一个256×256的滑动窗口在背景图片it做随机移动，以得到多张切片图片；
4.根据权利要求1至3中任意一项所述的基...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。