【技术实现步骤摘要】
本公开实施例涉及影像处理，尤其涉及一种面向临地安防应用的多任务影像生成方法。
技术介绍
1、图像生成是多模态认知计算和计算机视觉领域的重要研究方向之一，在临地安防、无人机救援等方面具有重要的应用价值。基于语义图的影像生成方法旨在实现将语义分割掩码转换为真实世界图像，同时保持语义内容对应。语义分割掩码是通过对图像中每个像素进行密集地预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为对应的类别。以语义分割掩码为条件的真实图像生成一直是计算机图像学的新兴领域。目前语义图像生成方法可以分为生成对抗网络和变分自动编码器。基于变分自动编码器的图像生成方法引入了隐变量推断和对数似然估计，训练过程稳定，但是生成图像缺少细节刻画，轮廓模糊。基于生成对抗网络的图像生成方法生成的图像真实清晰，但是在训练时易出现模式崩溃问题。
2、目前生成对抗网络在语义图像生成任务上取得了良好的效果，但是也面临一个挑战：基于精细的分割掩码可以生成质量良好的真实世界影像，但是精细的分割掩码需要人工标注，获取时间长，成本高；粗糙的分割掩码获取成本低，但生成质量差，这成为语义图像生成亟待解决的问题。
技术实现思路
1、为了避免现有技术的不足之处，本申请提供一种面向临地安防应用的多任务影像生成方法，用以解决现有技术中存在精细的分割掩码需要人工标注，获取时间长，成本高，粗糙的分割掩码获取成本低，但生成质量差的问题。
2、根据本公开实施例，提供一种面向临地安防应用的多任务影像生成方法，该方法包括：p>
3、构建影像转换模型和影像生成模型，所述影像转换模型和所述影像生成模型的生成器均使用带有跳跃连接的编码器-解码器结构，且遵循u-net的架构，在第i层和第n-i层之间添加了跳跃连接，n为生成器总层数；其中，所述影像转换模型和所述影像生成模型共享相同的共享编码器，所述影像转换模型和所述影像生成模型的解码器分别为第一解码器和第二解码器，所述第一解码器至少包括第一边缘激活模块和若干个第一混合注意力单元，相邻的所述第一混合注意力单元依次连接，所述第一混合注意力单元包括第一通道注意力模块、第一空间注意力模块和第一残差网络模块，所述第二解码器至少包括第二边缘激活模块和若干个第二混合注意力单元，相邻的所述第二混合注意力单元依次连接，所述第二混合注意力单元包括第二通道注意力模块、第二空间注意力模块和第二残差网络模块；
4、输入粗糙语义图，通过所述共享编码器提取所述粗糙语义图的图像特征；
5、将所述图像特征分别输入至所述第一解码器和所述第二解码器中，利用所述第一解码器将所述粗糙语义图转换成精细语义图，利用所述第二解码器将所述粗糙语义图转换成真实世界影像。
6、所述第一边缘激活模块用于对所述粗糙语义图进行自适应优化。
7、对所述粗糙语义图进行自适应优化的步骤中，包括：
8、利用边缘提取模块提取所述粗糙语义图的边缘图，并将所述边缘图缩放至与所述粗糙语义图的大小相同；
9、通过深度卷积层分别学习所述边缘图和所述粗糙语义图的像素级调制参数，以得到第一像素级调制参数组和第二像素级调制参数组；
10、分别将所述第一像素级调制参数组和所述第二像素级调制参数组进行加权求和，得到像素级细粒度调制参数组，生成影像的轮廓。
11、所述第一像素级调制参数组包括第一像素级调制参数和第二像素级调制参数，所述第二像素级调制参数组包括第三像素级调制参数和第四像素级调制参数，所述像素级细粒度调制参数组包括第一像素级细粒度调制参数和第二像素级细粒度调制参数。
12、所述第一像素级细粒度调制参数的表达式为：
13、γ＝αγγs+(1-αγ)γr
14、所述第二像素级细粒度调制参数的表达式为：
15、β＝αββs+(1-αβ)βr
16、其中，γs为第一像素级调制参数，βs为第二像素级调制参数，γr为第三像素级调制参数，βr为第四像素级调制参数，αγ为第一权重参数，αβ为第二权重参数。
17、利用所述第一解码器将所述粗糙语义图转换成精细语义图的步骤中，包括：
18、将所述第一残差网络模块和所述第二残差网络模块第一层卷积输出按照通道叠加，作为下一个所述第一混合注意力单元和所述第二混合注意力单元的输入；
19、所述第一通道注意力模块和所述第二通道注意力模块对每个通道进行加权，保留处理后的所述图像特征；
20、将所述第一通道注意力模块和所述第二通道注意力模块的输出按通道拆分，分别输入至所述第一空间注意力模块和所述第二空间注意力模块中，计算第一空间注意力和第二空间注意力；
21、将所述第一空间注意力模块和所述第二空间注意力模块的输出分别输入至所述第一残差网络模块和所述第二残差网络模块，分别生成精细语义图和真实世界影像。
22、所述第一通道注意力模块和所述第二通道注意力模块的结构相同，所述第一通道注意力模块的输出表达式为：
23、fm(f)＝f*sigmod(mlp(avgpool(f))+mlp(maxpool(f)))
24、其中，mlp表示多层感知器，输入共享mlp的权重，maxpool表示最大池化层，avgpool表示平均池化层，sigmod表示激活函数，f表示输入的图像特征。
25、所述第一空间注意力模块和所述第二空间注意力模块的结构相同，所述第一空间注意力模块的输出表达式为：
26、fm(f)＝f*sigmod(conv(concat(avgpool(f),maxpool(f))))
27、其中，conv表示卷积运算，concat表示通道叠加。
28、所述生成精细语义图和真实世界影像的步骤之后，还包括：
29、将所述精细语义图和所述真实世界影像分别送入第一判别器和第二判别器进行判别。
30、本公开的实施例提供的技术方案可以包括以下有益效果：
31、本公开的实施例中，通过上述面向临地安防应用的多任务影像生成方法，一方面，通过将影像转换模型和影像生成模型结合起来，联合训练，利用粗糙语义图到精细语义图转换学习的额外信息指导粗糙语义图到真实世界影像生成，并提出边缘激活模块优化生成影像的物体边界。另一方面，缓解了在粗糙语义图上生成真实世界影像质量差的问题，具有较高的实际应用价值。
本文档来自技高网...【技术保护点】
1.一种面向临地安防应用的多任务影像生成方法，其特征在于，该方法包括：
2.根据权利要求1所述面向临地安防应用的多任务影像生成方法，其特征在于，所述第一边缘激活模块用于对所述粗糙语义图进行自适应优化。
3.根据权利要求2所述面向临地安防应用的多任务影像生成方法，其特征在于，对所述粗糙语义图进行自适应优化的步骤中，包括：
4.根据权利要求3所述面向临地安防应用的多任务影像生成方法，其特征在于，所述第一像素级调制参数组包括第一像素级调制参数和第二像素级调制参数，所述第二像素级调制参数组包括第三像素级调制参数和第四像素级调制参数，所述像素级细粒度调制参数组包括第一像素级细粒度调制参数和第二像素级细粒度调制参数。
5.根据权利要求4所述面向临地安防应用的多任务影像生成方法，其特征在于，所述第一像素级细粒度调制参数的表达式为：
6.根据权利要求1所述面向临地安防应用的多任务影像生成方法，其特征在于，所述利用所述第一解码器将所述粗糙语义图转换成精细语义图的步骤中，包括：
7.根据权利要求6所述面向临地安防应用的多任务影像
8.根据权利要求7所述面向临地安防应用的多任务影像生成方法，其特征在于，所述第一空间注意力模块和所述第二空间注意力模块的结构相同，所述第一空间注意力模块的输出表达式为：
9.根据权利要求6所述面向临地安防应用的多任务影像生成方法，其特征在于，所述生成精细语义图和真实世界影像的步骤之后，还包括：
...【技术特征摘要】
1.一种面向临地安防应用的多任务影像生成方法，其特征在于，该方法包括：
2.根据权利要求1所述面向临地安防应用的多任务影像生成方法，其特征在于，所述第一边缘激活模块用于对所述粗糙语义图进行自适应优化。
3.根据权利要求2所述面向临地安防应用的多任务影像生成方法，其特征在于，对所述粗糙语义图进行自适应优化的步骤中，包括：
4.根据权利要求3所述面向临地安防应用的多任务影像生成方法，其特征在于，所述第一像素级调制参数组包括第一像素级调制参数和第二像素级调制参数，所述第二像素级调制参数组包括第三像素级调制参数和第四像素级调制参数，所述像素级细粒度调制参数组包括第一像素级细粒度调制参数和第二像素级细粒度调制参数。
5.根据权利要求4所述面向临地安防应用的多任务影像生成...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。