【技术实现步骤摘要】
基于前景人物语义理解的图像调和方法及系统
[0001]本专利技术涉及图像处理
，尤其涉及一种基于前景人物语义理解的图像调和方法及系统。
技术介绍
[0002]图像调和就是调整前景图像的颜色风格，使前景图像的颜色风格与背景一致，从而提升合成图像的质量。
[0003]现有的图像调和方法可以分为传统的图像调和方法以及基于深度学习的图像调和方法。传统的方法通过统一图像的整体或局部颜色分布，梯度域的调整，多尺度图像数据统计等方法来调整前景的颜色风格，使其与背景统一。这类传统的方法使用的是图像的低维度特征，因此调和的效果一般。基于深度学习的图像调和方法主要采用编码器
‑‑‑
解码器或者生成对抗网络的形式，通常将前景背景颜色不协调的图像以及前景的掩码作为输入，通过卷积神经网络，输出调和后的图像。前景图像的掩码只是很简单地把图像分为前景和背景两个部分，将前景图像视为了一个整体。
[0004]然而前景的人物是由不同的部分组成的，蕴含着丰富的语义信息，现有的图像调和方法都没有充分利用前景图像的语义信息，这会...
【技术保护点】
【技术特征摘要】
1.一种基于前景人物语义理解的图像调和方法，应用于电子装置，其特征在于，所述方法包括：采取联合训练机制，在通过图像调和网络进行图像调和的同时，使用前景人物分割网络来对图像中的前景人物进行语义分割，以按照预设分割规则将所述前景人物分割成不同种类，并根据所分割的前景人物的不同种类获取所述前景人物的语义信息；将所述前景人物的语义信息从所述前景人物分割网络传递到所述图像调和网络；在所述图像调和网络中通过所述前景人物的语义信息辅助图像调和任务。2.如权利要求1所述的基于前景人物语义理解的图像调和方法，其特征在于，在所述联合训练机制中，所述图像调和网络与所述前景人物分割网络共享同一个编码器，调和前的图像与前景人物的掩码级联在一起经由所述编码器进行编码，然后通过两个解码器分别进行图像调和以及前景人物语义分割。3.如权利要求2所述的基于前景人物语义理解的图像调和方法，其特征在于，所述编码器由八层卷积神经网络构成，所述两个解码器均由八层反卷积神经网络构成；在所述编码器与所述两个解码器之间使用残差连接将对应的卷积层与反卷积层相连，以还原图像中的细节。4.如权利要求1～3中任一项所述的基于前景人物语义理解的图像调和方法，其特征在于，所述通过图像调和网络进行图像调和后输出第一图像调和结果，通过所述第一图像调和结果与预设的图像调和的真值计算图像调和损失L
rec
：其中，为第一图像调和结果，I为预设的图像调和的真值。5.如权利要求4所述的基于前景人物语义理解的图像调和方法，其特征在于，所述前景人物分割网络的输出包含分别代表像素为服饰、皮肤、头发的概率的三个通道0、1、2，所述通道0、1、2的通道值为该像素为服饰、皮肤、头发的概率，在所述使用前景人物分割网络来对图像中的前景人物进行语义分割的过程中，所述前景人物分割网络的输出为以像素为单位将前景人物分割成服饰、皮肤、头发三个种类的结果，所述前景人物分割网络的输出的损失函数为：其中，h,w为所述前景人物分割网络的输出图像的高和宽，X为所述前景人物分割网络的输出，包括三个通道，对应种类的通道值为1，其余通道值为0，θ为图像分割的真值；最终整个网络的损失函数L为所述图像调和网络和所述前景人物分割网络的损失函数的按权相加：L＝λ1L
rec
+λ2L
cro
其中，λ1为所述图像调和网络的损失函数的权重系数，λ2为所述前景人物分割网络的损失函数的权重系数。6.如权利要求5所述的基于前景人物语义理解的图像调和方法，其特征在于，在将所述前景人物的语义信息从所述前景人物分割网络传递到所述图像调和网络的过程中，
在由一系列反卷积层构成的层级结构的图像调和解码器中，靠近输出端的层级为网络高层，远离输出端的层级为网络低层；其中，所述网络高层的特征关系到输出图像的低维特征，所述网络低层的特征关系到输出图像的高维语义特征，所述图像调和解码器G(z)表示为：G(z)＝g
n
(g
n
‑1(
…
g2(g1(z))
…
)...
【专利技术属性】
技术研发人员：钟微，林琴心，胡飞，叶龙，张勤，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。