基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法技术

本发明专利技术公开了一种基于部分卷积利用移位深度特征重排的图像遮挡恢复方法。对比现有相关技术方法，该技术具有适应性强、鲁棒性好，使用阶段只需要输入带有遮挡图像及遮挡物掩模，过程不需人为的干预，训练过程稳定，充分保持了去除遮挡恢复原貌和保持真实性的平衡等优点。本发明专利技术的主要创新之处在解决了图像遮挡缺失恢复问题赋予计算机重建图像缺失部分的能力，实现相对人类感知能力而言更为精确细致的图像遮挡缺失恢复重建。在生成器中通过部分卷积更新掩模控制可见区域保持完整与重排深度特征信息进行遮挡区域恢复重建，加上判别器的控制，多个部分损失控制生成器的图像遮挡恢复，得到期望的图像遮挡恢复重建的原貌，本发明专利技术考虑多种策略控制生成器修复，直接提升恢复重建效果。本发明专利技术将在实际应用中对于遮挡补偿、破损恢复等相关问题带来更加优秀的解决方案。

【技术实现步骤摘要】
基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法
本专利技术属于图像建模、计算机视觉、图像生成领域，涉及一种基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，主要针对图像中遮挡问题导致图像信息丢失重建。
技术介绍
我们都知道目前基于现代计算机能力的提升，深度学习的发展和应用得到了飞跃般的进步。在面对一幅图像，即使有部分因为遮挡缺失导致图像不完整，当下人类也能通过自身能力在某种程度上，补偿“恢复”图像中的缺失部分，获取图像中的完整信息，现代计算机拥有强大的运算能力和超大规模的数据分析能力，完全可以胜任重建图像缺失部分的能力，实现相对人类感知能力而言更为精确细致的图像缺失补偿重建。通过完美的智能算法赋予计算机此强大能力，将对实际应用中对于遮挡补偿、破损恢复等相关问题带来更加优秀的解决方案。深度学习的爆发，让我们看到通过学习大量的数据，运用计算机视觉前沿研究领域之一的图像自动生成，该方向中一种灵感来源于博弈论中零和博弈思想的对抗网络算法取得了比较好的突破，此方法为生成全新的图片，就是通过生成网络G(Generator)和判别网络D(Discriminator)不断博弈，进而使G学习到数据的分布，如果用到图片生成上，则训练完成后，G可以从一段随机数中生成逼真的图像。此对抗思想也迎合我们的去除遮挡恢复重建的工作，我们要做的是去除遮挡，所以我们并非可以随机生成逼真图像，需要对生成遮挡部分加以约束，控制对遮挡恢复部分并非随机填充，通过加入精确定位遮挡区域，可完美控制可见区域不被破坏，并使用更新掩模与重排深度特征信息对遮挡区域进行恢复原貌。
技术实现思路
本专利技术的目的是为了解决图像遮挡缺失补偿问题赋予计算机重建图像遮挡缺失部分的能力，实现相对人类感知能力而言更为精确细致的图像遮挡补偿重建。为实现该功能，本专利技术设计了由“方法训练阶段”和“在线使用阶段”两部分构成的综合性方法策略，具体技术实现方案如下。基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，基本步骤包括：方法训练阶段：(1)搭建由四十种不同物体的真实图像与1000张真实的背景图像合成构建的遮挡图像训练样本集合，并进行归一化处理，标定四十种不同的真实图像的掩模，并将1000无遮挡图像作为真实图像标签；(2)使用合成的遮挡图像和对应遮挡物的掩模进行输入，在此之前，每次输入该遮挡图像的未添加遮挡的图像，以便让移位层获取真实数据，经过一系列卷积层、引入连接卷积特征的反卷积层、批归一化层和激活层后，输出256*256大小的图像；(3)在生成器中控制无遮挡的部分保持原有输出，只针对图像中遮挡的区域进行生成恢复重建；(4)针对移位层，卷积层特征和引入连接卷积特征的反卷积层特征信息都是从原图中获取信息，反卷积层中未知区域的信息可以通过近邻搜索卷积层中的已知区域找到，通过每次输入的真实图像优化移位层；Uy＝X*(y)-y其中，Uy代表位移向量，X*(y)代表遮挡区域解码器中的信息，y代表遮挡区域的真实信息。(5)将步骤(2)得到的生成的图像与将步骤(1)中无遮挡的真实图像输入本模型的判别器中；(6)以(5)中经过判别器的卷积层、批归一化层和激活层后的输出的低维特征与其无遮挡预期输出的低维特征之间的差距优化判别器，判别器的优化目标函数为：LD＝E[logP(D＝real|XGT)]+E[logP(D＝fake|G(Xocclusion，Mask))]其中，E代表熵，D代表判别器，G代表生成器；XGT为真实图像，D＝real表示判别器的输出预期为真实图像；Xocclusion代表输入带有遮挡的图像，Mask代表遮挡物的mask，G(Xocclusion，Mask)为遮挡恢复重建图像，D＝fake表示判别器的输出预期为遮挡恢复重建图像；(7)以欺瞒判别器从而得到预期输出为目标优化生成器，即结合步骤(3)(4)(6)中所述的针对生成器的差距项共同优化生成器，生成器的优化目标函数为：LG_L1＝||G(Xocclusion，Mask)⊙XGT)||1LG_hole＝||(1-Mask)⊙(G(Xocclusion，Mask)-XGT)||1LG_valid＝||Mask⊙(G(Xocclusion，Mask)-XGT)||1LG＝E[logP(D＝real|G(Xocclusion，Mask))]+LG_L1+LG_hole+LG_valid+LG_shift其中，E代表熵，D代表判别器，G代表生成器；XGT为真实图像，D＝real表示判别器的输出预期为真实图像；Xocclusion代表输入带有遮挡的图像，Mask代表遮挡物的mask，G(Xocclusion，Mask)为遮挡恢复重建图像，LG_L1为整体，LG_hole为遮挡区域，LG_valid为可见区域，LG_shfit为移位层。反复进行上述(2)～(7)步骤，直到训练模型得到收敛，即损失值达到不再明显下降的状态，保存本模型生成器的参数以便在线使用阶段使用；在线使用阶段：(8)加载本模型的生成器的参数；(9)将有遮挡物的图片和遮挡物对应的掩模输入模型生成器，得到所期望的去除遮挡恢复重建后的图像并保存。本专利技术是一种基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，跟现有技术相比，本专利技术的主要优势在于：(1)本专利技术以图像遮挡为主要问题深入研究，实现相对人类感知能力而言更为精确细致的图像缺失补偿重建。(2)本专利技术以对抗思想为主导，准确定位遮挡区域，按部就班更新掩模控制遮挡恢复区域，精确控制可见区域与遮挡恢复重建区域，增强恢复重建方法的性能。(3)由于采用了重排深度特征信息策略，本专利技术在遮挡恢复重建同时主动以遮挡区域周围信息填充需要恢复重建的区域，即在图中可见区域找寻填补遮挡区域的信息；减少训练阶段耗时，稳定控制遮挡恢复重建。(4)本专利技术采用的部分卷积与重排深度特征配合策略，通过部分卷积更新掩模控制恢复重建区域，重排深度特征控制遮挡恢复，两者完美结合有效增强图像遮挡恢复效果，保证了图像遮挡恢复质量又增强效率，做到二者的完美平衡。(5)本专利技术的自动化程度很高，实际使用阶段基本不需要人为的干预，一般遮挡图像精确定位遮挡位置即可完美恢复，鲁棒性好。(6)本专利技术不针对任何既定类别的图像数据，在整体策略方面更具普遍性，只要经过相应类别大量数据训练。所得模型即可恢复遮挡区域，适用范围更广，因此有更广阔的应用前景。附图说明本专利技术方法网络结构框架图。具体实施方式本专利技术以判别器、生成器为主体，部分卷积与重排深度特征相配合，取得了完美的图像遮挡恢复效果。下文将对本专利技术实施方法进行更为具体的介绍和描述：方法训练阶段：本专利技术的部分卷积利用移位深度特征重排的图像遮挡恢复模型需要在一定数量训练样本中进行训练，因此，本专利技术方法的实施首先面临训练数据的选取本文档来自技高网...

【技术保护点】
1.基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，包括下列步骤：/n方法训练阶段：/n(1)搭建由四十种不同物体的真实图像与1000张真实的背景图像进行合成构建遮挡图像训练样本集合，并进行归一化处理，标定四十种不同的真实图像的掩模，并将1000张无遮挡图像作为真实图像标签；/n(2)使用合成的遮挡图像和对应遮挡物的掩模进行输入，(在此之前，每次输入该遮挡图像的未添加遮挡的图像，以便让移位层获取真实数据)经过一系列卷积层、引入连接卷积特征的反卷积层、批归一化层和激活层后，输出256*256大小的图像；/n(3)在生成器中控制无遮挡的部分保持原有输出，只针对图像中遮挡区域进行恢复重建。/n(4)针对移位层，卷积层特征和引入连接卷积特征的反卷积层特征的信息都是从原图中获取信息，反卷积层中未知区域的信息可以通过近邻搜索卷积层中的已知区域找到，通过每次输入的真实图像优化移位层。/n(5)将步骤(2)得到的生成图像与步骤(1)中无遮挡的真实图像输入本模型的判别器中；/n(6)以(5)中经过判别器的卷积层、批归一化层和激活层后的输出的低维特征与其无遮挡预期输出的低维特征之间的差距优化判别器；/n(7)以欺瞒判别器从而得到预期输出为目标优化生成器，即结合步骤(3)(4)(6)中所述的针对生成器的差距项共同优化生成器；/n(8)反复进行上述(2)～(7)步骤，直到训练模型得到收敛，即损失值达到不再明显下降的状态，保存本模型生成器的参数以便在线使用阶段使用；/n在线使用阶段：/n(9)加载本模型的生成器的参数；/n(10)将有遮挡物的图片和遮挡物对应的掩模输入模型生成器，得到所期望的去除遮挡恢复重建后的图像并保存。/n...

【技术特征摘要】
1.基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，包括下列步骤：
方法训练阶段：
(1)搭建由四十种不同物体的真实图像与1000张真实的背景图像进行合成构建遮挡图像训练样本集合，并进行归一化处理，标定四十种不同的真实图像的掩模，并将1000张无遮挡图像作为真实图像标签；
(2)使用合成的遮挡图像和对应遮挡物的掩模进行输入，(在此之前，每次输入该遮挡图像的未添加遮挡的图像，以便让移位层获取真实数据)经过一系列卷积层、引入连接卷积特征的反卷积层、批归一化层和激活层后，输出256*256大小的图像；
(3)在生成器中控制无遮挡的部分保持原有输出，只针对图像中遮挡区域进行恢复重建。
(4)针对移位层，卷积层特征和引入连接卷积特征的反卷积层特征的信息都是从原图中获取信息，反卷积层中未知区域的信息可以通过近邻搜索卷积层中的已知区域找到，通过每次输入的真实图像优化移位层。
(5)将步骤(2)得到的生成图像与步骤(1)中无遮挡的真实图像输入本模型的判别器中；
(6)以(5)中经过判别器的卷积层、批归一化层和激活层后的输出的低维特征与其无遮挡预期输出的低维特征之间的差距优化判别器；
(7)以欺瞒判别器从而得到预期输出为目标优化生成器，即结合步骤(3)(4)(6)中所述的针对生成器的差距项共同优化生成器；
(8)反复进行上述(2)～(7)步骤，直到训练模型得到收敛，即损失值达到不再明显下降的状态，保存本模型生成器的参数以便在线使用阶段使用；
在线使用阶段：
(9)加载本模型的生成器的参数；
(10)将有遮挡物的图片和遮挡物对应的掩模输入模型生成器，得到所期望的去除遮挡恢复重建后的图像并保存。


2.根据权利要求1所述的基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，它的特征在于，步骤(1)中，训练图像的大小均为256*256，它所有的图像合成后遮挡物与背景结合融洽并均清晰可辨，训练样本集合中包含合成图像40000幅。遮挡物为40个，主要以人物、植物、动物为主。


3.根据权利要求1所述的基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，它的特征在于，步骤(2)中，每次输入合成带有遮挡物的图像前将其不存有遮挡的图像进行一次输入，目的使移位层获取真实数据以便控制移位层的重排特征的分布，但是输入不带有遮挡图的时候禁止反向传递，不对生成器产生影响。输入带有遮挡物的合成图片的时候，同时输入遮挡物的掩模，带有遮挡物的合成图片与掩模同时进入一系列卷积层、引入连接卷积特征的反卷积层、批归一化层和激活层，在每一层都使用上一层更新后的掩模，随着网络层数的增加，掩模更新后，输出的掩模中为255的像素就越来越少，输出的图像中有效区域的面积越来越大，掩模对整体损失的影响会越来越小。从而输出预期的256*256图像。


4.根据权利要求1所述的基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，它的特征在于，步骤(3)中，合成遮挡图像与掩模同时进入针对被遮挡区域恢复的同时控制生成器，保持整体不发生过大差异，着重保持未被遮挡的区域即可见区域不被改变，从而达到只去除遮挡恢复重建图像的目的。控制的目标函数如下
LG_L1＝||G(Xocclusion，Mask)⊙XGT)||1
LG_hole＝||(1-Mask)⊙(G(Xocclusion，Mask)-XGT)||1
LG_valid＝||Mask⊙(G(Xocclusion，Mask)-XGT)||1



其中，G代表生成器；XGT为真实图像，Xocclusion代表输入带有遮挡的图像，Mask代表遮挡物的掩模，G(Xocclusion，Mask)为遮挡恢复重建图像。LG_L1为整体，LG_hole为遮挡区域，LG_valid为可见区域，LG_shfit为移位层。

【专利技术属性】
技术研发人员：李月龙，高增斌，高云，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津;12