基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法技术

本发明专利技术公开了一种基于部分卷积利用移位深度特征重排的图像遮挡恢复方法。对比现有相关技术方法，该技术具有适应性强、鲁棒性好，使用阶段只需要输入带有遮挡图像及遮挡物掩模，过程不需人为的干预，训练过程稳定，充分保持了去除遮挡恢复原貌和保持真实性的平衡等优点。本发明专利技术的主要创新之处在解决了图像遮挡缺失恢复问题赋予计算机重建图像缺失部分的能力，实现相对人类感知能力而言更为精确细致的图像遮挡缺失恢复重建。在生成器中通过部分卷积更新掩模控制可见区域保持完整与重排深度特征信息进行遮挡区域恢复重建，加上判别器的控制，多个部分损失控制生成器的图像遮挡恢复，得到期望的图像遮挡恢复重建的原貌，本发明专利技术考虑多种策略控制生成器修复，直接提升恢复重建效果。本发明专利技术将在实际应用中对于遮挡补偿、破损恢复等相关问题带来更加优秀的解决方案。

【技术实现步骤摘要】
基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法
本专利技术属于图像建模、计算机视觉、图像生成领域，涉及一种基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，主要针对图像中遮挡问题导致图像信息丢失重建。
技术介绍
我们都知道目前基于现代计算机能力的提升，深度学习的发展和应用得到了飞跃般的进步。在面对一幅图像，即使有部分因为遮挡缺失导致图像不完整，当下人类也能通过自身能力在某种程度上，补偿“恢复”图像中的缺失部分，获取图像中的完整信息，现代计算机拥有强大的运算能力和超大规模的数据分析能力，完全可以胜任重建图像缺失部分的能力，实现相对人类感知能力而言更为精确细致的图像缺失补偿重建。通过完美的智能算法赋予计算机此强大能力，将对实际应用中对于遮挡补偿、破损恢复等相关问题带来更加优秀的解决方案。深度学习的爆发，让我们看到通过学习大量的数据，运用计算机视觉前沿研究领域之一的图像自动生成，该方向中一种灵感来源于博弈论中零和博弈思想的对抗网络算法取得了比较好的突破，此方法为生成全新的图片，就是通过生成网络G(Generator)和判本文档来自技高网...

【技术保护点】
1.基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，包括下列步骤：/n方法训练阶段：/n(1)搭建由四十种不同物体的真实图像与1000张真实的背景图像进行合成构建遮挡图像训练样本集合，并进行归一化处理，标定四十种不同的真实图像的掩模，并将1000张无遮挡图像作为真实图像标签；/n(2)使用合成的遮挡图像和对应遮挡物的掩模进行输入，(在此之前，每次输入该遮挡图像的未添加遮挡的图像，以便让移位层获取真实数据)经过一系列卷积层、引入连接卷积特征的反卷积层、批归一化层和激活层后，输出256*256大小的图像；/n(3)在生成器中控制无遮挡的部分保持原有输出，只针对图像中遮挡区域进行恢复重建。/...

【技术特征摘要】
1.基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，包括下列步骤：
方法训练阶段：
(1)搭建由四十种不同物体的真实图像与1000张真实的背景图像进行合成构建遮挡图像训练样本集合，并进行归一化处理，标定四十种不同的真实图像的掩模，并将1000张无遮挡图像作为真实图像标签；
(2)使用合成的遮挡图像和对应遮挡物的掩模进行输入，(在此之前，每次输入该遮挡图像的未添加遮挡的图像，以便让移位层获取真实数据)经过一系列卷积层、引入连接卷积特征的反卷积层、批归一化层和激活层后，输出256*256大小的图像；
(3)在生成器中控制无遮挡的部分保持原有输出，只针对图像中遮挡区域进行恢复重建。
(4)针对移位层，卷积层特征和引入连接卷积特征的反卷积层特征的信息都是从原图中获取信息，反卷积层中未知区域的信息可以通过近邻搜索卷积层中的已知区域找到，通过每次输入的真实图像优化移位层。
(5)将步骤(2)得到的生成图像与步骤(1)中无遮挡的真实图像输入本模型的判别器中；
(6)以(5)中经过判别器的卷积层、批归一化层和激活层后的输出的低维特征与其无遮挡预期输出的低维特征之间的差距优化判别器；
(7)以欺瞒判别器从而得到预期输出为目标优化生成器，即结合步骤(3)(4)(6)中所述的针对生成器的差距项共同优化生成器；
(8)反复进行上述(2)～(7)步骤，直到训练模型得到收敛，即损失值达到不再明显下降的状态，保存本模型生成器的参数以便在线使用阶段使用；
在线使用阶段：
(9)加载本模型的生成器的参数；
(10)将有遮挡物的图片和遮挡物对应的掩模输入模型生成器，得到所期望的去除遮挡恢复重建后的图像并保存。


2.根据权利要求1所述的基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，它的特征在于，步骤(1)中，训练图像的大小均为256*256，它所有的图像合成后遮挡物与背景结合融洽并均清晰可辨，训练样本集合中包含合成图像40000幅。遮挡物为40个，主要以人物、植物、动物为主。


3.根据权利要求1所述的基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，它的特征在于，步骤(2)中，每次输入合成带有遮挡物的图像前将其不存有遮挡的图像进行一次输入，目的使移位层获取真实数据以便控制移位层的重排特征的分布，但是输入不带有遮挡图的时候禁止反向传递，不对生成器产生影响。输入带有遮挡物的合成图片的时候，同时输入遮挡物的掩模，带有遮挡物的合成图片与掩模同时进入一系列卷积层、引入连接卷积特征的反卷积层、批归一化层和激活层，在每一层都使用上一层更新后的掩模，随着网络层数的增加，掩模更新后，输出的掩模中为255的像素就越来越少，输出的图像中有效区域的面积越来越大，掩模对整体损失的影响会越来越小。从而输出预期的256*256图像。


4.根据权利要求1所述的基于部分卷积利用移位深度特征重排的图像遮挡恢复重建方法，它的特征在于，步骤(3)中，合成遮挡图像与掩模同时进入针对被遮挡区域恢复的同时控制生成器，保持整体不发生过大差异，着重保持未被遮挡的区域即可见区域不被改变，从而达到只去除遮挡恢复重建图像的目的。控制的目标函数如下
LG_L1＝||G(Xocclusion，Mask)⊙XGT)||1
LG_hole＝||(1-Mask)⊙(G(Xocclusion，Mask)-XGT)||1
LG_valid＝||Mask⊙(G(Xocclusion，Mask)-XGT)||1



其中，G代表生成器；XGT为真实图像，Xocclusion代表输入带有遮挡的图像，Mask代表遮挡物的掩模，G(Xocclusion，Mask)为遮挡恢复重建图像。LG_L1为整体，LG_hole为遮挡区域，LG_valid为可见区域，LG_shfit为移位层。

【专利技术属性】
技术研发人员：李月龙，高增斌，高云，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津;12