图像填充方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种图像填充方法、装置、设备及存储介质，涉及人工智能、深度学习、计算机视觉、图像填充技术领域，图像填充方法包括：获取待填充图像的横向纹理特征，待填充图像包括缺失区域；获取待填充图像的纵向纹理特征；将横向纹理特征和纵向纹理特征进行融合，获得融合纹理特征；基于待填充图像的场景信息，得到待填充图像的场景特征；将融合纹理特征与场景特征进行特征组合处理，得到组合特征；基于组合后的特征重建图像，其中重建的图像中不存在缺失区域。利用本申请能够实现高质量的图像填充。

【技术实现步骤摘要】
图像填充方法、装置、设备及存储介质
本申请涉及人工智能、深度学习、计算机视觉、图像填充
，具体地，涉及一种图像填充方法、装置、设备以及存储介质。
技术介绍
图像填充技术有广泛的应用场景，例如图像编辑、图像修复、移除图像中的特定物体，等等。现有图像填充技术大多基于块匹配或纹理匹配的方法，使用普通的卷积神经网络处理，存在填充效果不够真实，纹理不自然，人工瑕疵明显，效率低下等问题。
技术实现思路
本申请提供了一种图像填充方法、装置、设备以及存储介质。根据本申请的第一方面，提供了一种图像填充方法，包括：获取待填充图像的横向纹理特征，待填充图像包括缺失区域；获取待填充图像的纵向纹理特征；将横向纹理特征和纵向纹理特征进行融合，获得融合纹理特征；基于待填充图像的场景信息，得到待填充图像的场景特征；将融合纹理特征与场景特征进行特征组合处理，得到组合特征；基于组合后的特征重建图像，其中重建的图像中不存在缺失区域。根据本申请的第二方面，提供了一种图像填充装置，包括：横向卷积模块，用于获取待填充图像的横向纹理特征，横向卷积模块的卷积核的宽度大于高度，待填充图像包括缺失区域；纵向卷积模块，用于获取待填充图像的纵向纹理特征，纵向卷积模块的卷积核的宽度小于高度；融合卷积模块，用于将横向纹理特征和纵向纹理特征进行融合，获得融合纹理特征；场景卷积模块，用于基于待填充图像的场景信息，得到待填充图像的场景特征；特征组合模块，用于将融合纹理特征与场景特征进行特征组合处理，得到组合特征；像素重建模块，用于基于组合后的特征重建图像，其中重建的图像中不存在缺失区域。根据本申请的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如上所述的方法。本申请实施例基于从待填充图像中提取的组合特征重建图像，组合特征中融合了待填充图像的横向纹理特征、纵向纹理特征以及场景特征，这些特征信息能够使重建的图像中原来缺失区域的对应位置与周围区域过渡自然，令填充效果更加生动。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是一个示意性的带有纹理特征的图像。图2是本申请一个实施例的图像填充方法的流程框图；图3是本申请一个实施例的图像填充装置的结构框图；图4是本申请一个实施例的示意性的待填充图像；图5是本申请另一实施例的图像填充方法的逻辑过程图；图6是对图4实施例进行图像填充处理后得到的示意性的图像；图7是实现本申请实施例的图像填充方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。为了更清楚地描述本申请的实施例，首先对图像处理领域中图像的纹理特征进行简要描述。纹理是一种反映图像中同质现象的视觉特征，纹理可体现物体表面的具有缓慢变化或者周期性变化的表面结构组织排列的属性。参考图1，纹理的特点体现在：是某种局部序列性的不断重复、非随机排列、纹理区域内大致上均匀统一。不同于灰度、颜色等图像特征，纹理是通过像素和像素周围空间邻域的灰度分布而表现的，即局部纹理信息，局部纹理信息在不同程度上的重复即全局纹理信息。本申请的实施例基于图像的横向纹理特征和纵向纹理特征信息，对图像中的缺失区域进行填充。具体地，图2示出了本申请实施例的图像填充方法的流程框图，包括如下步骤：S101：获取待填充图像的横向纹理特征，其中该待填充图像包括缺失区域；S102：获取该待填充图像的纵向纹理特征；S103：将获取的横向纹理特征和纵向纹理特征进行融合，获得融合纹理特征；S104：基于该待填充图像的场景信息，得到待填充图像的场景特征；S105：将该融合纹理特征与该场景特征进行特征组合处理，得到组合特征；S106：基于该组合特征重建图像，其中重建的图像中不存在缺失区域。在本申请的实施例中，待填充的图像是有缺失的图像，例如已将图像中希望删除的目标物去除，因此本申请实施例的待填充图像不是完整的图像，图像中缺失的部分区域即是待填充的区域。根据本申请的实施例，对于待填充图像并不是使用神经网络模型直接进行填充处理，而是需要首先捕捉有缺失的待填充图像的横向纹理特征及纵向纹理特征，并将横向和纵向纹理特征融合，可得到待填充图像的融合纹理特征f_context，并且，还需要捕捉待填充图像的场景信息，可选地，这里场景信息是除去纹理信息之外的场景信息，可得到待填充图像的场景特征f_texture，之后将融合纹理特征f_context与场景特征f_texture进行特征组合，也就是将待填充图像的纹理特征与场景特征组合，使得组合特征包含了待填充图像的尽可能多的特征，可以实现更好的纹理填充，特征表达能力更强，基于该组合特征重建图像，能够得到与待填充图像对应的完整图像，重建的完整图像融合了原图像的横向纹理特征、纵向纹理特征和场景特征，因此效果更佳逼真、自然，尤其适合用于对图像中包含较多纹理特征的图像的填充处理。在一种实施方式中，横向纹理特征与纵向纹理特征的长宽维度相同，可通过以下方式，将横向纹理特征和纵向纹理特征进行融合：将横向纹理特征与纵向纹理特征在通道维度上进行拼接；对拼接后的特征进行特征变换，得到融合纹理特征，其中，经过特征变换的融合纹理特征在通道维度上的数目为预设数目。将横向纹理特征和纵向纹理特征进行融合，可以实现更好的纹理填充，尤其适合用于对图像中包含较多纹理特征的图像的填充处理。在一种实施方式中，通过以下方式，将融合纹理特征与场景特征进行特征组合处理，包括：根据场景特征f_texture与融合纹理特征f_context之差的绝对值，计算得到组合掩码m；根据下式计算组合特征f_c：组合特征f_c＝(1-m)×f_context+m×f_texture。将融合的纹理特征与场景特征组合，可使组合特征包含待填充图像的尽可能多的特征，可以实现缺失区域与周围区域更逼真的纹理填充效果，特征表达能力更强。与上述方法实施例相对应地，本申请实施例还提本文档来自技高网...

【技术保护点】
1.一种图像填充方法，包括：/n获取待填充图像的横向纹理特征，所述待填充图像包括缺失区域；/n获取所述待填充图像的纵向纹理特征；/n将所述横向纹理特征和所述纵向纹理特征进行融合，获得融合纹理特征；/n基于所述待填充图像的场景信息，得到所述待填充图像的场景特征；/n将所述融合纹理特征与所述场景特征进行特征组合处理，得到组合特征；/n基于所述组合特征重建图像，其中重建的图像中不存在缺失区域。/n

【技术特征摘要】
1.一种图像填充方法，包括：
获取待填充图像的横向纹理特征，所述待填充图像包括缺失区域；
获取所述待填充图像的纵向纹理特征；
将所述横向纹理特征和所述纵向纹理特征进行融合，获得融合纹理特征；
基于所述待填充图像的场景信息，得到所述待填充图像的场景特征；
将所述融合纹理特征与所述场景特征进行特征组合处理，得到组合特征；
基于所述组合特征重建图像，其中重建的图像中不存在缺失区域。


2.根据权利要求1所述的方法，其中，所述横向纹理特征与所述纵向纹理特征的长宽维度相同；
所述将所述横向纹理特征和所述纵向纹理特征进行融合，包括：
将所述横向纹理特征与所述纵向纹理特征在通道维度上进行拼接；
对拼接后的特征进行特征变换，得到所述融合纹理特征，其中，经过特征变换的所述融合纹理特征在通道维度上的数目为预设数目。


3.根据权利要求1所述的方法，其中，所述将所述融合纹理特征与所述场景特征进行特征组合处理，包括：
根据所述场景特征与所述融合纹理特征之差的绝对值，计算得到组合掩码；
根据下式计算所述组合特征：
组合特征f_c＝(1-m)×f_context+m×f_texture
其中，f_c表示组合特征，f_context表示所述融合纹理特征，f_texture表示所述场景特征，m表示组合掩码。


4.根据权利要求1所述的方法，还包括：
将目标图像中的目标区域去除，得到待填充图像，所述待填充图像中的缺失区域为待填充区域。


5.根据权利要求1-4中任一项所述的方法，其中，
所述获取待填充图像的横向纹理特征、所述获取所述待填充图像的纵向纹理特征、所述将所述横向纹理特征和所述纵向纹理特征进行融合、所述基于所述待填充图像的场景信息得到所述待填充图像的场景特征、所述将所述融合纹理特征与所述场景特征进行特征组合处理以及所述基于所述组合特征重建图像分别由横向卷积模块、纵向卷积模块、融合卷积模块、场景卷积模块、特征组合模块以及像素重建模块执行，其中，
所述横向卷积模块、所述纵向卷积模块、所述融合卷积模块、所述场景卷积模块、所述特征组合模块以及所述像素重建模块是分别利用训练数据对神经网络进行训练而生成的，其中，先训练所述场景卷积模块与所述像素重建模块，后训练所述横向卷积模块、所述纵向卷积模块、所述融合卷积模块以及所述特征组合模块，训练完成后构建得到所述图像填充装置。


6.根据权利要求5所述的方法，其中，
所述横向卷积模块、所述纵向卷积模块、所述融合卷积模块、所述场景卷积模块、所述特征组合模块以及所述像素重建模块的训练数据均包括：有缺失的待填充图像和对应的完整图像。


7.一种图像填充装置，包括：
横向卷积模块，用于获取待填充图像的横向纹理特征，所述横向卷积模块的卷积核的宽度大于高度，所述待填充图像包括缺失区域；
纵向卷积模块，用于获取所述待填充图像的纵向纹理特征...

【专利技术属性】
技术研发人员：李超，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11