图像处理方法及装置、电子设备、计算机可读取介质制造方法及图纸

本公开关于一种图像处理方法及装置、电子设备、计算机可读取介质。图像处理方法包括：获取待补全图像和参考图像；基于待补全图像的3D对象信息和参考图像的3D对象信息，得到待补全图像的补全后的3D对象信息；获取从参考图像的3D对象信息至待补全图像的补全后的3D对象信息的光流信息；基于光流信息对待补全图像中对象进行补全，得到补全后的图像。本公开解决了相关技术中补全后的图像中补全部分常常在时序上出现抖动或违和的问题。序上出现抖动或违和的问题。序上出现抖动或违和的问题。

【技术实现步骤摘要】
图像处理方法及装置、电子设备、计算机可读取介质


[0001]本公开涉及图像处理领域，尤其涉及一种图像处理方法及装置、电子设备、计算机可读取介质。

技术介绍

[0002]目前，图片补全均是通过深度学习神经网络实现的，例如，形体舞蹈(Bodydance)项目中，用户向深度学习神经网络输入自身图片和指定模版(如，对应一组舞蹈动作的多个图片)，经深度学习神经网络计算，可输出一段视频，该视频中每一帧图像都是更新的自身图片，该更新的自身图片中对象分别与指定模版中对象的舞蹈动作一致。在这个过程中，如果用户输入自身图片为人体上半身图片，则需要深度学习神经网络补全人体下半身，但是深度学习神经网络训练需要依赖大量的训练数据，且补全后图片本身自由度较高(如缺失的人体下半身可能为多种姿势)，因此，深度学习神经网络学习难度大，最终效果难以保证，常常导致补全的部分在时序上出现抖动或违和。

技术实现思路

[0003]本公开提供一种图像处理方法及装置、电子设备、计算机可读取介质，以至少解决相关技术中补全后的图像中补全部分常常在时序上出现抖动或违和的问题。
[0004]根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取待补全图像和参考图像，其中，参考图像包含待补全图像中对象的待补全部分的图像信息；基于待补全图像的3D对象信息和参考图像的3D对象信息，得到待补全图像的补全后的3D对象信息；获取从参考图像的3D对象信息至待补全图像的补全后的3D对象信息的光流信息；基于光流信息对待补全图像中所述对象进行补全，得到补全后的图像。
[0005]可选地，基于待补全图像的3D对象信息和参考图像的3D对象信息，得到待补全图像的补全后的3D对象信息，包括：获取待补全图像的3D对象信息和参考图像的3D对象信息；将待补全图像的3D对象信息中待补全部分的3D对象信息替换为参考图像的3D对象信息中与待补全部分对应部分的3D对象信息，得到待补全图像的补全后的3D对象信息。
[0006]可选地，获取从参考图像的3D对象信息至待补全图像的补全后的3D对象信息的光流信息，包括：对待补全图像的补全后的3D对象信息进行渲染，得到第一渲染图；对参考图像的3D对象信息进行渲染，得到第二渲染图；将从第二渲染图至第二渲染图的光流信息，作为从参考图像的3D对象信息至待补全图像的补全后的3D对象信息的光流信息。
[0007]可选地，基于光流信息对待补全图像中所述对象进行补全，得到补全后的图像，包括：基于光流信息，将参考图像的图像信息调整为与待补全图像对齐的中间图像信息；将待补全图像的图像信息中待补全部分的图像信息替换为中间图像信息中与待补全部分对应部分的图像信息，得到待补全图像的补全后的图像信息；基于待补全图像的补全后的图像信息得到补全后的图像。
[0008]可选地，图像信息包括以下之一：解析信息、RGB图、掩码图。
[0009]可选地，在基于光流信息对待补全图像中所述对象进行补全，得到补全后的图像之后，还包括：将补全后的图像、补全后的图像的渲染图和目标图像的渲染图输入到预定神经网络中，得到更新的补全后的图像，其中，更新的补全后的图像中对象与目标图像中对象的姿势一致。
[0010]根据本公开实施例的第二方面，提供一种图像处理装置，包括：图像获取单元，被配置为获取待补全图像和参考图像，其中，所述参考图像包含所述待补全图像中对象的待补全部分的图像信息；3D对象信息补全单元，被配置为基于待补全图像的3D对象信息和参考图像的3D对象信息，得到待补全图像的补全后的3D对象信息；光流信息获取单元，被配置为获取从参考图像的3D对象信息至待补全图像的补全后的3D对象信息的光流信息；处理单元，被配置为基于光流信息对待补全图像中所述对象进行补全，得到补全后的图像。
[0011]可选地，3D对象信息补全单元，还被配置为获取待补全图像的3D对象信息和参考图像的3D对象信息；将待补全图像的3D对象信息中待补全部分的3D对象信息替换为参考图像的3D对象信息中与待补全部分对应部分的3D对象信息，得到待补全图像的补全后的3D对象信息。
[0012]可选地，光流信息获取单元，还被配置为对待补全图像的补全后的3D对象信息进行渲染，得到第一渲染图；对参考图像的3D对象信息进行渲染，得到第二渲染图；将从第二渲染图至第二渲染图的光流信息，作为从参考图像的3D对象信息至待补全图像的补全后的3D对象信息的光流信息。
[0013]可选地，处理单元，还被配置为基于光流信息，将参考图像的图像信息调整为与待补全图像对齐的中间图像信息；将待补全图像的图像信息中待补全部分的图像信息替换为中间图像信息中与待补全部分对应部分的图像信息，得到待补全图像的补全后的图像信息；基于待补全图像的补全后的图像信息得到补全后的图像。
[0014]可选地，图像信息包括以下之一：解析信息、RGB图、掩码图。
[0015]可选地，处理单元，还被配置为在基于光流信息对待补全图像中所述对象进行补全，得到补全后的图像之后，将补全后的图像、补全后的图像的渲染图和目标图像的渲染图输入到预定神经网络中，得到更新的补全后的图像，其中，更新的补全后的图像中对象与目标图像中对象的姿势一致。
[0016]根据本公开实施例的第三方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现根据本公开的图像处理方法。
[0017]根据本公开实施例的第四方面，提供了一种计算机可读存储介质，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行如上根据本公开的图像处理方法。
[0018]根据本公开实施例的第五方面，提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现根据本公开的图像处理方法。
[0019]本公开的实施例提供的技术方案至少带来以下有益效果：
[0020]根据本公开的图像处理方法及装置、电子设备、计算机可读取介质，通过参考图像的3D对象信息对待补全图像的3D对象信息进行补全，基于补全的3D对象信息和参考图像的3D对象信息可以获取相应的光流信息，基于光流信息即可补全待补全图像中的对象，无需
依赖神经网络进行补全，而且可以克服神经网络补全方法导致的补全部分在时序上的抖动或违和的问题。因此，本公开解决了相关技术中补全后的图像中补全部分常常在时序上出现抖动或违和的问题。
[0021]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
[0023]图1是示出根据本公开的示例性实施例的图像处理方法的实施场景示意图；
[0024]图2是根据一示例性实施例示出的一种图像处理方法的流程图；
[0025]图3是根据一示例性实施例示出的一种采用神经网络进行图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待补全图像和参考图像，其中，所述参考图像包含所述待补全图像中对象的待补全部分的图像信息；基于所述待补全图像的3D对象信息和所述参考图像的3D对象信息，得到所述待补全图像的补全后的3D对象信息；获取从所述参考图像的3D对象信息至所述待补全图像的补全后的3D对象信息的光流信息；基于所述光流信息对所述待补全图像中所述对象进行补全，得到补全后的图像。2.如权利要求1所述的图像处理方法，其特征在于，所述基于所述待补全图像的3D对象信息和所述参考图像的3D对象信息，得到所述待补全图像的补全后的3D对象信息，包括：获取所述待补全图像的3D对象信息和所述参考图像的3D对象信息；将所述待补全图像的3D对象信息中待补全部分的3D对象信息替换为所述参考图像的3D对象信息中与所述待补全部分对应部分的3D对象信息，得到所述待补全图像的补全后的3D对象信息。3.如权利要求1所述的图像处理方法，其特征在于，所述获取从所述参考图像的3D对象信息至所述待补全图像的补全后的3D对象信息的光流信息，包括：对所述待补全图像的补全后的3D对象信息进行渲染，得到第一渲染图；对所述参考图像的3D对象信息进行渲染，得到第二渲染图；将从所述第二渲染图至所述第二渲染图的光流信息，作为从所述参考图像的3D对象信息至所述待补全图像的补全后的3D对象信息的光流信息。4.如权利要求1所述的图像处理方法，其特征在于，所述基于所述光流信息对所述待补全图像中所述对象进行补全，得到补全后的图像，包括：基于所述光流信息，将所述参考图像的图像信息调整为与所述待补全图像对齐的中间图像信息；将所述待补全图像的图像信息中待补全部分的图像信息替换为所述中间图像信息中与所述待补全部分对应部分的图像信...

【专利技术属性】
技术研发人员：高远，赵松涛，黄星，申婷婷，万鹏飞，张栋楠，郭小燕，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：