本公开实施例提供一种图像驱动方法、装置、设备和介质，其中方法包括：获取目标图像和驱动参考图像，所述目标图像包括目标对象的身体部位，所述驱动参考图像中包括产生驱动动作的驱动对象的身体部位；基于所述目标对象的各个身体部位关键点和所述驱动对象的各个身体部位关键点之间的对应关系，确定所述目标图像中多个像素点的运动信息，所述运动信息用于将所述目标对象的身体部位的动作调整为所述驱动动作；依据所述运动信息对所述目标图像中多个像素点进行调整，得到驱动效果图像，所述驱动效果图像中目标对象的身体部位呈现所述驱动动作。本方法能够基于单张目标对象的目标图像实现对目标对象的身体部位进行驱动呈现相应的动作。应的动作。应的动作。
【技术实现步骤摘要】
一种图像驱动方法、装置、设备和介质
[0001]本公开实施例涉及计算机视觉
，具体涉及一种图像驱动方法、装置、设备和介质。
技术介绍
[0002]在例如虚拟会议、活照片等计算机视觉热门领域，需要用到图像驱动技术，来驱动人的身体部位产生相应的动作。比如，人脸图像驱动是指给定一段人脸视频，能够将这段人脸视频的人脸动作转移到用户指定的人脸图像上。但是现有的图像驱动技术中，如果要实现对特定用户的人脸进行驱动，需要获取该特定用户的一段视频来进行驱动，驱动方式操作繁琐且处理效率较低。
技术实现思路
[0003]有鉴于此，本公开实施例提供至少一种图像驱动方法、装置、设备和介质。
[0004]具体地，本公开实施例是通过如下技术方案实现的：
[0005]第一方面，提供了一种图像驱动方法，所述方法包括：
[0006]获取目标图像和驱动参考图像，所述目标图像包括目标对象的身体部位，所述驱动参考图像中包括产生驱动动作的驱动对象的身体部位；
[0007]基于所述目标对象的各个身体部位关键点和所述驱动对象的各个身体部位关键点之间的对应关系，确定所述目标图像中多个像素点的运动信息，所述运动信息用于将所述目标对象的身体部位的动作调整为所述驱动动作；
[0008]依据所述运动信息对所述目标图像中多个像素点进行调整，得到驱动效果图像，所述驱动效果图像中目标对象的身体部位呈现所述驱动动作。
[0009]在一些可选的实施例中，所述基于所述目标对象的各个身体部位关键点和所述驱动对象的各个身体部位关键点之间的对应关系，确定所述目标图像中多个像素点的运动信息，包括：对所述目标图像进行身体部位关键点提取，得到所述目标图像中所述目标对象的各个身体部位关键点分别对应的第一位置参数；以及，对所述驱动参考图像进行身体部位关键点提取，得到所述驱动参考图像中所述驱动对象的各个身体部位关键点分别对应的第二位置参数；基于所述第一位置参数和所述第二位置参数之间的对应关系，确定所述目标图像中多个像素点的运动信息。
[0010]在一些可选的实施例中，所述运动信息包括每个像素点的位移；所述依据所述运动信息对所述目标图像中多个像素点进行调整，包括：将所述目标图像中多个像素点按照各自对应的位移进行移动。
[0011]在一些可选的实施例中，所述依据所述运动信息对所述目标图像中多个像素点进行调整，得到驱动效果图像，包括：依据所述运动信息对所述目标图像中多个像素点进行调整，得到调整后的目标图像，所述调整后的目标图像作为所述驱动效果图像；或者，依据所述运动信息对所述目标图像中多个像素点进行调整，得到调整后的目标图像；利用所述调
整后的目标图像、所述运动信息以及图像生成网络，生成所述驱动效果图像。
[0012]在一些可选的实施例中，所述图像生成网络包括编码网络和解码网络；所述利用调整后的目标图像、所述运动信息以及图像生成网络，生成所述驱动效果图像，包括：利用所述编码网络对调整后的目标图像进行特征提取，得到特征图；基于所述运动信息，对所述特征图中的像素点进行调整；利用所述解码网络对调整后的特征图进行解码处理，得到所述驱动效果图像。
[0013]在一些可选的实施例中，所述方法还包括：利用所述运动信息，确定所述目标图像对应的掩膜，所述掩膜用于标识在依据运动信息对目标图像中多个像素点进行调整的过程中各个像素点的移动程度；所述利用所述调整后的目标图像、所述运动信息以及图像生成网络，生成所述驱动效果图像，包括：利用所述调整后的目标图像、所述运动信息、所述掩膜以及图像生成网络，生成所述驱动效果图像。
[0014]在一些可选的实施例中，所述图像生成网络包括编码网络和解码网络；所述利用所述调整后的目标图像、所述运动信息、所述掩膜以及图像生成网络，生成所述驱动效果图像，包括：利用所述编码网络对调整后的目标图像进行特征提取，得到特征图；基于所述运动信息及所述掩膜，对所述特征图中的像素点进行调整；利用所述解码网络对调整后的特征图进行解码处理，得到所述驱动效果图像。
[0015]在一些可选的实施例中，所述方法由图像驱动模型执行，所述图像驱动模型根据目标样本图像和驱动样本图像经训练生成；其中，所述目标样本图像包括样本对象的身体部位，所述驱动样本图像中包括呈现第二动作的样本对象的身体部位；训练中的初始图像驱动模型输出呈现第一动作的样本对象的身体部位的训练图像，通过所述训练图像和所述驱动样本图像的差异对训练过程中的初始图像驱动模型进行调整，训练后得到所述图像驱动模型。
[0016]在一些可选的实施例中，获取驱动参考图像，包括：获取驱动视频中的多帧驱动参考图像，所述多帧驱动参考图像中包括同一驱动对象的身体部位，且不同驱动参考图像中的所述驱动对象的身体部位呈现的驱动动作不同；由所述多帧驱动参考图像中获取一帧所述驱动参考图像。
[0017]在一些可选的实施例中，响应于获取到目标对象的多帧驱动效果图像，基于所述多帧驱动效果图像生成目标视频，所述目标视频中目标对象的身体部位的动作与所述驱动视频中驱动对象的身体部位的动作一致，其中，所述多帧驱动效果图像与所述多帧驱动参考图像的数量相同，且所述多帧驱动效果图像中分别对应呈现所述多帧驱动参考图像中的驱动对象的身体部位的驱动动作。
[0018]第二方面，提供了一种图像驱动装置，所述装置包括：
[0019]图像获取模块，用于获取目标图像和驱动参考图像，所述目标图像包括目标对象的身体部位，所述驱动参考图像中包括产生驱动动作的驱动对象的身体部位；
[0020]像素运动模块，用于基于所述目标对象的各个身体部位关键点和所述驱动对象的各个身体部位关键点之间的对应关系，确定所述目标图像中多个像素点的运动信息，所述运动信息用于将所述目标对象的身体部位的动作调整为所述驱动动作；
[0021]图像调整模块，用于依据所述运动信息对所述目标图像中多个像素点进行调整，得到驱动效果图像，所述驱动效果图像中目标对象的身体部位呈现所述驱动动作。
[0022]第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的图像驱动方法。
[0023]第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的图像驱动方法。
[0024]第五方面，提供一种计算机程序产品，所述产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开任一实施例所述的图像驱动方法。
[0025]本公开实施例提供的图像驱动方法，通过根据目标对象的身体部位关键点和驱动对象的身体部位关键点之间的对应关系，来调整目标图像中的像素点，从而对目标图像进行直接变形，能够让目标图像呈现与驱动参考图像相同的身体部位的动作，无需上传特定目标对象的视频，便可利用单张目标对象的目标图像实现对目标对象的驱动，简化了实现目标对象驱动的操作方式，且能够有效本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像驱动方法，其特征在于，所述方法包括：获取目标图像和驱动参考图像，所述目标图像包括目标对象的身体部位，所述驱动参考图像中包括产生驱动动作的驱动对象的身体部位；基于所述目标对象的各个身体部位关键点和所述驱动对象的各个身体部位关键点之间的对应关系，确定所述目标图像中多个像素点的运动信息，所述运动信息用于将所述目标对象的身体部位的动作调整为所述驱动动作；依据所述运动信息对所述目标图像中多个像素点进行调整，得到驱动效果图像，所述驱动效果图像中目标对象的身体部位呈现所述驱动动作。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的各个身体部位关键点和所述驱动对象的各个身体部位关键点之间的对应关系，确定所述目标图像中多个像素点的运动信息，包括：对所述目标图像进行身体部位关键点提取，得到所述目标图像中所述目标对象的各个身体部位关键点分别对应的第一位置参数；以及，对所述驱动参考图像进行身体部位关键点提取，得到所述驱动参考图像中所述驱动对象的各个身体部位关键点分别对应的第二位置参数；基于所述第一位置参数和所述第二位置参数之间的对应关系，确定所述目标图像中多个像素点的运动信息。3.根据权利要求1或2所述的方法，其特征在于，所述运动信息包括每个像素点的位移；所述依据所述运动信息对所述目标图像中多个像素点进行调整，包括：将所述目标图像中多个像素点按照各自对应的位移进行移动。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述依据所述运动信息对所述目标图像中多个像素点进行调整，得到驱动效果图像，包括：依据所述运动信息对所述目标图像中多个像素点进行调整，得到调整后的目标图像，所述调整后的目标图像作为所述驱动效果图像；或者，依据所述运动信息对所述目标图像中多个像素点进行调整，得到调整后的目标图像；利用所述调整后的目标图像、所述运动信息以及图像生成网络，生成所述驱动效果图像。5.根据权利要求4所述的方法，其特征在于，所述图像生成网络包括编码网络和解码网络；所述利用调整后的目标图像、所述运动信息以及图像生成网络，生成所述驱动效果图像，包括：利用所述编码网络对调整后的目标图像进行特征提取，得到特征图；基于所述运动信息，对所述特征图中的像素点进行调整；利用所述解码网络对调整后的特征图进行解码处理，得到所述驱动效果图像。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：利用所述运动信息，确定所述目标图像对应的掩膜，所述掩膜用于标识在依据运动信息对目标图像中多个像素点进行调整的过程中各个像素点的移动程度；所述利用所述调整后的目标图像、所述运动信息以及图像生成网络，生成所述驱动效果图像，包括：利用所述调整后的目标图像、所述运动信息、所述掩膜以及图像生成网络，生成所述驱
动效果图像。7.根据权利要求6所述的方法，其特征在于，所述图...
【专利技术属性】
技术研发人员：唐斯伟，朱昊，吴文岩，范蕤，钱晨，
申请(专利权)人：北京大甜绵白糖科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。