动作迁移方法、装置、电子设备及计算机可读存储介质制造方法及图纸

技术编号:38038523 阅读:12 留言:0更新日期:2023-06-30 11:05
本申请公开了一种动作迁移方法、装置、电子设备及计算机可读存储介质。其中,方法包括:获取待迁移动作的视频,并从待迁移动作的视频中确定待迁移动作的当前视频帧,其中,待迁移动作的视频按照从前到后的顺序进行动作迁移;获取当前视频帧的上一帧中识别出的待迁移对象;根据从上一帧中识别出的待迁移对象确定在当前视频帧中待迁移对象所处的目标区域;从目标区域中识别出待迁移对象;将待迁移对象在当前视频帧中的动作迁移到待迁移动作的虚拟模型上,以使虚拟模型执行与当前视频帧中待迁移对象的动作一致的动作。使用本申请提供的方案,能够快速、高效地识别出视频帧中的待迁移对象,从而提高动作迁移的效率。从而提高动作迁移的效率。从而提高动作迁移的效率。

【技术实现步骤摘要】
动作迁移方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及计算机
,具体涉及一种动作迁移方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着直播、短视频等行业的蓬勃发展,虚拟主播越来越受公司和用户的喜爱。虚拟主播进行直播时的动作通常是通过将真实的人的动作迁移到虚拟主播上实现的。
[0003]相关技术在将真实人的动作迁移到虚拟主播上时,通常是拍摄真人视频,将真人视频的每一帧输入到机器学习模型中进行人体识别,识别出每一帧中的人体,再将所识别出的人体的动作迁移到虚拟主播上。
[0004]由于在拍摄真人视频的过程中可能会出现拍摄环境比较复杂的情况,例如拍摄场景为室外街道、商场等人来人往的环境,所拍摄的视频中可能会出现多个人、视频中的环境画面也比较复杂,这种情况下,机器学习模型通常需要耗费比较多的计算资源才能识别出每一帧中的人体,识别人体所耗费的时间也比较长,导致动作迁移的效率比较低。

技术实现思路

[0005]本申请提供了一种穴位追踪方法、装置、电子设备及计算机可读存储介质,能够快速、高效地识别出视频帧中的待迁移对象,从而提高动作迁移的效率。具体方式如下。
[0006]第一方面,本申请实施例提供了一种动作迁移方法,所述方法包括:
[0007]获取待迁移动作的视频,并从所述待迁移动作的视频中确定待迁移动作的当前视频帧,其中,所述待迁移动作的视频按照从前到后的顺序进行动作迁移;
[0008]获取所述当前视频帧的上一帧中识别出的待迁移对象
[0009]根据从所述上一帧中识别出的待迁移对象确定在所述当前视频帧中所述待迁移对象所处的目标区域;
[0010]从所述目标区域中识别出所述待迁移对象;
[0011]将所述待迁移对象在所述当前视频帧中的动作迁移到待迁移动作的虚拟模型上,以使所述虚拟模型执行与所述当前视频帧中待迁移对象的动作一致的动作。
[0012]第二方面,本申请实施例还提供了一种作迁移装置,所述装置包括:
[0013]图像确定单元,用于获取待迁移动作的视频,并从所述待迁移动作的视频中确定待迁移动作的当前视频帧,其中,所述待迁移动作的视频按照从前到后的顺序进行动作迁移;
[0014]对象获取单元,用于获取所述当前视频帧的上一帧中识别出的待迁移对象;
[0015]区域确定单元,用于根据从所述上一帧中识别出的待迁移对象确定在所述当前视频帧中所述待迁移对象所处的目标区域;
[0016]对象识别单元,用于从所述目标区域中识别出所述待迁移对象;
[0017]动作迁移单元,用于将所述待迁移对象在所述当前视频帧中的动作迁移到待迁移
动作的虚拟模型上,以使所述虚拟模型执行与所述当前视频帧中待迁移对象的动作一致的动作。
[0018]第三方面,本申请实施例还提供了一种电子设备,包括:
[0019]处理器;以及
[0020]存储器,用于存储数据处理程序,该电子设备通电并通过所述处理器运行该程序后,执行如第一方面任一项所述的方法。
[0021]第四方面,本申请实施例还提供了一种计算机可读存储介质,存储有数据处理程序,该程序被处理器运行,执行如第一方面任一项所述的方法。
[0022]与现有技术相比,本申请具有以下优点:
[0023]本申请实施例提供的动作迁移方法,先从待迁移动作的视频中确定待迁移动作的当前视频帧,由于待迁移动作的视频是按照从前到后的顺序进行动作迁移的,所以,当前视频帧的上一帧为已经进行了动作迁移的对象,所以,在对当前视频帧进行动作迁移时,已经将当前视频帧的上一帧中的待迁移对象识别出来了,因此,能够很方便地获取到当前视频帧的上一帧中识别出的待迁移对象,再根据从所述上一帧中识别出的待迁移对象确定在当前视频帧中待迁移对象所处的目标区域,由于同一个对象在相邻两帧的位置通常是变化不大的,因此,根据从所述上一帧中识别出的待迁移对象能够大概确定出在当前视频帧中待迁移对象所处的目标区域,再从所述目标区域中识别出待迁移对象,将待迁移对象在当前视频帧中的动作迁移到待迁移动作的虚拟模型上,以使所述虚拟模型执行与所述当前视频帧中待迁移对象的动作一致的动作。
[0024]可见,本申请实施例提供的动作迁移方法,利用当前视频帧的上一帧中识别出的待迁移对象,对当前视频帧中待迁移对象所处的目标区域进行估计,从而在所估计的目标区域内对当前视频帧中的待迁移对象进行识别,能够减小进行待迁移对象识别时的识别区域,也就是说,本申请实施例能够在更小的图像区域范围内进行待迁移对象的识别,且识别过程中由于过滤掉了许多待迁移对象以外的人体和环境,这样,可以提高待迁移对象的识别速度,也可以降低对识别过程中计算资源的需求,从而提高了动作迁移效率。
[0025]另外,本申请提供的方案由于当前帧识别出的待迁移对象是根据上一帧中的待迁移对象确定出的,这样,可以提高使当前视频帧中所识别出的待迁移对象与上一帧中所识别出的待迁移对象一致的概率,也就是说,可以更好地保证当前视频帧和上一帧是对同一个对象进行动作迁移的,从而可以更好地减少由于不同帧中识别出的对象不同而导致虚拟模型的动作在不同对象之间跳动的现象,使得虚拟模型的动作迁移更逼真、稳定和可靠。
附图说明
[0026]图1是本申请实施例提供的动作迁移方法的一例的流程图;
[0027]图2是本申请实施例提供的动作迁移方法的另一例的流程图;
[0028]图3本申请实施例中通过对象检测的方式识别出待迁移对象的效果图;
[0029]图4是本申请实施例中对上一帧进行对象追踪的效果图;
[0030]图5是本申请实施例提供的动作迁移装置的单元框图;
[0031]图6是本申请实施例提供的用于实现动作迁移的电子设备的逻辑结构示意图。
具体实施方式
[0032]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
[0033]随着直播、短视频等行业的蓬勃发展,虚拟主播越来越受公司和用户的喜爱。虚拟主播进行直播时的动作通常是通过将真实的人的动作迁移到虚拟主播上实现的。
[0034]相关技术在将真实人的动作迁移到虚拟主播上时,通常是拍摄真人视频,将真人视频的每一帧输入到机器学习模型中进行人体识别,识别出每一帧中的人体,再将所识别出的人体的动作迁移到虚拟主播上。由于在拍摄真人视频的过程中可能会出现拍摄环境比较复杂的情况,例如拍摄场景为室外街道、商场等人来人往的环境,所拍摄的视频中可能会出现多个人、视频中的环境画面也比较复杂,这种情况下,机器学习模型通常需要耗费比较多的计算资源才能识别出每一帧中的人体,识别人体所耗费的时间也比较长,导致动作迁移的效率比较低,另外,进行直播的主播使用的设备的硬件配置通常也不高,例如,很多主播使用的是手机进行直播,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种动作迁移方法,其特征在于,所述方法包括:获取待迁移动作的视频,并从所述待迁移动作的视频中确定待迁移动作的当前视频帧,其中,所述待迁移动作的视频按照从前到后的顺序进行动作迁移;获取所述当前视频帧的上一帧中识别出的待迁移对象;根据从所述上一帧中识别出的待迁移对象确定在所述当前视频帧中所述待迁移对象所处的目标区域;从所述目标区域中识别出所述待迁移对象;将所述待迁移对象在所述当前视频帧中的动作迁移到待迁移动作的虚拟模型上,以使所述虚拟模型执行与所述当前视频帧中待迁移对象的动作一致的动作。2.根据权利要求1所述的方法,其特征在于,从所述目标区域中识别出所述待迁移对象,包括:在所述目标区域中识别出所述待迁移对象的各关键点;所述将所述待迁移对象在所述当前视频帧中的动作迁移到待迁移动作的虚拟模型上,包括:基于所述各关键点生成用于控制待迁移动作的虚拟模型的目标动作数据;控制上述虚拟模型按照所述目标动作数据执行动作。3.根据权利要求2所述的方法,其特征在于,所述根据从所述上一帧中识别出的待迁移对象确定在所述当前视频帧中所述待迁移对象所处的目标区域,包括:获取在所述上一帧中所述待迁移对象的各关键点;根据所述上一帧中所述待迁移对象的各关键点确定在所述上一帧中所述待迁移对象对应的区域;根据在所述上一帧中所述待迁移对象对应的区域确定在所述当前视频帧中所述待迁移对象所处的目标区域。4.根据权利要求3所述的方法,其特征在于,所述根据所述上一帧中所述待迁移对象的各关键点确定在所述上一帧中所述待迁移对象对应的区域,包括:确定所述上一帧中待迁移对象的各关键点的准确程度;当所述各关键点的准确程度均高于第二预设阈值时,根据所述上一帧中待迁移对象的各关键点确定在所述当前视频帧中所述待迁移对象所处的目标区域。5.根据权利要求3所述的方法,其特征在于,所述根据所述上一帧中所述待迁移对象的各关键点确定在所述上一帧中所述待迁移对象对应的区域,包括:从所述上一帧中所述待迁移对象的各关键点中确定各目标部位分别对应的各关键点,所述目标部位为所述待迁移对象待迁移动作的各部位;确定在所述上一帧中所述目标部位对应的各关键点的准确程度;当所述目标部位对应的各准确程度大于第一预设阈值时,确定所述目标部位在所述上一帧中所处的区域;当检测到在所述上一帧中各所述目标部位均确定出了对应的区域时,根据所述上一帧中各目标部位分别对应的各区域确定在所述上一帧中所述待迁移对象对应的...

【专利技术属性】
技术研发人员:张超侯杰范长杰胡志鹏
申请(专利权)人:网易杭州网络有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1