视频确定方法、装置、电子设备及存储介质制造方法及图纸

技术编号：40362481 阅读：9 留言：0更新日期：2024-02-09 14:50

本公开实施例提供了一种视频确定方法、装置、电子设备及存储介质。其中，该方法包括：响应于特效触发操作，采集包括目标对象的目标面部图像；确定目标音频，并确定与目标音频相对应的关键视频帧序列；基于关键视频帧序列和目标面部图像，确定目标音频播放时目标面部图像的目标面部特征；基于目标面部特征和所述目标音频，确定所述目标特效音视频。本公开实施例的技术方案，实现了在算力有限的设备上，可以驱动目标面部图像的面部特征与目标音频播放时的面部特征相一致的效果。

全部详细技术资料下载

【技术实现步骤摘要】

本公开实施例涉及图像处理，尤其涉及一种视频确定方法、装置、电子设备及存储介质。

技术介绍

1、随着网络技术的发展，基于人工智能的人机交互方式的应用软件也越来越普遍，而可视化语音技术成为了新一代人机交互方式。

2、现有技术中，软件开发商可以在应用中添加各种各样的特效道具，以供用户在拍摄视频的过程中使用，然而，目前为用户提供的特效道具十分有限，视频的质量及其内容的丰富性都有待进一步提升，同时，视频内容与所选择的特效之间缺乏同步性，用户在使用特效道具时的交互体验较差。

技术实现思路

1、本公开提供一种视频确定方法、装置、电子设备及存储介质，以实现在算力有限的设备上，可以驱动目标面部图像的面部特征与目标音频播放时的面部特征相一致的效果。

2、第一方面，本公开实施例提供了一种视频确定方法，应用于客户端中，该方法包括：

3、响应于特效触发操作，采集包括目标对象的目标面部图像；

4、确定目标音频，并确定与所述目标音频相对应的关键视频帧序列；

5、基于所述关键视频帧序列和所述目标面部图像，确定所述目标音频播放时所述目标面部图像的目标面部特征；

6、基于所述目标面部特征和所述目标音频，确定所述目标特效音视频。

7、第二方面，本公开实施例还提供了一种视频确定装置，该装置包括：

8、面部图像采集模块，用于响应于特效触发操作，采集包括目标对象的目标面部图像；

9、目标音频确定模块，用于确定目标音频，

10、目标面部特征确定模块，用于基于所述关键视频帧序列和所述目标面部图像，确定所述目标音频播放时所述目标面部图像的目标面部特征；

11、目标特效音视频确定模块，用于基于所述目标面部特征和所述目标音频，确定所述目标特效音视频。

12、第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

13、一个或多个处理器；

14、存储装置，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的视频确定方法。

16、第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的视频确定方法。

17、本公开实施例，通过响应于特效触发操作，采集包括目标对象的目标面部图像，然后，确定目标音频，并确定与目标音频相对应的关键视频帧序列，进一步的，基于关键视频帧序列和目标面部图像，确定目标音频播放时目标面部图像的目标面部特征，最后，基于目标面部特征和目标音频，确定目标特效音视频，解决了现有技术中通过音频驱动面部图像的面部特征进行变化时，面部图像的面部五官无法与音频同步发生变化的问题，或者，仅面部图像的口型特征发生变化的问题，实现了在算力有限的设备上，可以驱动目标面部图像的面部特征与目标音频播放时的面部特征相一致的效果，提升了用户体验。

本文档来自技高网...

【技术保护点】

1.一种视频确定方法，其特征在于，应用于客户端中，包括：

2.根据权利要求1所述的方法，其特征在于，所述特效触发操作包括下述至少一种：

3.根据权利要求1所述的方法，其特征在于，所述确定目标音频，包括：

4.根据权利要求1所述的方法，其特征在于，还包括：

5.根据权利要求1或4所述的方法，其特征在于，所述确定与所述目标音频相对应的关键视频帧序列，包括：

6.根据权利要求5所述的方法，其特征在于，所述面部特征中包括口型特征，确定关键视频帧序列，包括：

7.根据权利要求6所述的方法，其特征在于，所述面部特征中还包括面部五官特征，确定所述关键视频帧序列，包括：

8.根据权利要求1所述的方法，其特征在于，所述基于所述关键视频帧序列和所述目标面部图像，确定所述目标音频播放时所述目标面部图像的目标面部特征，包括：

9.根据权利要求8所述的方法，其特征在于，所述基于所述关键视频帧序列中各关键视频帧的参考特征点数据和所述目标面部图像的基础特征点数据，确定与相应关键视频帧所对应的目标特征点数据，包括：</p>

10.根据权利要求8所述的方法，其特征在于，所述基于所述目标特征点数据、所述目标面部图像以及相应的基础特征点数据，确定所述目标音频播放时所述目标面部图像的目标面部特征，包括：

11.根据权利要求10所述的方法，其特征在于，还包括：

12.一种视频确定装置，其特征在于，配置于客户端中，包括：

13.一种电子设备，其特征在于，所述电子设备包括：

14.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-11中任一所述的视频确定方法。

...

【技术特征摘要】