System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 音画同步检测方法、装置、设备及存储介质制造方法及图纸_技高网

音画同步检测方法、装置、设备及存储介质制造方法及图纸

技术编号:40759252 阅读:8 留言:0更新日期:2024-03-25 20:11
本申请实施例公开了一种音画同步检测方法、装置、设备及存储介质,属于音视频测试技术领域,该方法包括:基于对视频帧的唇部识别结果,确定视频帧中唇部的唇部纵横比,唇部纵横比为纵向唇边距与横向唇部宽度的比值;基于唇部纵横比确定视频帧对应的嘴部开闭状态;确定音频中的同步检测点,同步检测点是人声从无到有的时间点;基于同步检测点对应检测范围内视频帧对应的嘴部开闭状态进行音画同步检测,得到音画同步检测结果;采用本申请实施例提供的方案能够提高音画同步检测的效率以及准确性。

【技术实现步骤摘要】

本申请实施例涉及音视频测试,特别涉及一种音画同步检测方法、装置、设备及存储介质


技术介绍

1、音视频在播放过程中,可能受网络延迟、设备性能等影响,出现音频与画面不同步的问题。解决音画不同步问题首先需要对音频与画面的同步情况进行检测。

2、然而,通过人工观测判断画面中口型与音频是否同步的方法,检测效率低,且容易出现误差。


技术实现思路

1、本申请实施例提供了一种音画同步检测方法、装置、设备及存储介质。所述技术方案如下:

2、一方面,本申请实施例提供了一种音画同步检测方法,所述方法包括:

3、基于对视频帧的唇部识别结果,确定所述视频帧中唇部的唇部纵横比,所述唇部纵横比为纵向唇边距与横向唇部宽度的比值;

4、基于所述唇部纵横比确定所述视频帧对应的嘴部开闭状态;

5、确定音频中的同步检测点,所述同步检测点是人声从无到有的时间点;

6、基于所述同步检测点对应检测范围内所述视频帧对应的嘴部开闭状态进行音画同步检测,得到音画同步检测结果。

7、另一方面,本申请实施例提供了一种音画同步检测装置,所述装置包括:

8、比值确定模块,用于基于对视频帧的唇部识别结果,确定所述视频帧中唇部的唇部纵横比,所述唇部纵横比为纵向唇边距与横向唇部宽度的比值;

9、状态确定模块,用于基于所述唇部纵横比确定所述视频帧对应的嘴部开闭状态;

10、检测点确定模块,用于确定音频中的同步检测点,所述同步检测点是人声从无到有的时间点;

11、检测模块,用于基于所述同步检测点对应检测范围内所述视频帧对应的嘴部开闭状态进行音画同步检测,得到音画同步检测结果。

12、另一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括处理器、存储器,所述存储器中存储至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行以实现如上述方面所述的音画同步检测方法。

13、另一方面,本申请实施例提供了一种计算机可读存储介质,所述存储介质存储有至少一条程序代码,所述至少一条程序代码用于被处理器执行以实现如上述方面所述的音画同步检测方法。

14、另一方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备实现如上述方面提供的音画同步检测方法。

15、本申请实施例中,在人声的发声过程中,嘴部开闭状态与人声同步变化,因此计算机设备可以根据嘴部开闭状态与人声从无到有的时间点,即同步检测点,对音画同步情况进行检测。在嘴部开闭状态的变化过程中,嘴部的纵向唇边距和横向唇部宽度会发生变化,因此计算机设备可以通过识别纵向唇边距和横向唇部宽度的比值确定嘴部开闭状态,进而根据同步检测点的嘴部开闭状态,确定音画是否同步。与人工进行音画同步检测的方式相比,采用本申请实施例提供的方案能够提高检测效率以及检测准确率。

本文档来自技高网...

【技术保护点】

1.一种音画同步检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述唇部纵横比确定所述视频帧对应的嘴部开闭状态,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于对视频帧的唇部识别结果,确定所述视频帧中唇部的唇部纵横比,包括:

4.根据权利要求2所述的方法,其特征在于,所述基于对视频帧的唇部识别结果,确定所述视频帧中唇部的唇部纵横比,还包括:

5.根据权利要求1至4任一所述的方法,其特征在于,所述基于所述同步检测点对应检测范围内所述视频帧对应的嘴部开闭状态进行音画同步检测,得到音画同步检测结果,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述检测范围内连续视频帧对应的所述嘴部开闭状态的变化情况进行音画同步检测,得到音画同步检测结果,包括:

7.根据权利要求1至4任一所述的方法,其特征在于,所述确定音频中的同步检测点,包括:

8.根据权利要求7所述的方法,其特征在于,所述对所述音频进行干声提取,得到纯净人声之后,所述方法还包括:

<p>9.根据权利要求8所述的方法,其特征在于,所述对所述纯净人声进行特殊人声识别,包括:

10.根据权利要求1至4任一所述的方法,其特征在于,所述基于对视频帧的唇部识别结果,确定所述视频帧中唇部的唇部纵横比之前,所述方法还包括:

11.根据权利要求1至4任一所述的方法,其特征在于,所述视频帧和所述音频从音视频片段中提取得到;

12.一种音画同步检测装置,其特征在于,所述装置包括:

13.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器,所述存储器中存储至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行如权利要求1至11任一所述的音画同步检测方法。

14.一种计算机可读存储介质,其特征在于,所述存储介质存储由至少一条程序代码,所述至少一条程序代码用于被处理器执行以实现如权利要求1至11任一所述的音画同步检测方法。

15.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中;计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备实现如权利要求1至11任一所述的音画同步检测方法。

...

【技术特征摘要】

1.一种音画同步检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述唇部纵横比确定所述视频帧对应的嘴部开闭状态,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于对视频帧的唇部识别结果,确定所述视频帧中唇部的唇部纵横比,包括:

4.根据权利要求2所述的方法,其特征在于,所述基于对视频帧的唇部识别结果,确定所述视频帧中唇部的唇部纵横比,还包括:

5.根据权利要求1至4任一所述的方法,其特征在于,所述基于所述同步检测点对应检测范围内所述视频帧对应的嘴部开闭状态进行音画同步检测,得到音画同步检测结果,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述检测范围内连续视频帧对应的所述嘴部开闭状态的变化情况进行音画同步检测,得到音画同步检测结果,包括:

7.根据权利要求1至4任一所述的方法,其特征在于,所述确定音频中的同步检测点,包括:

8.根据权利要求7所述的方法,其特征在于,所述对所述音频进行干声提取,得到纯净人声之后,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所...

【专利技术属性】
技术研发人员:杨晓光董曦
申请(专利权)人:广州酷狗计算机科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1