音视频媒体流的音视频同步检测方法及计算机可读存储介质技术

本发明专利技术涉及一种音视频媒体流的音视频同步检测方法及一种计算机可读存储介质，其中音视频同步检测方法其特征在于包括如下步骤：步骤1、预先设定一个时间为t的分段周期，按照时间先后顺序依次不间断地从待测音视频媒体流中截取时间为t的视频分段；步骤2、针对所有的视频分段，按照时间先后顺序分别获取“唇音同步”检测结果和“文本内容同步”检测结果；步骤4、根据“唇音同步”检测结果和“文本内容同步”检测结果，对待测音视频媒体流中的视频分段或视频块中的音视频是否同步进行汇总，从而得到待测音视频媒体流的综合同步结果。本发明专利技术提供的方法能低成本高效率的对任意双录输出的音视频媒体流进行处理。

【技术实现步骤摘要】

本专利技术涉及一种音视频同步检测方法，特别是涉及一种音视频媒体流的音视频同步检测方法及计算机可读存储介质。

技术介绍

1、早期的多媒体流音视频同步检测技术主要依赖对媒体的事先标定，而后做媒体同步检查，标定的方法包括特定内容(如1、2、3计数)、增加水印、增加二路参考媒体等等，然而依赖各种标定的检测方法，实际应用有限制，无法普及。近期由于深度学习算法能力快速发展，也出现了syncnet等基于识别的方法，将视频中的语音片段输入一个神经网络，得到语音特征；再将视频中的图像片段输入另一个神经网络，得到视觉特征；最后，通过对比语音特征与视觉特征，进而判断视频中人物的嘴部运动与其所发出的语音是否同步。但是基于人脸、口型和语音的同步检测方法，均需要事先假定视频中出现的人为讲话人，条件设定太强，无法处理视频内容中无讲话人的场景，且深度学习推理计算量很大，无法以低成本的方式应用推广。在视频双录场景中，由于相关规范需要严格确保录制的音视频媒体流音视频同步，就需要一个工程上可行的方法实现对录像文件进行音视频内容检查，并且要在计算成本可接受的前提下。因此，现有技术有待于进一步改进本文档来自技高网...

【技术保护点】

1.一种音视频媒体流的音视频同步检测方法，其特征在于包括如下步骤：

2.根据权利要求1所述的音视频媒体流的音视频同步检测方法，其特征在于：所述步骤2-1中，根据视频分段内人脸口型变化情况进行运动模式分析的具体逻辑包括：

3.一种计算机可读存储介质，存储有计算机程序，且能被处理器读取并执行，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至2中任一项所述的音视频媒体流的音视频同步检测方法。

【技术特征摘要】

1.一种音视频媒体流的音视频同步检测方法，其特征在于包括如下步骤：

2.根据权利要求1所述的音视频媒体流的音视频同步检测方法，其特征在于：所述步骤2-1中，根据视频分段内人脸口型变化情况进行运动模式分...

【专利技术属性】
技术研发人员：钱晓炯，吕锐，刘谦，
申请(专利权)人：宁波菊风系统软件有限公司，
类型：发明
国别省市：