音视频同步处理方法及装置、计算机装置及存储介质制造方法及图纸

本发明专利技术公开一种音视频同步处理方法及装置、计算机装置及存储介质，该方法包括确定解码器处于初始化状态，获取有效视频码流的数据，并且输出解码后的视频帧，判断解码后的视频帧是否正常，如是，输出视频帧和音频帧，根据音频帧产生第一差值，根据视频帧产生第二差值，判断第一差值和第二差值是否正常，如是，则输出第一播放信号，如不是，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器。该装置用于实现上述的音视频同步处理方法。本发明专利技术还提供实现上述方法的计算机装置以及存储介质。本发明专利技术不仅可以消除卡顿音视频异步现象而且可以实现视频较平滑的目的。

Audio and video synchronization processing method and device, computer device and storage medium

The invention discloses an audio-video synchronization processing method and device, a computer device and a storage medium. The method comprises determining that the decoder is in an initialization state, obtaining data of an effective video stream, and outputting a decoded video frame to determine whether the decoded video frame is normal, if so, outputting a video frame and an audio frame. According to the first difference generated by the audio frame, the second difference generated by the video frame determines whether the first difference and the second difference are normal or not, and if so, outputs the first playback signal, if not, deletes the data of the abnormal video frame and the data of the abnormal audio frame, and resets the player. The device is used for realizing the synchronous processing method of audio and video. The invention also provides a computer device and a storage medium for realizing the above method. The invention can not only eliminate the asynchronous phenomenon of Catton audio and video, but also achieve the goal of smooth video.

【技术实现步骤摘要】
音视频同步处理方法及装置、计算机装置及存储介质
本专利技术涉及音视频处理
，具体的，涉及一种音视频同步处理方法以及实现这种方法的音视频同步处理装置，还涉及应用该方法的计算机装置以及存储介质。
技术介绍
观看视频是人们获取资讯和娱乐消遣的重要方式。然而，当视频文件因制作、转码，网络传输等造成文件破损将引起音视频文件播放异常，比较典型的是回放时出现的花屏、卡顿，音视频异步等现象。目前行业中有播放器对破损码流造成解码出现花屏帧的恢复方法，通过一定的方法能在一定程度上将花屏视频帧恢复为正常的视频帧输出显示，能在一定程度上将花屏帧还原为正常的帧，然而该方法耗时较长同时不能恢复严重破损的码流，卡顿与花屏仍然存在。另外，还有一些播放器是在解码器中对码流进行检查后将解码输出的花屏视频帧，异常的音视频帧丢弃，然而因花屏的视频帧丢弃导致无视频帧刷新送显将引起有声音输出无视频播放的卡顿和音视频异步现象。
技术实现思路
本专利技术的第一目的是提供一种通过删除音频帧或视频帧做音视频同步对齐和调整播放器时钟的音视频同步处理方法。本专利技术的第二目的是提供一种不仅可以消除卡顿音视频异步现象而且可以实现视频较平滑的音视频同步处理装置。本专利技术的第三目的是提供一种能够实现上述音视频同步处理方法的计算机装置。本专利技术的第四目的是提供一种能够实现上述音视频同步处理方法的存储介质。为了实现上述的第一目的，本专利技术提供的音视频同步处理方法，包括确定解码器处于初始化状态，获取有效视频码流的数据，并且输出解码后的视频帧；判断解码后的视频码流的视频帧是否正常，如是，输出视频帧和音频帧；根据音频帧产生第一差值，根据视频帧产生第二差值，判断第一差值和第二差值是否正常，若判断结果为是，则输出第一播放信号，若判断结果为否，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器。由上述方案可见，本专利技术的音视频同步处理方法通过解码器读取有效码流进行解码，对解出的音视频帧检测并删除异常的音频帧或视频帧来确保用于送显的音视频帧均是正常帧。此外，在播放送显流过程中可以检测到音视频帧时间戳的变化，当检测到异常的时间戳变化时删除音频或视频帧数据以做送显对齐操作，并调整播放器时钟然后输出播放信号。进一步的方案是，若在解码后的视频帧中未出现连续预设次数的花屏视频帧，则确定视频帧正常；如在解码后的视频帧中出现连续预设次数的花屏视频帧，则确定视频帧不正常，并且重置解码器。可见，设定遇到连续出现预设次数花屏帧是为了尽可能多的对有效码流进行解码，例如，预设次数的花屏帧可以是3帧、4帧或5帧，同时如果有较多的错误帧也可避免频繁的重置解码器引起解码耗时上升造成的卡顿。进一步的方案是，若在送显第一帧音频帧时，检测到的第一帧音频帧的时间戳与第一时钟值的差值大于预设的第一时间，则确定第一差值不正常；或者，若在送显第二帧视频帧时，检测到第二视频帧的时间戳与第一帧视频帧的时间戳的差值大于预设的数值，则确定第二差值不正常；在确定第一差值不正常时，删除第一时钟值与第一帧音频帧的时间戳之间的视频帧数据，其中，第一时钟值为送显第一帧音频帧时播放器的时钟值；在确定第二差值不正常时，删除第一帧视频帧的时间戳与第二帧视频帧的时间戳之间的音频帧数据。可见，通过第n帧音频帧的时间戳与相应时钟值的差值和第n视频帧的时间戳与第n-1帧视频帧的时间戳的差值来判断播放送显第n帧音频帧和视频帧是否正常。若在送显第n帧音频帧时检测到第一差值大于预设的时间时，例如，预设的时间可以是100ms，则认为音频帧不连续，对此删除相应时钟值与第n帧音频帧的时间戳之间的视频帧数据。若在送显第n帧视频帧时检测到第二差值大于预设的数值时，例如，预设的数值为2×1/Frame_Rate，其中，Frame_Rate为片源的帧率，则认为视频帧不连续，对此删除第n-1帧视频帧的时间戳与第n帧视频帧的时间戳之间的音频帧数据。进一步的方案是，确定删除视频帧数据后，根据第一帧音频帧的时间戳重置播放器的时钟信号，并且输出第二播放信号。可见，若在送显第n帧音频帧时检测到第一差值异常时，确定删除音频帧数据后，根据并用第n帧音频帧的时间戳重置播放器时钟然后播放。或者，若在送显第n帧视频帧时检测到第二差值异常时，在确定删除视频帧数据后，并用第n帧视频帧的时间戳重置播放器时钟然后播放，从而消除卡顿和音视频异步。为了实现上述的第二目的，本专利技术提供一种音视频同步处理装置，该装置包括解码模块，用于获取有效视频码流的数据，并且输出解码后的视频帧；判断模块，用于判断解码后的视频帧是否正常，如是，输出视频帧和音频帧；同步模块，根据音频帧产生第一差值，根据视频帧产生第二差值，用于判断第一差值和第二差值是否正常，若判断结果为是，则输出第一播放信号，若判断结果为否，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器。进一步的方案是，若在解码后的视频码流中未出现连续预设次数的花屏视频帧，则确定视频帧正常；如在解码后的视频码流中出现连续预设次数的花屏视频帧，则确定视频帧不正常，并且重置所述解码器。进一步的方案是，若在送显第一帧音频帧时，检测到的第一帧音频帧的时间戳与第一时钟值的差值大于预设的第一时间，则确定第一差值不正常；或者，若在送显第二帧视频帧时，检测到第二视频帧的时间戳与第一帧视频帧的时间戳的差值大于预设的数值，则确定第二差值不正常；在确定第一差值不正常时，删除第一时钟值与第一帧音频帧的时间戳之间的视频帧数据，其中，第一时钟值为送显第一帧音频帧时播放器的时钟值；在确定第二差值不正常时，删除第一帧视频帧的时间戳与第二帧视频帧的时间戳之间的音频帧数据。进一步的方案是，确定删除视频帧数据后，根据第一帧音频帧的时间戳重置播放器的时钟信号，并且输出第二播放信号。由上述方案可见，本专利技术的音视频同步处理装置通过解码模块读取有效码流进行解码，同步模块对解出的音视频帧检测并删除异常的音频帧或视频帧来确保用于送显的音视频帧均是正常帧。此外，在播放送显流过程中可以检测到音视频帧时间戳的变化，当检测到异常的时间戳变化时删除音频或视频帧数据以做送显对齐操作，并调整播放器时钟然后输出播放信号。为了实现上述第三目的，本专利技术提供的计算机装置包括处理器，处理器用于执行存储器中存储的计算机程序时实现如本专利技术音视频同步处理方法的各个步骤。为了实现上述第四目的，本专利技术提供的存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现如本专利技术音视频同步处理方法的各个步骤。附图说明图1是本专利技术音视频同步处理方法实施例的流程框图。图2是本专利技术音视频同步处理方法实施例中破损片源播放音视频的示意图。图3是本专利技术音视频同步处理装置实施例的原理框图。以下结合附图及实施例对本专利技术作进一步说明。具体实施方式本专利技术的音视频同步处理方法应用在诸如显示设备或者视频播放设备等终端上，例如，可以用在数字视频变换盒上，可有效的解决了其所遇破损片源引起的花屏卡顿音视频异步等异常现象。本专利技术音视频同步处理装置是应用在显示终端上用于实现音视频同步处理方法的装置。并且，本专利技术还提供一种计算机装置，该计算机装置包括有处理器，处理器可以执行应用程序的指令，从而实现上述音视频同步处理方法的各个步骤。本专利技术的提供的存储介质上存储有计算机程序，且计算机程序被处理本文档来自技高网...

【技术保护点】
1.音视频同步处理方法，其特征在于，包括：确定解码器处于初始化状态，获取有效视频码流的数据，并且输出解码后的视频帧；判断所述解码后的视频帧是否正常，如是，输出所述视频帧和音频帧；根据所述音频帧产生第一差值，根据所述视频帧产生第二差值，判断所述第一差值和所述第二差值是否正常，若判断结果为是，则输出第一播放信号，若判断结果为否，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器。

【技术特征摘要】
1.音视频同步处理方法，其特征在于，包括：确定解码器处于初始化状态，获取有效视频码流的数据，并且输出解码后的视频帧；判断所述解码后的视频帧是否正常，如是，输出所述视频帧和音频帧；根据所述音频帧产生第一差值，根据所述视频帧产生第二差值，判断所述第一差值和所述第二差值是否正常，若判断结果为是，则输出第一播放信号，若判断结果为否，则删除异常视频帧的数据和异常音频帧的数据，并且重置播放器。2.根据权利要求1所述的音视频同步处理方法，其特征在于，确定所述解码后的视频帧正常包括：若在所述解码后的视频帧中未出现连续预设次数的花屏视频帧，则确定所述视频帧正常；如在所述解码后的视频帧中出现连续预设次数的所述花屏视频帧，则确定所述视频帧不正常，并且重置所述解码器。3.根据权利要求1所述的音视频同步处理方法，其特征在于，所述判断所述第一差值和所述第二差值是否正常，包括：若在送显第一帧音频帧时，检测到的所述第一帧音频帧的时间戳与第一时钟值的差值大于预设的第一时间，则确定所述第一差值不正常；或者，若在送显第二帧视频帧时，检测到所述第二视频帧的时间戳与第一帧视频帧的时间戳的差值大于预设的数值，则确定所述第二差值不正常；在确定所述第一差值不正常时，删除所述第一时钟值与所述第一帧音频帧的时间戳之间的视频帧数据，其中，所述第一时钟值为送显所述第一帧音频帧时播放器的时钟值；在确定所述第二差值不正常时，删除所述第一帧视频帧的时间戳与所述第二帧视频帧的时间戳之间的音频帧数据。4.根据权利要求3所述的音视频同步处理方法，其特征在于，删除所述第一时钟值与所述第一帧音频帧的时间戳之间的视频帧数据，包括：确定删除所述视频帧数据后，根据所述第一帧音频帧的时间戳重置所述播放器的时钟信号，并且输出第二播放信号。5.音视频同步处理装置，其特征在于，所述装置包括：解码模块，用于获取有效视频码流的数据，并且输出解码后的视频帧；判断模块，用于判断所述解码后的视频帧是否正常，如是，输出所述视频帧和音频帧；同步...

【专利技术属性】
技术研发人员：刘秦涛，甘秋业，许琦，王喜望，
申请(专利权)人：珠海全志科技股份有限公司，
类型：发明
国别省市：广东,44