一种音视频流实时分离处理及同步的方法及其系统技术方案

本发明专利技术公开了一种音视频实时分离处理及同步的方法，包括：上位机获取并解复用媒体源文件以得到视频流和音频流；上位机播放视频；对音频流进行格式转换及编码压缩后传输至下位机；下位机解码和滤波并播放音频；对视频及音频播放开始时进行初始同步处理，并对播放过程中进行同步校正处理。与现有技术相比，本发明专利技术的方法实现了音视频流的分离处理，并将音频流传输至下位机过程中减少了所占用的网络带宽，另外还确保了上位机与下位机分别播放视频、音频时的准确同步。本发明专利技术同时公开了一种音视频实时分离处理及同步的系统。

【技术实现步骤摘要】
一种音视频流实时分离处理及同步的方法及其系统
本专利技术涉及无线音视频处理
，更具体地涉及一种基于视频人数统计分析的中央空调控制方法及其控制系统。
技术介绍
随着无线网络技术的飞速发展和移动无线终端硬件的快速升级，很多新的技术，新的应用成为了可能。网络技术的拓展和硬件设备的性能提升让人们对多媒体的影音体验提出了更高的要求。现有的大部分音视频影音系统的类型主要有:(1)智能设备终端负责音视频解码和播放；(2)智能终端与高音质音响设备结合，提供音视频播放。第一种类型的影音系统解码和播放都是在智能终端设备完成，可以确保较好的播放实时性。这种类型的系统一般安装在智能手机或者是平板上，部分还会提供用户录音的卡拉ok特性，还可以实时调节音效参数。但是一般的智能终端都没有搭载可以提供高音质的外放设备，集成的音响装置很难满足部分音响发烧友的要求。所以这种类型的影音系统具有很大的应用局限性。第二种类型的影音系统与第一种有很大的差别。这种类型的系统音视频的播放是分开的，视频在智能终端中解码播放，音频数据解码后发送音频流数据到高音质的音响设备中播放出来。同样的，这类系统部分也会具备卡拉ok演唱的特性。这满足了高音质享受的需求，但是这种系统一般是通过实时提取音频数据发送到音响设备中进行实时播放，很难保证上位机和下位机的音视频准确同步。
技术实现思路
本专利技术所要解决的技术问题是：提供一种音视频流实时分离处理及同步的方法及系统，保证上位机与下位机传输数据时占用较小的网络带宽，且能确保上位机和下位机音视频流播放的准确同步。为解决上述技术问题，本专利技术采用的技术方案是：提供一种音视频实时分离处理及同步的方法，包括：S1：上位机获取并解复用媒体源文件，以得到视频流和音频流；S2：所述上位机对所述视频流进行视频解码和视频滤波，以得到视频播放数据，并播放所述视频播放数据；S3：所述上位机对所述音频流进行格式转换及编码压缩后传输至下位机；S4：所述下位机调用解码器对所述音频流进行解码和滤波，以得到音频播放数据，并播放所述音频播放数据；S5：对所述视频播放数据及音频播放数据开始时进行初始同步处理，并对所述视频播放数据及音频播放数据播放过程中进行同步校正处理。与现有技术相比，本专利技术的方法中，上位机对媒体源文件进行解复用得到视频流和音频流后，通过上位机播放视频流所对应的数据，并将音频流传输至下位机进行播放，从而实现了音视频流的分离处理；而将音频流传输至下位机之前，对音频流进行格式转换及编码压缩，从而极大地减少了传输数据时所占用的网络带宽；另外，该方法对视频播放数据及音频播放数据开始时进行初始同步处理，并对视频播放数据及音频播放数据播放过程中进行同步校正处理，从而确保了上位机与下位机分别播放视频、音频时的准确同步。相应地，本专利技术还提供了一种音视频流实时分离处理及同步的系统，包括上位机及下位机，所述上位机包括：解复用模块，用于获取并解复用媒体源文件，以得到视频流和音频流；视频解码和滤波模块，用于对所述视频流进行视频解码和视频滤波，以得到视频播放数据，并播放所述视频播放数据；第一格式转换模块，用于对所述音频流进行格式转换及编码压缩；第一传输模块，用于将格式转换及编码压缩后的所述音频流传输至下位机；所述下位机包括：音频解码和滤波模块，用于调用解码器对所述音频流进行解码和滤波，以得到音频播放数据，并播放所述音频播放数据；其特征在于，所述上位机及下位机均包括：同步模块，用于对所述视频播放数据及音频播放数据开始时进行初始同步处理，并对所述视频播放数据及音频播放数据播放过程中进行同步校正处理。通过以下的描述并结合附图，本专利技术将变得更加清晰，这些附图用于解释本专利技术的实施例。附图说明图1为本专利技术音视频流实时分离处理及同步的方法第一实施例的流程图。图2为本专利技术音视频流实时分离处理及同步的方法第二实施例的流程图。图3为图2的原理图。图4为音视频初始同步处理的示意图。图5为播放过程中音视频同步校正的示意图。图6为本专利技术音视频流实时分离处理及同步的系统第一实施例的结构框图。图7为本专利技术音视频流实时分离处理及同步的系统第二实施例的结构框图。具体实施方式现在参考附图描述本专利技术的实施例，附图中类似的元件标号代表类似的元件。请参考图1，本专利技术提供了一种音视频实时分离处理及同步的方法，包括：S1：上位机获取并解复用媒体源文件，以得到视频流和音频流；S2：上位机对视频流进行视频解码和视频滤波，以得到视频播放数据，并播放视频播放数据；S3：上位机对音频流进行格式转换及编码压缩后传输至下位机；S4：下位机调用解码器对音频流进行解码和滤波，以得到音频播放数据，并播放所述音频播放数据；S5：对视频播放数据及音频播放数据开始时进行初始同步处理，并对视频播放数据及音频播放数据播放过程中进行同步校正处理。与现有技术相比，本专利技术的方法中，上位机对媒体源文件进行解复用得到视频流和音频流后，通过上位机播放视频流所对应的数据，并将音频流传输至下位机进行播放，从而实现了音视频流的分离处理；而将音频流传输至下位机之前，对音频流进行格式转换及编码压缩，从而极大地减少了传输数据时所占用的网络带宽；另外，该方法对视频播放数据及音频播放数据开始时进行初始同步处理，并对视频播放数据及音频播放数据播放过程中进行同步校正处理，从而确保了上位机与下位机分别播放视频、音频时的准确同步。再请参考图2及图3，在本专利技术的另一实施例中，可实现无线影音系统中对音视频流的实时分离处理及同步。需要说明的是，本实施例中所用到的硬件设备主要包括：上位机及下位机，两者之间通过无线Wi-Fi网络连接。其中，上位机是移动智能终端设备，可以是基于Android、IOS或者其他系统(并不局限手机系统)的手机或是平板设备。下位机是搭载了专业音频处理器的专业音响设备。音视频的解码是分别在上位机和下位机分离实现的，并不同步执行。上位机负责视频画面播放，音频流通过网络传输模块传送到下位机进行播放(利用同步模块保证音视频的准确同步)，同时下位机录制用户声音回传到上位机，最后在上位机进行音视频合并。具体地，本实施例包括如下步骤：S201：上位机获取并解复用媒体源文件，以得到视频流和音频流。S202：上位机对视频流进行视频解码和视频滤波，以得到视频播放数据，并播放视频播放数据；具体为，上位机根据视频流的格式调用相应的视频解码器，对解复用得到的视频流进行解码，在移动终端进行视频画面的输出播放。S203：上位机对音频流进行格式转换及编码压缩后传输至下位机；具体为，将得到的音频流进行格式转换，调整成为适合进行流传输的格式，再通过Wi-Fi无线网络传输到下位机。此时传输的数据不是原始的音频PCM数据，而是被编码压缩过的音频流数据，减少了Wi-Fi网络的带宽占用。如果只是实时传输当前播放时刻的音频数据的话，当网络拥堵不稳定的时候，音频数据无法实时到达下位机，所以本专利技术采用的方式是：音频流传输的过程是尽最大能力的服务，将音频流数据尽可能多的提前传输到下位机保存成文件。S204：下位机调用解码器对音频流进行解码和滤波，以得到音频播放数据；具体为，下位机接收上位机传输的音频流数据，保存成文件，与此同时对音频流调用特定格式的解码器进行音频解码及滤波。S205：通过声音输入设备采本文档来自技高网...

【技术保护点】
一种音视频流实时分离处理及同步的方法，其特征在于，包括： S1：上位机获取并解复用媒体源文件，以得到视频流和音频流； S2：所述上位机对所述视频流进行视频解码和视频滤波，以得到视频播放数据，并播放所述视频播放数据； S3：所述上位机对所述音频流进行格式转换及编码压缩后传输至下位机； S4：所述下位机调用解码器对所述音频流进行解码和滤波，以得到音频播放数据，并播放所述音频播放数据； S5：对所述视频播放数据及音频播放数据开始时进行初始同步处理，并对所述视频播放数据及音频播放数据播放过程中进行同步校正处理。

【技术特征摘要】
1.一种音视频流实时分离处理及同步的方法，其特征在于，包括：S1：上位机获取并解复用媒体源文件，以得到视频流和音频流；S2：所述上位机对所述视频流进行视频解码和视频滤波，以得到视频播放数据，并播放所述视频播放数据；S3：所述上位机对所述音频流进行格式转换及编码压缩后传输至下位机；S4：所述下位机调用解码器对所述音频流进行解码和滤波，以得到音频播放数据，并播放所述音频播放数据；S5：对所述视频播放数据及音频播放数据开始时进行初始同步处理，并对所述视频播放数据及音频播放数据播放过程中进行同步校正处理；对所述视频播放数据及音频播放数据开始时进行初始同步处理具体地包括：(21)播放所述视频播放数据的第一帧的同时，所述上位机发送视频起始帧数据包至所述下位机，所述视频起始帧数据包包括帧号m及所述视频起始帧所对应的系统时间t1；(22)所述下位机接收所述视频起始数据包后，回发音频起始帧数据包至所述上位机，所述音频起始帧数据包包括帧号及该音频起始帧所对应的系统时间t2，且该帧号与所述视频起始帧的帧号相同；(23)采用平均法统计时间差Δt＝t2-t1的平均值Δt′；(24)判断平均值Δt′是否超过预设阈值，并根据判断结果对所述视频起始帧进行减缓帧速率处理。2.如权利要求1所述的方法，其特征在于，对所述视频播放数据及音频播放数据播放过程中进行同步校正处理具体包括：(31)播放当前视频帧时，所述上位机发送同步校正数据包至所述下位机，所述同步校正数据包包括所述当前视频帧的帧序号、根据所述当前视频帧和帧率计算出的当前播放时间tvideo；(32)所述下位机接收所述同步校正数据包，根据正在解码的音频流的采样率计算出当前音频帧对应的播放时间taudio，重新组成新的数据包发送至所述上位机，新的数据包包括所述当前视频帧的视频帧序号、视频帧的当前播放时间tvideo及当前音频帧的播放时间taudio；(33)所述上位机接收新的数据包，通过视频的帧率计算当前视频帧对应的时间t′video；(34)根据公式(1)估算所述当前视频帧超前所述当前音频帧的时间Δtv_ahead_a≈tvideo+(t′video－tvideo)/2－taudio(1)(35)采用平均法获取所述当前视频帧超前所述当前音频帧的平均时间Δt′v_ahead_a；(36)判断Δt′v_ahead_a的绝对值是否超过预设阈值；(37)当Δt′v_ahead_a的绝对值超过预设阈值且当Δt′v_ahead_a＞0时，所述上位机减缓视频播放的帧速率；(38)当Δt′v_ahead_a的绝对值超过预设阈值且当Δt′v_ahead_a＜0时，所述上位机进行跳帧处理。3.如权利要求2所述的方法，其特征在于，S4之后还包括：S6：通过声音输入设备采集人声数据，通过混音和音效调节模块...

【专利技术属性】
技术研发人员：徐永键，徐广健，林澍霖，阮俊杰，谭洪舟，
申请(专利权)人：广州市花都区中山大学国光电子与通信研究院，
类型：发明
国别省市：广东;44