基于WiFi通信的分布式音视频传输处理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种基于WiFi通信的分布式音视频传输处理方法，涉及音视频处理领域，旨在实现主机端和客户端之间的时钟同步，保证音视频播放或处理的同步性，该方法包含以下步骤：通过WiFi协议管理主机端和客户端的报文；对主机端和客户端进行虚拟时钟同步；根据所述报文的内容，确定网络工作模式；根据所述网络工作模式，传输并处理音视频数据。本发明专利技术还公开了一种基于WiFi通信的分布式音视频传输处理装置、电子设备和计算机存储介质。

【技术实现步骤摘要】
基于WiFi通信的分布式音视频传输处理方法、装置、设备及介质
本专利技术涉及音视频处理领域，尤其涉及一种基于WiFi通信的分布式音视频传输处理方法、装置、设备及介质。
技术介绍
目前的分布式音视频传输大多基于IP组播或者广播，在网络传输中的各传输节点均需要实现复杂的TCP/IP协议，组网和实施复杂，技术要求高，实施成本高。除此之外，经网络传输后的音视频信号还需要进行处理，以保证音视频在播放时，音频和视频能保持同步，以保证观看体验。但是一般来说，处理视频所需的处理时间要比处理音频的时间更长，从而会导致在播放音视频时，出现声音和画面不同步的现象。即使预先设置音频和视频的时延补偿值，也无法满足不同码率或格式的音视频的时间同步。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种基于WiFi通信的分布式音视频传输处理方法，基于WiFi协议管理报文，以进行时钟同步，使得传输音视频时，保证音视频采集和播放的同步性，操作方便。本专利技术的目的之一采用以下技术方案实现：一种基于WiFi通信的分布式音视频传输处理方法，包括以下步骤：通过WiFi协议管理主机端和客户端的报文；对所述主机端和所述客户端进行虚拟时钟同步；根据所述报文的内容，确定网络工作模式；根据所述网络工作模式，传输音视频数据。进一步地，所述网络工作模式包括：下发模式：所述主机端向所述客户端发送报文请求，由所述客户端响应所述报文请求；采集模式：所述客户端向所述主机端发送报文请求，由所述主机端响应所述报文请求；下发和采集并存模式：所述主机端向所述客户端发送报文请求并由客户端响应，同时所述客户端向主机端发送报文请求由所述主机端响应。进一步地，根据所述下发模式，传输音视频数据，包括以下步骤：所述主机端将待传输的音视频数据分割成若干相同时长的帧片；所述主机端向若干所述客户端分别传输所述帧片和其他客户端的网络延时；若干所述客户端接收所述帧片，并将所述帧片进行连续缓存，当连续缓存的帧片数量大于指定阈值时，等待最大网络延时，若干所述客户端开始播放所述音视频数据，其中所述其他客户端的网络延时为所述其他客户端与所述主机端之间的网络延时。从而当所述客户端的数量为两个以上时，使得多个所述客户端同时同步播放音视频数据。进一步地，根据所述采集模式，各客户端将通过音视频设备采集到的音视频数据传输到主机端，主机端将对该音视频数进行合并，完成音视频数据的采集，包括以下步骤：各所述客户端分别采集音视频数据，并把采集到的音视频数据传输至所述主机端；所述主机端接收并处理若干个所述客户端采集到的音视频数据：所述主机端将若干个所述客户端采集到的音视频数据分别分割成若干相同时长的帧片；根据若干所述客户端和所述主机端之间的网络延时，将若干所述客户端进行时钟同步；根据所述时钟同步结果，同步合并若干个所述客户端在同一时刻对应的帧片，得到合并后的音视频数据。进一步地，对所述主机端和所述客户端进行虚拟时钟同步，得到所述客户端和所述主机端之间的网络延时，包括如下步骤：步骤1：获取所述主机端发送所述报文时的时钟滴答数值send1和所述主机端接收所述报文的响应时的时钟滴答数值receive1，以及所述客户端接收所述报文时的本地时钟滴答数值receive2和所述客户端发送响应所述报文时的本地时钟滴答数值send2；步骤2：计算所述客户端和所述主机端之间的网络延时，具体计算方法为：计算所述主机端单侧的网络延时delayA＝(receive1–send1)/2；计算所述客户端和所述主机端的时钟偏差drift＝receive2-send1-delayA；计算所述客户端和所述主机端之间的单次网络延时TdelayB＝receive1-send2+drift；重复执行所述步骤2，计算两次所述客户端和所述主机端之间的单次网络延时，得到TdelayB1,TdelayB2；求取TdelayB1和TdelayB2的平均值，作为所述客户端和所述主机端之间的网络延时。进一步地，所述主机端的数量至少为一个，所述客户端的数量至少为两个。进一步地，所述最大网络延时为：max(其他客户端的网络延时)-所述客户端的网络延时，若max(其他客户端的网络延时)-所述客户端的网络延时为负值，则判定所述最大网络延时为0。本专利技术的目的之二在于提供一种基于WiFi通信的分布式音视频传输处理装置，其能基于WiFi协议管理报文，并实现在传输音视频的同时进行时钟同步，确保音视频采集和播放的同步性。本专利技术的目的之二采用以下技术方案实现：报文管理模块：用于通过WiFi协议管理主机端和客户端的报文；时钟同步模块，用于对所述主机端和所述客户端进行虚拟时钟同步；工作模式确定模块，用于根据所述报文内容，确定网络工作模式；传输模块，用于根据所述网络工作模式，传输音视频数据。本专利技术的目的之三在于提供执行专利技术目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现上述的基于WiFi通信的分布式音视频传输处理方法。本专利技术的目的之四在于提供存储专利技术目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于WiFi通信的分布式音视频传输处理方法。相比现有技术，本专利技术的有益效果在于：本专利技术基于WiFi协议实现主机端与客户端之间的通信，并基于WiFi协议管理报文，确定网络工作模式，相比于传统的TCP/IP协议，降低了实施难度和技术难度；本专利技术对传输的音视频数据进行虚拟时钟同步，能保证音视频数据在客户端播放的同步性和主机端拼合的同步性，提升观看和视听体验，增加合并后的音视频效果。附图说明图1是本专利技术基于WiFi通信的分布式音视频传输处理方法的流程图；图2是实施例1中的客户端与主机端的网络拓扑图；图3是实施例2的基于WiFi通信的分布式音视频传输处理装置的结构框图；图4是实施例3的电子设备的结构框图。具体实施方式以下将结合附图，对本专利技术进行更为详细的描述，需要说明的是，以下参照附图对本专利技术进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。实施例1本实施例提供了一种基于WiFi通信的分布式音视频传输处理方法，旨在通过虚拟时钟同步，解决多个音视频数据因网络延时导致的播放不同步、采集不同步的问题。根据上述原理，对基于WiFi通信的分布式音视频传输处理方法进行介绍，如图1所示，基于WiFi通信的分布式音视频传输处理方法，具体包括以下步骤：通过WiFi协议管理主机端和客户端之间的报文；对所述主机端和所述客户端进行虚拟时钟同步；...

【技术保护点】
1.一种基于WiFi通信的分布式音视频传输处理方法，其特征在于，包括以下步骤：/n通过WiFi协议管理主机端和客户端之间的报文；/n对所述主机端和所述客户端进行虚拟时钟同步；/n根据所述报文的内容，确定网络工作模式；/n根据所述网络工作模式，传输音视频数据。/n

【技术特征摘要】
1.一种基于WiFi通信的分布式音视频传输处理方法，其特征在于，包括以下步骤：
通过WiFi协议管理主机端和客户端之间的报文；
对所述主机端和所述客户端进行虚拟时钟同步；
根据所述报文的内容，确定网络工作模式；
根据所述网络工作模式，传输音视频数据。


2.如权利要求1所述的基于WiFi通信的分布式音视频传输处理方法，其特征在于，所述网络工作模式包括：
下发模式：所述主机端向所述客户端发送报文请求，由所述客户端响应所述报文请求；
采集模式：所述客户端向所述主机端发送报文请求，由所述主机端响应所述报文请求；
下发和采集并存模式：所述主机端向所述客户端发送报文请求并由客户端响应，同时所述客户端向主机端发送报文请求由所述主机端响应。


3.如权利要求2所述的基于WiFi通信的分布式音视频传输处理方法，其特征在于，根据所述下发模式，传输音视频数据，包括以下步骤：
所述主机端将待传输的音视频数据分割成若干相同时长的帧片；
所述主机端向若干所述客户端分别传输所述帧片和其他客户端的网络延时；
若干所述客户端接收所述帧片，并将所述帧片进行连续缓存，当连续缓存的帧片数量大于指定阈值时，等待最大网络延时，若干所述客户端开始同步播放所述音视频数据，其中所述其他客户端的网络延时为所述其他客户端与所述主机端之间的网络延时。


4.如权利要求2所述的基于WiFi通信的分布式音视频传输处理方法，其特征在于，根据所述采集模式，传输音视频数据，包括以下步骤：
各所述客户端分别采集音视频数据，并把采集到的音视频数据传输至所述主机端；
所述主机端接收并处理若干个所述客户端采集到的音视频数据：
所述主机端将若干个所述客户端采集到的音视频数据分别分割成若干相同时长的帧片；
根据若干所述客户端和所述主机端的网络延时，将若干所述客户端进行时钟同步；
根据所述时钟同步结果，依次合并若干个所述客户端在同一时刻对应的帧片，得到合并后的音视频数据。


5.如权利要求1-4任一项所述的基于WiFi通信的分布式音视频传输处理方法，其特征在于，对所述主机端和所述客户端进行虚拟时钟同步，包括如下步骤：
步骤1：获取所述主机端发送所述报文时的时钟...

【专利技术属性】
技术研发人员：康海洋，姚博，刘宗孺，李志为，
申请(专利权)人：杭州博联智能科技股份有限公司，
类型：发明
国别省市：浙江;33