基于采样级音频多轨合成的通信网络视频直播方法及系统技术方案

本发明专利技术涉及一种基于采样级音频多轨合成的通信网络视频直播方法，包括：在视频拍摄设备在录制视频信息的同时，使各音频采集设备采集音频信息；各音频采集设备将采集的音频信息打包为数据包后通过无线通信网络发送给视频拍摄设备；视频拍摄设备将接收到的各音频采集设备的数据包分别恢复为一轨音频信号，并将多轨音频信号的波形匹配对齐后合成为一轨合成音频信号；并与视频信息合成为直播视频。本发明专利技术中，通过对多轨音频信号的波形进行匹配对齐，能够对多轨音频信号进行采样级同步，同步精度远高于时钟同步，从而能够得到更好的音频合成效果。合成效果。合成效果。

【技术实现步骤摘要】
基于采样级音频多轨合成的通信网络视频直播方法及系统


[0001]本专利技术属于视频直播
，涉及一种基于采样级音频多轨合成的通信网络视频直播方法及系统。

技术介绍

[0002]在视频直播时，经常需要设置多个音频采集设备在不同的位置单独进行音频采集的情况，以通过近距离的采集获得更好的音质效果，之后再对采集的音频进行合成，以达到更好的音频效果。但是对多轨音频进行合成时，一般采用调音台人工进行合成，调音人员通过自已的听觉效果对多路输入信号进行放大、混合、分配、音质修饰和音响效果加工，以达到更好的音质效果；这就对调音人员提出了很高的要求。另外，音频采集设备和视频拍摄设备通常采用有线传输或蓝牙传输的方式传输音频信息，但是有线传输的方式不便于设备的移动，且还会存在较大的损耗；蓝牙传输方式的传输速率较低，不能进行无损音频传输；另外，蓝牙传输的距离一般在10米左右，且不能进行网络延展，传输距离受限。WIFI传输方式虽然在传输速率上远超蓝牙，且可以通过网络延展大大增加传输距离，但由于WIFI传输协议的延时较长，且不可避免地存在丢包现象，用于传输音频还存在许多需要解决的问题。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种基于采样级音频多轨合成的通信网络视频直播方法及系统。
[0004]为达到上述目的，本专利技术提供如下技术方案：
[0005]一种基于采样级音频多轨合成的通信网络视频直播方法，包括以下步骤：
[0006]S1、将多个音频采集设备通过无线通信网络与一视频拍摄设备连接，视频拍摄设备在录制视频信息的同时，下发指令使各音频采集设备采集音频信息；
[0007]S2、各音频采集设备采集音频信息，并将音频信息打包为数据包后通过无线通信网络发送给视频拍摄设备；
[0008]S3、视频拍摄设备接收到各音频采集设备的数据包后，将每一音频采集设备的数据包分别恢复为一轨音频信号，并将多轨音频信号的波形匹配对齐后，再将多轨音频信号合成为一轨合成音频信号；
[0009]S4、将合成音频信号和视频信息合成为直播视频。
[0010]进一步的，在所述步骤S3中，将多轨音频信号的波形匹配对齐的方法包括以下步骤：
[0011]S311、预先设置匹配周期的时长，在一个匹配周期内，选定一轨音频信号作为参考音频；
[0012]S312、将另一轨音频信号的波形与参考音频的波形重叠后在预定范围内左右移动，并在每一次移动后对上述两个波形的欧几里德距离进行积分，将欧几里德距离积分值最小的位置对应的时间点作为该轨音频信号的对准时间点；
[0013]S313、重复步骤S312，依次计算其他各轨音频信号的对准时间点，将各轨音频信号的对准时间点对齐。
[0014]进一步的，在所述步骤S3中，将多轨音频信号的波形匹配对齐的方法包括以下步骤：
[0015]S321、预先设置匹配周期的时长，在一个匹配周期内，按音频电平值从高到低依次找出每一轨音频信号的多个峰值作为参考峰值；
[0016]S322、依次将各轨音频信号对应的一个参考峰值的时间点对齐，并对此时其他各个对应的参考峰值的之间的时间点的时差进行求和；
[0017]S323、找出时差之和最小时的参考峰值的时间点作为对准时间点，将各轨音频信号的对准时间点对齐。
[0018]进一步的，在所述步骤S3中，将多轨音频信号的波形匹配对齐的方法包括以下步骤：
[0019]S331、预先设置匹配周期的时长，分别计算出一个匹配周期内每一轨音频信号的包络线；
[0020]S332、找出每一轨音频信号的包络线的各个峰值对应的时间点；
[0021]S333、依次将各轨音频信号包络线对应的一个峰值的时间点对齐，并对此时其他各个对应的包络线峰值的之间的时间点的时差进行求和；
[0022]S334、找出时差之和最小时的包络线峰值的时间点作为对准时间点，将各轨音频信号的对准时间点对齐。
[0023]进一步的，所述匹配周期的时长为一个数据包中的音频信息的时长。
[0024]进一步的，在所述步骤S3中，将多轨音频信号合成为一轨合成音频信号之前，还执行以下步骤：
[0025]S351、预先设置音频低电平阈值，并在对各轨音频信号进行叠加合成之前，先去除各轨音频信号中低于音频低电平阈值的部分。
[0026]进一步的，在所述步骤S3中，将多轨音频信号合成为一轨合成音频信号之前，还执行以下步骤：
[0027]S352、对各轨音频信号进行衰减。
[0028]进一步的，所述无线通信网络为WIFI通信网络，所述WIFI通信网络包括WIFI路由器，所述音频采集设备和视频拍摄设备均设置有WIFI模块，所述音频采集设备和视频拍摄设备分别通过其WIFI模块与WIFI路由器连接。
[0029]一种基于采样级音频多轨合成的通信网络视频拍摄设备，包括
[0030]视频拍摄模块，用于通过视频拍摄获取视频信息；
[0031]第一无线通信模块，用于通过无线通信网络连接音频采集设备，并获取音频采集设备发送的音频信息的数据包；
[0032]接收数据存储队列，用于存储接收到的来自音频采集设备的数据包中未被存储的数据包，并在存储的数据包的数量达到预定的数量后，按照先进先出原则依次将存储的数据包移出；
[0033]多轨音频合成模块，用于将每一音频采集设备的数据包分别恢复为一轨音频信号，并通过对多轨音频信号波形的匹配对齐将多轨音频信号合成为一轨合成音频信号；
[0034]视频缓冲区，用于对视频拍摄模块拍摄的视频信息进行缓存；以及
[0035]音视频合成模块，用于将合成音频信号和视频信息合成为直播视频。
[0036]一种基于采样级音频多轨合成的通信网络视频直播系统，包括视频拍摄设备以及多个音频采集设备，所述音频采集设备包括：
[0037]音频采集模块，用于通过音频采样采集音频信息，并将采集的音频信息打包为数据包；
[0038]发送数据存储队列，用于存储音频采集模块生成的数据包，并在存储的数据包的数量达到预定的数量后，按照先进先出的原则丢弃最先存储的数据包；以及
[0039]第二无线通信模块，用于将发送缓冲区存储的数据包发送至无线通信网络。
[0040]本专利技术中，通过对多轨音频信号的波形进行匹配对齐，能够对多轨音频信号进行采样级同步，将同步精度从时钟同步的几十到一百ms级别提高到1ms级别同步精度远高于时钟同步，从而能够得到更好的音频合成效果，从而能够得到更好的音频合成效果。
附图说明
[0041]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：
[0042]图1为本专利技术基于采样级音频多轨合成的通信网络视频直播方法的一个优选实施例的流程图。
[0043]图2为在一个优选实施例中，将多轨音频信号的波形匹配对齐的方法的流程图。
[0044]图3为在另一优选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于采样级音频多轨合成的通信网络视频直播方法，其特征在于，包括以下步骤：S1、将多个音频采集设备通过无线通信网络与一视频拍摄设备连接，视频拍摄设备在录制视频信息的同时，下发指令使各音频采集设备采集音频信息；S2、各音频采集设备采集音频信息，并将音频信息打包为数据包后通过无线通信网络发送给视频拍摄设备；S3、视频拍摄设备接收到各音频采集设备的数据包后，将每一音频采集设备的数据包分别恢复为一轨音频信号，并将多轨音频信号的波形匹配对齐后，再将多轨音频信号合成为一轨合成音频信号；S4、将合成音频信号和视频信息合成为直播视频。2.根据权利要求1所述的基于采样级音频多轨合成的通信网络视频直播方法，其特征在于：在所述步骤S3中，将多轨音频信号的波形匹配对齐的方法包括以下步骤：S311、预先设置匹配周期的时长，在一个匹配周期内，选定一轨音频信号作为参考音频；S312、将另一轨音频信号的波形与参考音频的波形重叠后在预定范围内左右移动，并在每一次移动后对上述两个波形的欧几里德距离进行积分，将欧几里德距离积分值最小的位置对应的时间点作为该轨音频信号的对准时间点；S313、重复步骤S312，依次计算其他各轨音频信号的对准时间点，将各轨音频信号的对准时间点对齐。3.根据权利要求1所述的基于采样级音频多轨合成的通信网络视频直播方法，其特征在于：在所述步骤S3中，将多轨音频信号的波形匹配对齐的方法包括以下步骤：S321、预先设置匹配周期的时长，在一个匹配周期内，按音频电平值从高到低依次找出每一轨音频信号的多个峰值作为参考峰值；S322、依次将各轨音频信号对应的一个参考峰值的时间点对齐，并对此时其他各个对应的参考峰值的之间的时间点的时差进行求和；S323、找出时差之和最小时的参考峰值的时间点作为对准时间点，将各轨音频信号的对准时间点对齐。4.根据权利要求1所述的基于采样级音频多轨合成的通信网络视频直播方法，其特征在于：在所述步骤S3中，将多轨音频信号的波形匹配对齐的方法包括以下步骤：S331、预先设置匹配周期的时长，分别计算出一个匹配周期内每一轨音频信号的包络线；S332、找出每一轨音频信号的包络线的各个峰值对应的时间点；S333、依次将各轨音频信号包络线对应的一个峰值的时间点对齐，并对此时其他各个对应的包络线峰值的之间的时间点的时差进行求和；S334、找出时差之和最小时的包络线峰值的时间点作为对准时间点，将各轨音频...

【专利技术属性】
技术研发人员：丁英锋，
申请(专利权)人：深圳市野草声学有限公司，
类型：发明
国别省市：