一种视频会议系统及其音频质量诊断方法技术方案

一种视频会议系统，涉及多媒体通信领域，对视频会议系统的音频质量进行分析诊断、评估并告警；包括交换机、MCU、RTMP直播设备、音频质量诊断系统；交换机、RTMP直播设备、音频质量诊断系统依次连接；MCU与交换及连接；交换机接收原始流音频数据并处理，MCU发出指令信号控制交换机，交换机通过端口镜像将信号送入RTMP直播设备，RTMP直播设备将信号按照实时消息传输协议送入音频质量诊断系统中，对音频数据各项指标进行诊断，判断音频质量并输出音频质量诊断结果；一种音频质量诊断方法，包括：获取原始流数据；获取音频流数据；获取音频帧；音频诊断；输出诊断结果，保证视频会议流畅性。

【技术实现步骤摘要】
一种视频会议系统及其音频质量诊断方法
本专利技术属于多媒体通信
，涉及一种视频会议系统及其音频质量诊断方法。
技术介绍
随着多媒体与通信技术的迅速发展，视频会议给予用户最直观的会议体验，得到了众多企业的认可。现有技术中，申请号为CN201910324555.4的中国专利技术专利申请《一种基于多链路传输的远程音视频会议系统及处理方法》，公开了一种基于多链路传输的远程音视频会议系统及处理方法，包括：客户端、多链路传输控制器、公网服务器和专家端；客户端用于采集或输入会议诊断所需要的现场数据并传输给多链路传输控制器或公网服务器，用于接收公网服务器返回的专家诊断意见数据并播放显示；现场数据包括音频数据和视频数据；多链路传输控制器用于将接收的客户端的现场数据通过多链路并行传输的方式输送给公网服务器；专家端用于接收公网服务器输送的现场数据并播放显示，用于采集或输入会议诊断所需要的专家诊断意见数据，并通过公网服务器传输给客户然能够保证在延时低的同时提供高质量的视频图像传输。但是上述专利申请并未解决视频会议系统中出现的音频质量的问题。
技术实现思路
本专利技术所要解决的技术问题在于如何对视频会议系统的音频质量进行分析诊断、评估并告警。本专利技术是通过以下技术方案解决上述技术问题的。一种视频会议系统，包括交换机、MCU、RTMP直播设备、音频质量诊断系统；所述的交换机、RTMP直播设备、音频质量诊断系统依次连接；所述的MCU与交换机连接，所述交换机接收原始流音频数据并处理，所述的MCU发出指令信号控制交换机，所述的交换机通过端口镜像将处理后的原始流音频数据送入RTMP直播设备，所述的RTMP直播设备将处理后的原始流音频数据按照实时消息传输协议送入音频质量诊断系统中,并对音频数据的各项指标进行诊断，根据诊断结果判断音频质量，并输出音频质量诊断结果；所述的视频会议场景下的音频质量诊断系统包括：获取原始流数据模块；用于对视频会议系统中连接MCU的交换机进行端口镜像，获取会议中原始流数据，利用RTMP直播设备将原始流数据以RTMP的方式进行推送；获取音频流数据模块；利用FFMPEG计算机程序将步骤1中RTMP推送的原始流数据进行解码和转码，获取音频流数据；所述的FFMPEG计算机程序用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。获取音频帧模块；将获取音频流数据模块中的音频流数据根据时间片段进行划分，获取不同段的音频帧数据；音频诊断模块；对获取音频帧模块中音频帧数据的指标进行音频诊断，根据诊断结果判断音频质量并输出音频质量诊断结果；输出诊断结果、告警模块；对音频诊断模块中的各项指标的诊断结果进行分析处理并向运维中心告警，通知运维人员进行相关维护，保障会议的正常运行。提供了一种视频会议系统，通过音频质量诊断系统，在召开视频会议系统时，从声音大小检测、声音啸叫检测方面对音频质量进行分析诊断，从而对音频的各项指标的诊断结果进行分析处理并及时向运维中心告警,通知运维人员进行相关维护，保证了视频会议的流畅性。作为本专利技术技术方案的进一步改进，所述的音频诊断模块中的音频帧数据的指标进行音频诊断包括声音大小检测及声音啸叫检测。作为本专利技术技术方案的进一步改进，所述的声音大小检测的方法包括以下步骤：1)输入单个音频帧，并通过以下公式计算出单个音频帧幅值的能量值t：t＝20*log10(x/y)(1)其中，y为声音总的振幅最大值，x为当前声音的振幅值；2)按照下列公式得出音量值大小T；T＝[sum(t)*500]/(sample*VOLUMEMAX)(2)其中，sum(t)为音频能量值总和；sample为音频采样个数；VOLUMEMAX＝32767，500为等量化比值。3)如果T满足下式的范围，则表示音量正常；Th1>T>Th2(3)其中，Th1表示音量过大的阈值、Th2表示音量过小的阈值。作为本专利技术技术方案的进一步改进，所述的声音啸叫检测的方法包括以下步骤：1)输入片段音频帧，根据获取的音频数据按时间片段划分成音频帧，将片段的音频帧进行归一化处理，将数据序列的范围统一到固定的区间(0,1)之间；对每一帧音频进行离散傅里叶变换处理，获取对应的频谱特征数据；并计算每频频谱能量K；所述的归一化处理的公式为：z*＝(z-min)/(max-min)(4)其中，max为样本信号数据的最大值，min为样本信号数据的最小值，z表示样本当前信号数据的值，z*表示归一化处理后该样本信号的值；所述的对每一帧音频进行离散傅里叶变换处理的公式为：Rn＝10*log[10*(p1-p2)](5)其中，p1是信号功率谱中的最大幅值，p2为每帧信号中所有功率幅值的平均值，Rn为当前信号功率值，n＝1,2,3...2048。所述的计算每频频谱能量K的公式为：K＝(Rn)2(6)2)将片段音频帧进行加窗处理，计算出频谱平均能量HK与方差T；所述的加窗处理的公式为：w[i]＝0.54-0.46cos(2πi/N)(7)其中，w[]表示窗长内每一频的能量值，N表示一帧数内的采样点总数，i＝0,1,2,3...1024,其中0≤i≤N-1；所述的频谱平均能量HK的计算公式如下：其中，sum(Ka)为a帧频谱能量总和，Ka表示第a帧的能量值；SUM()j为频谱能量总和,j＝1,2,3...2048；sample为音频采样个数,sample＝1,2,3...2048。所述的方差T的计算公式如下：其中，HKa为平均能量值，a为窗长数。3)判断是否存在啸叫点；若K>HK且方差值T<1，则判断为存在啸叫点。一种音频质量诊断方法，包括以下步骤：步骤1：获取原始流数据；对视频会议系统中连接MCU的交换机进行端口镜像，获取会议中原始流数据，利用RTMP直播设备将原始流数据以RTMP的方式进行推送；步骤2：获取音频流数据；利用FFMPEG计算机程序将步骤1中RTMP推送的原始流数据进行解码和转码，获取音频流数据；所述的FFMPEG计算机程序用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。步骤3：获取音频帧；将步骤2中的音频流数据根据时间片段进行划分，获取不同段的音频帧数据；步骤4：音频诊断；对步骤3中音频帧数据的指标进行音频诊断，根据诊断结果判断音频质量并输出音频质量诊断结果；步骤5：输出诊断结果、告警；对步骤4中的各项指标的诊断结果进行分析处理并向运维中心告警，通知运维人员进行相关维护，保障会议的正常运行。作为本专利技术技术方案的进一步改进，所述的步骤4中的音频帧数据的指标进行音频诊断包括声音大小检测及声音啸叫检测。作为本专利技术技术方案的进一步改进，所述的声音大小检测的方法包括以下步骤：...

【技术保护点】
1.一种视频会议系统，其特征在于，包括交换机、MCU、RTMP直播设备、音频质量诊断系统；所述的交换机、RTMP直播设备、音频质量诊断系统依次连接；所述的MCU与交换机连接，所述交换机接收原始流音频数据并处理，所述的MCU发出指令信号控制交换机，所述的交换机通过端口镜像将处理后的原始流音频数据送入RTMP直播设备，所述的RTMP直播设备将处理后的原始流音频数据按照实时消息传输协议送入音频质量诊断系统中,并对音频数据的各项指标进行诊断，根据诊断结果判断音频质量，并输出音频质量诊断结果；所述的音频质量诊断系统包括：/n获取原始流数据模块；用于对视频会议系统中连接MCU的交换机进行端口镜像，获取会议中原始流数据，利用RTMP直播设备将原始流数据以RTMP的方式进行推送；/n获取音频流数据模块；利用FFMPEG计算机程序将步骤1中RTMP推送的原始流数据进行解码和转码，获取音频流数据；所述的FFMPEG计算机程序用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序；/n获取音频帧模块；将获取音频流数据模块中的音频流数据根据时间片段进行划分，获取不同段的音频帧数据；/n音频诊断模块；对获取音频帧模块中音频帧数据的指标进行音频诊断，根据诊断结果判断音频质量并输出音频质量诊断结果；/n输出诊断结果、告警模块；对音频诊断模块中的各项指标的诊断结果进行分析处理并向运维中心告警，通知运维人员进行相关维护，保障会议的正常运行。/n...

【技术特征摘要】
1.一种视频会议系统，其特征在于，包括交换机、MCU、RTMP直播设备、音频质量诊断系统；所述的交换机、RTMP直播设备、音频质量诊断系统依次连接；所述的MCU与交换机连接，所述交换机接收原始流音频数据并处理，所述的MCU发出指令信号控制交换机，所述的交换机通过端口镜像将处理后的原始流音频数据送入RTMP直播设备，所述的RTMP直播设备将处理后的原始流音频数据按照实时消息传输协议送入音频质量诊断系统中,并对音频数据的各项指标进行诊断，根据诊断结果判断音频质量，并输出音频质量诊断结果；所述的音频质量诊断系统包括：
获取原始流数据模块；用于对视频会议系统中连接MCU的交换机进行端口镜像，获取会议中原始流数据，利用RTMP直播设备将原始流数据以RTMP的方式进行推送；
获取音频流数据模块；利用FFMPEG计算机程序将步骤1中RTMP推送的原始流数据进行解码和转码，获取音频流数据；所述的FFMPEG计算机程序用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序；
获取音频帧模块；将获取音频流数据模块中的音频流数据根据时间片段进行划分，获取不同段的音频帧数据；
音频诊断模块；对获取音频帧模块中音频帧数据的指标进行音频诊断，根据诊断结果判断音频质量并输出音频质量诊断结果；
输出诊断结果、告警模块；对音频诊断模块中的各项指标的诊断结果进行分析处理并向运维中心告警，通知运维人员进行相关维护，保障会议的正常运行。


2.根据权利要求1所述的视频会议系统，其特征在于，所述的音频诊断模块中的音频帧数据的指标进行音频诊断包括声音大小检测及声音啸叫检测。


3.根据权利要求2所述的视频会议系统，其特征在于，所述的声音大小检测的方法包括以下步骤：
1)输入单个音频帧，并通过以下公式计算出单个音频帧幅值的能量值t：
t＝20*log10(x/y)(1)
其中，y为声音总的振幅最大值，x为当前声音的振幅值；
2)按照下列公式得出音量值大小T；
T＝[sum(t)*500]/(sample*VOLUMEMAX)(2)
其中，sum(t)为音频能量值总和；sample为音频采样个数；VOLUMEMAX＝32767，500为等量化比值；
3)如果T满足下式的范围，则表示音量正常；
Th1>T>Th2(3)
其中，Th1表示音量过大的阈值、Th2表示音量过小的阈值。


4.根据权利要求2所述的视频会议系统，其特征在于，所述的声音啸叫检测的方法包括以下步骤：
1)输入片段音频帧，根据获取的音频数据按时间片段划分成音频帧，将片段的音频帧进行归一化处理，将数据序列的范围统一到固定的区间(0,1)之间；对每一帧音频进行离散傅里叶变换处理，获取对应的频谱特征数据；并计算每频频谱能量K；
所述的归一化处理的公式为：
z*＝(z-min)/(max-min)(4)
其中，max为样本信号数据的最大值，min为样本信号数据的最小值，z表示样本当前信号数据的值，z*表示归一化处理后该样本信号的值；
所述的对每一帧音频进行离散傅里叶变换处理的公式为：
Rn＝10*log[10*(p1-p2)](5)
其中，p1是信号功率谱中的最大幅值，p2为每帧信号中所有功率幅值的平均值，Rn为当前信号功率值，n＝1,2,3...2048；
所述的计算每频频谱能量K的公式为：
K＝(Rn)2(6)
2)将片段音频帧进行加窗处理，计算出频谱平均能量HK与方差T；
所述的加窗处理的公式为：
w[i]＝0.54-0.46cos(2πi/N)(7)
其中，w[]表示窗长内每一频的能量值，N表示一帧数内的采样点总数，i＝0,1,2,3...1024,其中0≤i≤N-1；
所述的频谱平均能量HK的计算公式如下：



其中，sum(Ka)为a帧频谱能量总和，Ka表示第a帧的能量值；SUM()j为频谱能量总和,j＝1,2,3...2048；sample为音频采样个数,samp...

【专利技术属性】
技术研发人员：沈先波，何兵兵，石海春，张超，徐飞，
申请(专利权)人：合肥优尔电子科技有限公司，
类型：发明
国别省市：安徽;34