一种基于声音评价的会议舒适噪音混音系统及其方法技术方案

本发明专利技术公开了一种基于声音评价的会议舒适噪音混音系统及其方法，一种基于声音评价的会议舒适噪音混音系统包括音频输入模块，音频输出模块，噪音分类模块，声音衰减模块，噪音截断模块，噪音控制模块，混音模块，白噪声产生模块，声音检测模块，以及多个音频终端；所述音频终端：是能够进行双向语音采集、播放、传输的设备；音频终端的语音发送到音频输入模块，音频终端的语音从音频输出模块接收。采用本发明专利技术的技术方案，能够适配各种音频终端的各种场景的噪音，更加准确识别出噪音与语音，避免出现死静的音频会议，避免单的终端噪音过大以及多个终端噪音叠加影响会议质量，同时调节会议噪音值让音频会议的噪音始终处于一种比较舒适状态。

A Conference Comfortable Noise Mixing System Based on Sound Evaluation and Its Method

The invention discloses a conference comfortable noise mixing system based on sound evaluation and its method. A conference comfortable noise mixing system based on sound evaluation includes audio input module, audio output module, noise classification module, sound attenuation module, noise truncation module, noise control module, mixing module, white noise generation module, sound detection module, and many others. The audio terminal is a device capable of two-way voice acquisition, playback and transmission; the voice of the audio terminal is sent to the audio input module, and the voice of the audio terminal is received from the audio output module. By adopting the technical scheme of the present invention, the noise of various scenarios of various audio terminals can be adapted, the noise and voice can be recognized more accurately, the dead audio conference can be avoided, the excessive noise of single terminal and the overlapping noise of multiple terminals can be avoided, and the noise value of conference noise can be adjusted so that the noise of audio conference can always be in a relatively comfortable state.

【技术实现步骤摘要】
一种基于声音评价的会议舒适噪音混音系统及其方法
本专利技术涉及计算机信息处理
，具体涉及一种基于声音评价的会议舒适噪音混音系统及其方法。
技术介绍
随着音频终端技术快速发展，出现不同音频终端对噪声抑制效果千差万别。音频会议应用中出现两种差体验。一：所有的音频终端的无人说话时，与会的音频终端完全听不任何声音，怀疑会议已经断线，当会议中音频终端开始说话，其他的与会音频终端突兀听到突然响起声音，严重影响体验。二:有个别音频终端的噪音特别大，其他与会音频终端始终在会场听到该噪音，严重影响会议品质。这里需要一种对噪音自适应的音频混音技术，控制音频会议的会场噪音，让其噪音始终达到比较舒适状态。
技术实现思路
本专利技术的目的是提供一种基于声音评价的会议舒适噪音混音系统及其方法，适配各种音频终端的各种场景的噪音，让音频会议的噪音始终处于一种舒适状态。为实现上述目的，本专利技术提供如下技术方案：一种基于声音评价的会议舒适噪音混音系统，包括音频输入模块，音频输出模块，噪音分类模块，声音衰减模块，噪音截断模块，噪音控制模块，混音模块，白噪声产生模块，声音检测模块，以及多个音频终端；所述音频终端：是能够进行双向语音采集、播放、传输的设备；如手机，电话机，会议终端机等；音频终端的语音发送到音频输入模块，音频终端的语音从音频输出模块接收；所述音频输入模块是用于接收来自网络、音频线等的语音模块；音频输入模块接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块与声音检测模块；所述音频输出模块是用于把语音输出到网络、音频线等的模块；音频输出模块接收来自混音模块的语音的音频数据；音频输出模块并把语音输出到音频终端；所述噪音分类模块是用于检测输入音频流的噪音进行分类的模块；噪音分类模块把输入音频流噪音的评价分为四类：可衰减降噪，噪音过大，噪音正常，噪音偏小；噪音分类模块接收音频输入模块发来输入音频流；噪音分类模块接收声音检测模块的是否有语音的检测结果，以及音频流无语音的声音能量值(即为噪音能量值)与有语音的声音能量值(即为语音能量值)，以及语音能量值与噪音能量值的除数(即为音频信噪比)；根据音频信噪比与语音能量值进行评价分为四类音频；噪音分类模块把可衰减降噪的音频输出到声音衰减模块进行衰减降噪，声音衰减模块音频衰减音频流返回给噪音分类模块，噪音分类模块进行重新音频分类；噪音分类模块把噪音过大的音频流输出给噪音截断模块；噪音分类模块把正常噪音与无噪音的音频流输出给噪音控制模块；所述声音衰减模块用于对语音的音频数据进行衰减处理，以达到减低噪音效果；声音衰减模块接收噪音分类模块的音频流，衰减后把音频流重新发给噪音分类模块；所述噪音截断模块用于处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块接收噪音分类模块的音频流，噪音截断模块接收声音检测模块的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块；噪音截断模块把有语音的音频流输出给噪音控制模块；所述噪音控制模块：通过计算噪音能量控制参与混音，让所有与会的音频终端的听到噪音舒适的模块；所述噪音控制模块用于接收来自噪音分类模块与噪音截断模块的音频流；噪音控制模块接收声音检测模块的是否有语音的检测结果，没有语音的根据噪音能量值确定是否参与混音；噪音控制模块把需要需要混音的音频流输出到混音模块；所述混音模块是分别为所有与会音频终端混合的听到声音的模块；混音模块接收噪音控制模块与白噪声产生模块的音频流进行混音；混音模块把混音后的音频流发送给音频输出模块；所述白噪声产生模块是用于产生的整个频域内均匀分布的噪声音频流的模块；白噪声产生模块接收噪音控制模块的控制消息，产生符合噪音能量值的音频流；白噪声产生模块把白噪音的音频流输出到混音模块；所述声音检测模块是使用声音跳变限位自适应检测方法(结合声音能量值检测法与声音跳变自适应检测法方法)检测音频流是噪音还是语音的模块；声音检测模块接收来自的音频输入模块的音频流；声音检测模块把语音的检测结果分别输出到噪音分类模块、噪音截断模块和噪音控制模块。本专利技术还提供一种基于声音评价的会议舒适噪音混音方法，包括如下步骤：步骤(1)、音频输入模块接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块和声音检测模块；步骤(2)、声音检测模块使用声音跳变限位自适应检测方法(结合声音能量值检测法与声音跳变自适应检测法方法)来确定音频流是噪音还是语音；如果只按声音能量值检测法容易把比较大噪音当成语音；声音能量值为一段时间的声音的数据绝对值的平均值，如30毫秒的音频数据绝对值的平均值；而声音跳变自适应检测法，使用声音能量值的迭代均值，判断声音能量值忽然提高判断是否为语音，虽然有效检测较大噪音中的语音，但容易把音乐这类声音能量值比较均衡的声音误判为噪音；声音跳变限位自适应检测方法是结合声音能量值检测法与声音跳变自适应检测法，解决较大噪音与均衡声音的误判问题；声音跳变限位自适应检测方法设置一个能量值检测值区间(t1～t2)，初始能量值检测阀值为t，t在t1～t2区间内；能量值检测值调整策略，使用初始能量值检测阀值t检测到无语音，当按照t(n)＝(t(n－1)+噪音能量值×2)÷2公式计算新能量检测阀值，使用公式较快获取噪音下限，如果t(n)小于能量值检测值区间下限t1，则t(n)取值t1，如t(n)大于能量值检测值区间上限t2，则t(n)取值t2；使用初始能量值检测阀值t检测到有语音，语音持续时间超过预设时间(人声音在两个字间有能力值低谷，所以预设时间不要过大，如10秒)，有可能把噪音(即无人说法、只有背景为噪音)误识别为语音(有人说话)，需要增大阀值，按照t(n)＝(t(n－1)+语音能量值)÷2公式计算增大能量检测阀值；步骤(3)、噪音分类模块把音频流的噪音进行评价分类(3.1)、噪音分类模块接收音频输入模块发来输入音频流；(3.2)、噪音分类模块接收声音检测模块的是否有语音的检测结果，输入音频流无语音的声音能量值(即为噪音能量值)与有语音的声音能量值(即为语音能量值)，以及语音能量值与噪音能量值的除数(即为音频信噪比)；(3.3)、噪音分类模块判断噪音能量值大于噪音阈值tz，判断语音能量值是否大于语音阈值tv，语音能量值小于则判断此音频为噪音过大类型，如果语音能量值大则认为可衰减降噪类型；(3.5)、噪音分类模块把可衰减降噪的音频输出到声音衰减模块进行衰减降噪，声音衰减模块把声音按照语音阈值tv除以语音能量值的比例进行衰减，声音衰减模块音频衰减音频流返回给噪音分类模块；(3.6)、噪音分类模块把噪音过大的音频流输出给噪音截断模块；(3.7)、噪音分类模块判断噪音能量值小于噪音阈值tz时，再与静音闸值tj判断，噪音能量值大于静音闸值tj，则认为噪音正常类型，噪音能量值小于静音闸值tj则认为噪音偏小类型；(3.8)、噪音分类模块把正常噪音与无噪音的音频流输出给噪音控制模块；步骤(4)、噪音截断模块处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块接收噪音分类模块的音频流，噪音截断模块接收声音检测模块的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块；噪音截断模块把有语音的音频流输出给噪音控制本文档来自技高网...

【技术保护点】
1.一种基于声音评价的会议舒适噪音混音系统，其特征在于，包括音频输入模块(1)，音频输出模块(2)，噪音分类模块(3)，声音衰减模块(4)，噪音截断模块(5)，噪音控制模块(6)，混音模块(7)，白噪声产生模块(8)，声音检测模块(9)，音频终端；所述音频终端：是能够进行双向语音采集、播放、传输的设备；音频终端的语音发送到音频输入模块(1)，音频终端的语音从音频输出模块(2)接收；所述音频输入模块(1)是用于接收来自网络、音频线的语音模块；音频输入模块(1)接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块(3)与声音检测模块(9)；所述音频输出模块(2)是用于把语音输出到网络、音频线的模块；音频输出模块(2)接收来自混音模块(7)的语音的音频数据；音频输出模块(2)并把语音输出到音频终端；所述噪音分类模块(3)是用于检测输入音频流的噪音进行分类的模块；噪音分类模块(3)接收音频输入模块(1)发来输入音频流；噪音分类模块(3)接收声音检测模块(9)的是否有语音的检测结果、以及音频流无语音的声音能量值与有语音的声音能量值、以及语音能量值与噪音能量值的除数；所述声音衰减模块(4)用于对语音的音频数据进行衰减处理，以达到减低噪音效果；声音衰减模块(4)接收噪音分类模块(3)的音频流，衰减后把音频流重新发给噪音分类模块(3)；所述噪音截断模块(5)用于处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块(5)接收噪音分类模块(3)的音频流，噪音截断模块(5)接收声音检测模块(9)的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块(6)；噪音截断模块(5)把有语音的音频流输出给噪音控制模块(6)；所述噪音控制模块(6)用于接收来自噪音分类模块(3)与噪音截断模块(5)的音频流；噪音控制模块(6)接收声音检测模块(9)的是否有语音的检测结果，没有语音的根据噪音能量值确定是否参与混音；噪音控制模块(6)把需要需要混音的音频流输出到混音模块(7)；所述混音模块(7)是分别为所有与会音频终端混合的听到声音的模块；混音模块(7)接收噪音控制模块(6)与白噪声产生模块(8)的音频流进行混音；混音模块(7)把混音后的音频流发送给音频输出模块(2)；所述白噪声产生模块(8)是用于产生的整个频域内均匀分布的噪声音频流的模块；白噪声产生模块(8)接收噪音控制模块(6)的控制消息，产生符合噪音能量值的音频流；白噪声产生模块(8)把白噪音的音频流输出到混音模块(7)；所述声音检测模块(9)是使用结合声音能量值检测法与声音跳变自适应检测法方法的声音跳变限位自适应检测方法来检测音频流是噪音还是语音的模块；声音检测模块(9)接收来自的音频输入模块(1)的音频流；声音检测模块(9)把语音的检测结果分别输出到噪音分类模块(3)、噪音截断模块(5)和噪音控制模块(6)。...

【技术特征摘要】
1.一种基于声音评价的会议舒适噪音混音系统，其特征在于，包括音频输入模块(1)，音频输出模块(2)，噪音分类模块(3)，声音衰减模块(4)，噪音截断模块(5)，噪音控制模块(6)，混音模块(7)，白噪声产生模块(8)，声音检测模块(9)，音频终端；所述音频终端：是能够进行双向语音采集、播放、传输的设备；音频终端的语音发送到音频输入模块(1)，音频终端的语音从音频输出模块(2)接收；所述音频输入模块(1)是用于接收来自网络、音频线的语音模块；音频输入模块(1)接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块(3)与声音检测模块(9)；所述音频输出模块(2)是用于把语音输出到网络、音频线的模块；音频输出模块(2)接收来自混音模块(7)的语音的音频数据；音频输出模块(2)并把语音输出到音频终端；所述噪音分类模块(3)是用于检测输入音频流的噪音进行分类的模块；噪音分类模块(3)接收音频输入模块(1)发来输入音频流；噪音分类模块(3)接收声音检测模块(9)的是否有语音的检测结果、以及音频流无语音的声音能量值与有语音的声音能量值、以及语音能量值与噪音能量值的除数；所述声音衰减模块(4)用于对语音的音频数据进行衰减处理，以达到减低噪音效果；声音衰减模块(4)接收噪音分类模块(3)的音频流，衰减后把音频流重新发给噪音分类模块(3)；所述噪音截断模块(5)用于处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块(5)接收噪音分类模块(3)的音频流，噪音截断模块(5)接收声音检测模块(9)的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块(6)；噪音截断模块(5)把有语音的音频流输出给噪音控制模块(6)；所述噪音控制模块(6)用于接收来自噪音分类模块(3)与噪音截断模块(5)的音频流；噪音控制模块(6)接收声音检测模块(9)的是否有语音的检测结果，没有语音的根据噪音能量值确定是否参与混音；噪音控制模块(6)把需要需要混音的音频流输出到混音模块(7)；所述混音模块(7)是分别为所有与会音频终端混合的听到声音的模块；混音模块(7)接收噪音控制模块(6)与白噪声产生模块(8)的音频流进行混音；混音模块(7)把混音后的音频流发送给音频输出模块(2)；所述白噪声产生模块(8)是用于产生的整个频域内均匀分布的噪声音频流的模块；白噪声产生模块(8)接收噪音控制模块(6)的控制消息，产生符合噪音能量值的音频流；白噪声产生模块(8)把白噪音的音频流输出到混音模块(7)；所述声音检测模块(9)是使用结合声音能量值检测法与声音跳变自适应检测法方法的声音跳变限位自适应检测方法来检测音频流是噪音还是语音的模块；声音检测模块(9)接收来自的音频输入模块(1)的音频流；声音检测模块(9)把语音的检测结果分别输出到噪音分类模块(3)、噪音截断模块(5)和噪音控制模块(6)。2.一种基于声音评价的会议舒适噪音混音方法，其特征在于，包括如下步骤：步骤(1)、音频输入模块(1)接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块(3)和声音检测模块(9)；步骤(2)、声音检测模块(9)使用结合声音能量值检测法与声音跳变自适应检测法方法的声音跳变限位自适应检测方法来确定音频流是噪音还是语音；如果只按传统的声音能量值检测法容易把比较大噪音当成语音；采用声音跳变限位自适应检测方法，设置一个能量值检测值区间(t1～t2)，初始能量值检测阀值为t，t在t1～t2区间内；能量值检测值调整策略，使用初始能量值检测阀值t检测到无语音，当按照t(n)＝(t(n－1)+噪音能量值×2)÷2公式计算新能量检测阀值，使用公式较快获取噪音下限，如果t(n)小于能量值检测值区间下限t1，则t(n)取值t1，如t(n)大于能量值检测值区间上限t2，则t(n)取值t2；使用初始能量...

【专利技术属性】
技术研发人员：李华松，陈尚武，卢锡芹，
申请(专利权)人：杭州叙简科技股份有限公司，
类型：发明
国别省市：浙江,33