音频通道混合制造技术

公开了用于音频通道混合的方法，系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面，一种方法包括以下动作：接收第一音频通道的第一音频数据。动作还包括发送第一音频数据。动作还包括，在接收和发送所述第一音频数据的同时，接收第二音频通道的第二音频数据；确定第一音频数据的第一语音音频能量水平和第一音频数据的第一噪声能量水平；确定第二音频数据的第二语音音频能量水平和第二音频数据的第二噪声能量水平；确定是切换到发送第二音频数据还是继续发送第一音频数据。动作还包括发送第一音频数据或第二音频数据。

【技术实现步骤摘要】
音频通道混合相关申请的交叉引用本申请要求2019年6月10日提交的美国申请62/859,386的权益，其通过引用并入本文。
本说明书大体涉及语音处理。
技术介绍
语音处理是对语音信号和信号处理方法的研究。信号通常以数字表示进行处理，因此语音处理可以被认为是应用于语音信号的数字信号处理的特殊情况。语音处理的方面包括语音信号的获取，操纵，存储，传输和输出。
技术实现思路
对于具有多个麦克风的音频会议系统，进行音频会议有时可能是具有挑战性的。理想地，音频会议设备应该基于可用麦克风检测到的音频来发送包含最清晰语音的音频。在没有即按即说系统的情况下，音频会议设备可能无法确定哪个麦克风或麦克风的组合正在拾取最清晰的语音。同时发送由每个麦克风拾取的音频不是实际的选择。包括多个滤波的麦克风信号的一些麦克风信号或波束形成的音频通道可以包括比其它信号更多的噪声，并且最好忽略噪声麦克风或音频通道。一些音频会议设备简单地测量通过每个麦克风接收的音频的能量水平或音频通道的音频水平，并以最高的能量水平发送音频。因为一些麦克风可以拾取比其本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，其特征在于，包括：/n计算设备接收第一音频通道的第一音频数据；/n所述计算设备发送所述第一音频数据；/n在接收和发送所述第一音频数据的同时：/n所述计算设备接收第二音频通道的第二音频数据；/n所述计算设备通提供所述第一音频数据作为模型的第一输入来确定所述第一音频数据的第一语音音频能量水平和所述第一音频数据的第一噪声能量水平，所述模型被训练为确定给定音频数据的语音音频能量水平和所述给定音频数据的噪声能量水平；/n所述计算设备通过提供所述第二音频数据作为所述模型的第二输入来确定所述第二音频数据的第二语音音频能量水平和所述第二音频数据的第二噪声能量水平；和/n基于所述第一语...

【技术特征摘要】
20190610 US 62/859,3861.一种计算机实现的方法，其特征在于，包括：
计算设备接收第一音频通道的第一音频数据；
所述计算设备发送所述第一音频数据；
在接收和发送所述第一音频数据的同时：
所述计算设备接收第二音频通道的第二音频数据；
所述计算设备通提供所述第一音频数据作为模型的第一输入来确定所述第一音频数据的第一语音音频能量水平和所述第一音频数据的第一噪声能量水平，所述模型被训练为确定给定音频数据的语音音频能量水平和所述给定音频数据的噪声能量水平；
所述计算设备通过提供所述第二音频数据作为所述模型的第二输入来确定所述第二音频数据的第二语音音频能量水平和所述第二音频数据的第二噪声能量水平；和
基于所述第一语音音频能量水平，所述第一噪声能量水平，所述第二语音音频能量水平和所述第二噪声能量水平，由所述计算设备确定是切换到发送所述第二音频数据还是继续发送所述第一音频数据；和
基于确定是切换到发送所述第二音频数据还是继续发送所述第一音频数据，由所述计算设备发送所述第一音频数据或所述第二音频数据。


2.根据权利要求1所述的方法，其特征在于，包括：
所述计算设备接收语音音频样本；
所述计算装置接收噪声样本；
所述计算设备确定每个噪声样本的噪声能量水平和每个语音音频样本的语音音频能量水平；
所述计算设备通过组合每个噪声样本和每个语音音频样本来生成噪声语音音频样本；和
通过所述计算设备并利用机器学习，使用每个噪声样本的所述噪声能量水平，每个语音音频样本的所述语音音频能量水平以及所述噪声语音音频样本，对所述模型进行训练。


3.如权利要求2所述的方法，其特征在于，组合每个噪声样本和每个语音音频样本包括重叠时域中的每个噪声样本和每个音频样本，并对每个噪声样本和每个音频样本求和。


4.根据权利要求1所述的方法，其特征在于，
确定是切换到发送所述第二音频数据还是继续发送所述第一音频数据包括确定切换到发送所述第二音频数据，并且
发送所述第一音频数据或所述第二音频数据包括发送所述第二音频数据并停止发送所述第一音频数据。


5.根据权利要求1所述的方法，其特征在于，
确定是切换到发送所述第二音频数据还是继续发送所述第一音频数据包括确定继续发送所述第一音频数据，并且
发送所述第一音频数据或所述第二音频数据包括继续发送所述第一音频数据。


6.根据权利要求1所述的方法，其特征在于，
确定所述第一音频数据的第一语音音频能量水平和所述第一音频数据的第一噪声能量水平包括：
对于多个频带中的每一个频带，确定相应的第一语音音频能量水平和相应的第一噪声能量水平。
确定所述第二音频数据的第二语音音频能量水平和所述第二音频数据的第二噪声能量水平包括：
对于所述多个频带中的每一个频带，确定相应的第二语音音频能量水平和相应的第二噪声能量水平，
确定是切换到发送所述第二音频数据还是继续发送所述第一音频数据还基于，对于所述多个频带中的每一个频带的每个第一语音音频能量水平，每个第一噪声能量水平，每个第二语音音频能量水平和每个第二噪声能量水平。


7.根据权利要求1所述的方法，其特征在于，包括：
基于所述第一语音音频能量水平，所述第一噪声能量水平，所述第二语音音频能量水平和所述第二噪声能量水平，由所述计算设备更新状态机的状态，所述状态机的状态包括语音状态，噪声状态，静音状态和不确定状态。


8.根据权利要求7所述的方法，其特征在于，
所述第一音频通道是已建立的扬声器通道，指示第一语音音频能量水平满足语音音频能量水平阈值，
所述第二音频通道是另一个已建立的扬声器通道，指示第一语音音频能量水平满足语音音频能量水平阈值。
更新所述状态机的所述状态包括将所述状态机的所述状态更新为所述语音状态，
确定是切换到发送所述第二音频数据还是继续发送所述第一音频数据包括，基于将语音机的状态更新到所述语音状态并且基于所述第一音频通道和所述第二音频通道都是已建立的扬声器通道，来确定发送所述第一音频数据和所述第二音频数据。


9.根据权利要求7所述的方法，其特征在于，
所述第一音频通道是已建立的扬声器通道，指示第一语音音频能量水平满足语音音频能量水平阈值，
更新所述状态机的所述状态包括将所述状态机的所述状态更新为所述噪声状态，
确定是切换到发送所述第二音频数据还是继续发送所述第一音频数据包括，基于将所述状态机的所述状态更新为所述噪声状态，来确定继续发送所述第一音频数据。


10.根据权利要求7所述的方法，其特征在于，
所述第一音频通道是已建立的扬声器通道，指示第一语音音频能量水平满足语音音频能量水平阈值。
更新所述状态机的所述状态包括将所述状态机的所述状态更新为静音状态，
确定是切换到发送所述第二音频数据还是继续发送所述第一音频数据包括，基于将所述状态机的所述状态更新为所述静音状态，来确定继续发送所述第一音频数据。


11.根据权利要求7所述的方法，其特征在于，
第一音频通道是已建立的扬声器通道，指示第一语音音频能量水平满足语音音频能量水平阈值，
更新所述状态机的所述状态包括将所述状态机的所述状态更新为所述不确定状...

【专利技术属性】
技术研发人员：托雷·鲁德伯格，克里斯蒂安·舒德特，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US