一种基于语音识别和自然语言处理的实验室语音监控系统技术方案

本发明专利技术涉及一种基于语音识别和自然语言处理的实验室语音监控系统，包括语音采集模块、通信模块和服务端管理模块，语音采集模块通过通信模块与服务端管理模块连接：语音采集模块用于采集实验室中的音频信息，并基于辅函数优化分离出语音信息；通信模块用于将语音信息传输至服务端管理模块；服务端管理模块用于根据空间聚类算法将语音信息分离为多个单人语音信息，并根据说话人聚类分割算法在时间维度对每个单人语音信息进行标注，对标注后的语音信息提取特征后，将特征结合风险信息库获取语音信息对应的风险等级，并将风险等级、语音信息和标注信息输出。与现有技术相比，本发明专利技术具有可分离实验室说话人语音，识别精度高等优点。点。点。

【技术实现步骤摘要】
一种基于语音识别和自然语言处理的实验室语音监控系统


[0001]本专利技术涉及语音识别和自然语言处理领域，尤其是涉及一种基于语音识别和自然语言处理的实验室语音监控系统。

技术介绍

[0002]实验室是科研和教学过程中的重要场所，实验教学是培养人才综合能力的重要环节。随着经济的飞速发展和科学的进步，各类实验室无论从数量上还是装备上都有了明显的提升。为了充分发挥实验室的功能性、保障其安全性，实验室的远程综合监控技术起到了重要的作用。近年来，实验室的智能监控技术不断发展，对于监控的要求也越来越高。
[0003]当前的实验室综合监控系统方案大多基于物联网技术构建，监控方式主要包括安防(视频、门禁等)、气体(常规气体、有毒有害气体等)、环境(温湿度、空调等)、实验室设备/系统、动力(UPS、电源灯等)、消防监控等。随着深度学习技术的爆发式增长，语音识别和自然语言处理技术也随之迅猛发展，精度大大提高。多人共享的大型实验室中，语音作为一种重要的资源，可用于监控实验室安全，通过实时监控并记录实验人员的对话情况，从音频角度反映实验室的情况。但是现有的实验室语音监控系统在处理实验室场景时，由于实验室常常会出现多人对话的复杂情况，对于对话信息的提取并识别的效果较差，无法实现对实验室情况的监控。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于语音识别和自然语言处理的实验室语音监控系统。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种基于语音识别和自然语言处理的实验室语音监控系统，包括语音采集模块、通信模块和服务端管理模块，所述语音采集模块通过通信模块与服务端管理模块连接：
[0007]所述语音采集模块用于采集实验室中的音频信息，并基于辅函数优化分离出语音信息；
[0008]所述通信模块用于将语音信息传输至服务端管理模块；
[0009]所述服务端管理模块用于根据空间聚类算法将语音信息分离为多个单人语音信息，并根据说话人聚类分割算法在时间维度对每个单人语音信息进行标注，对标注后的语音信息提取特征后，将特征结合风险信息库获取语音信息对应的风险等级，并将风险等级、语音信息和标注信息输出。
[0010]进一步地，所述语音采集模块包括麦克风阵列子模块和分离子模块：
[0011]所述麦克风阵列子模块包括多个设置在实验室中的全向麦克风，用于采集包含空间位置信息的音频信息；
[0012]所述分离子模块根据基于辅函数优化的独立向量分析算法，结合音频信息的空间位置信息将音频信息分离为语音信息和噪声信息。
[0013]进一步地，所述服务端管理模块包括信号接收队列子模块、多人语音识别子模块、自然语言处理子模块和查询分析子模块：
[0014]所述信号接收队列子模块用于接收语音信息，并传输至多人语音识别子模块；
[0015]所述多人语音识别子模块包括预处理器和语音识别器，所述预处理器用于对语音信息进行信号增强，所述语音识别器用于利用深度学习结合基于高斯混合模型的空间聚类算法对信号增强后语音信息进行分离，得到多个单人语音信息；经过说话人分割对语音信息的信号转折点进行切割，最后通过说话人聚类对切割后的语音信息进行标注；
[0016]所述自然语言处理子模块采用声学模型将经过多人语音识别子模块的语音信息转化为文本信息，并采用BERT模型提取文本信息的特征，将特征与当前实验室对应的风险信息库进行匹配，得到风险等级；
[0017]所述查询分析子模块将语音信息、标注信息和风险等级进行输出。
[0018]进一步地，所述预处理器采用基于长短时记忆模型的多目标学习算法，根据对数功率谱特征和理想比率掩码进行算法目标优化，对语音信息进行信号增强。
[0019]进一步地，所述声学模型提取语音信息的梅尔倒谱特征，并将特征解码后进行文字输出。
[0020]进一步地，所述语音识别器在对语音信号分离前先基于广义加权预测误差算法消除语音信息的混响。
[0021]进一步地，所述语音识别器在对语音信号分离前执行以下步骤：
[0022]S1、采取基于IVA的盲分离算法，取相互独立的多个语音信息，通过反投影算法将幅值恢复到原始观测信号的范围；
[0023]S2、使用最小值控制的递归平均算法的噪声估计算法在每个单独的语音信息上估计平稳噪声；
[0024]S3、结合其他语音信息的平稳噪声信息来估计当前语音信息的非平稳噪声；
[0025]S4、使用决策导向算法计算先验和后验信噪比，进行多信号滤波处理；
[0026]S5、将处理后的所有语音信息通过线性叠加的方式进行合成。
[0027]进一步地，当说话人聚类的总聚类数达到默认最大说话人数量，或聚类值超过设定阈值时，停止说话人聚类，输出聚类结果为标注信息。
[0028]进一步地，所述服务端管理模块还包括报警子模块，获取风险等级后，判断风险等级是否超过阈值，若是，则对管理员进行告警。
[0029]进一步地，所述通信模块采用RS485接口组成的半双工网络。
[0030]与现有技术相比，本专利技术具有以下优点：
[0031]1、本专利技术通过语音采集模块获取实验室中的语音信息，通过通信模块传输至服务端管理模块，服务端管理模块先通过空间聚类算法对语音信息进行说话人的分离，并根据说话人聚类分割算法进行标注，继而提取与风险相关的特征，结合设定的风险信息库，得到风险等级，并最终将相关信息进行输出。本专利技术对信号进行了分离，可识别出在实验室中不同人的语音信息，继而提高整体语音识别的精确性。
[0032]2、本专利技术设置了自然语言处理子模块，提取了语音信息的梅尔倒谱系数特征，该特征通过模拟人耳的方式反映音频的特点，进一步地保证了语音信息在计算时的准确性。并将该特征转化为文本信息后，通过BERT模型提取特征，与风险信息库进行比对，可有效识
别可能存在的风险信息。
[0033]3、本专利技术采用基于长短时记忆模型的多目标学习算法，根据对数功率谱特征和理想比率掩码进行算法目标优化，对语音信息进行信号增强，实现了更低的计算复杂度，提高了该系统的泛化能力。
[0034]4、本专利技术除了可以应用于实验室以外，通过改变风险信息库的具体内容即可适用于其它场景，应用范围广。
附图说明
[0035]图1为本专利技术的系统示意图。
[0036]图2为本专利技术盲源分离框架示意图。
[0037]图3为本专利技术多人语音识别子模块和自然语言处理子模块实现文本信息识别的框架图。
[0038]图4为本专利技术风险信息数据库更新流程图。
具体实施方式
[0039]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0040]本实施例提供了一种基于语音识别和自然语言处理的实验室语音监控系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语音识别和自然语言处理的实验室语音监控系统，其特征在于，包括语音采集模块、通信模块和服务端管理模块，所述语音采集模块通过通信模块与服务端管理模块连接：所述语音采集模块用于采集实验室中的音频信息，并基于辅函数优化分离出语音信息；所述通信模块用于将语音信息传输至服务端管理模块；所述服务端管理模块用于根据空间聚类算法将语音信息分离为多个单人语音信息，并根据说话人聚类分割算法在时间维度对每个单人语音信息进行标注，对标注后的语音信息提取特征后，将特征结合风险信息库获取语音信息对应的风险等级，并将风险等级、语音信息和标注信息输出。2.根据权利要求1所述的一种基于语音识别和自然语言处理的实验室语音监控系统，其特征在于，所述语音采集模块包括麦克风阵列子模块和分离子模块：所述麦克风阵列子模块包括多个设置在实验室中的全向麦克风，用于采集包含空间位置信息的音频信息；所述分离子模块根据基于辅函数优化的独立向量分析算法，结合音频信息的空间位置信息将音频信息分离为语音信息和噪声信息。3.根据权利要求1所述的一种基于语音识别和自然语言处理的实验室语音监控系统，其特征在于，所述服务端管理模块包括信号接收队列子模块、多人语音识别子模块、自然语言处理子模块和查询分析子模块：所述信号接收队列子模块用于接收语音信息，并传输至多人语音识别子模块；所述多人语音识别子模块包括预处理器和语音识别器，所述预处理器用于对语音信息进行信号增强，所述语音识别器用于利用深度学习结合基于高斯混合模型的空间聚类算法对信号增强后语音信息进行分离，得到多个单人语音信息；经过说话人分割对语音信息的信号转折点进行切割，最后通过说话人聚类对切割后的语音信息进行标注；所述自然语言处理子模块采用声学模型将经过多人语音识别子模块的语音信息转化为文本信息，并采用BERT模型提取文本信息的特征，将特征与当前实验室对应的风险信息库进行匹配，得到风险等级；所述查询分析子模块将语音信...

【专利技术属性】
技术研发人员：叶舒，张峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：