嘈杂工况环境的机器人语音控制系统技术方案

本发明专利技术公开一种用于嘈杂工况环境的机器人语音控制系统，涉及工业机器人语音控制技术领域。本发明专利技术在嘈杂工况环境下，通过本地降噪处理和在线语音识别相结合的方式，完成人机协作。系统包括语音语义在线识别数据平台、移动客户端、本地语音控制装置和工业协作机器人。移动客户端实现系统的组网，本地语音控制装置集成麦克风阵列模块有效克服工业噪声环境，采集语音信号传输给语音数据核心模块，降噪后传输至基于深度学习的语音语义在线识别数据平台，实现语音在线识别，识别数据返回给本地语音控制装置，进行数据的处理并传输给工业协作机器人，机器人解析并完成指令动作。本发明专利技术公布的系统有效克服了工业噪声环境，使用性能突出，适用范围广。

【技术实现步骤摘要】
嘈杂工况环境的机器人语音控制系统
本专利技术涉及工业机器人语音控制
，尤其是一种嘈杂工况环境的机器人语音控制系统，具体来说是一套智能语音装置，在工业环境下通过本地降噪处理和在线语音识别相结合的方式，克服嘈杂工况环境，控制工业机器人完成指定动作，实现人机协作的自然化和智能化。
技术介绍
语音控制技术一直以来是机器人研究领域中最具有前景的技术，其优点在于友好的人机交互性，大大降低机器人操作所需的技术门槛。目前语音控制技术广泛应用于服务机器人、智能家居以及人工智能等领域，但在工业生产中却不太普及。主要是由于语音识别技术在工业生产中的嘈杂工况环境下，识别率会大幅降低的原因。但是随着“中国制造2025”规划的出台，将语音控制技术与工业机器人相结合，运用语音识别技术到嘈杂工况环境，改变传统生产方式，这一研究需求愈来愈突出。目前工业生产中的语音控制技术因为受限于嘈杂工况环境而不能广泛应用，通常也只是应用在工业控制室等室内环境或者通过远程控制、佩戴麦克风等方式尽量提高语音控制技术的适用性，但是这些做法很难达到将语音控制技术普遍应用到工业生产中的要求。并且目前的工业应用，经常只是基于离线方式的一些控制指令的识别，不能提供大量的任意的指令控制，这也是目前工业生产中语音控制系统的不足之处。近年来，随着深度学习热潮的再次涌起，基于深度神经网络的语音语义识别技术的研究也突飞猛进。以神经网络为基础的语音识别系统主要模仿了神经元的活动机制，通过各种不同的算法以及网络结构来辅助完成其工作，因神经网络技术采用了非线性动态机制，具有自主化以及高效等显著的特点，因此极好地促进了语音识别技术的发展。与此同时，麦克风阵列技术的发展使得高质量的语音拾取成为可能，麦克风阵列信号处理具有传统语音信号处理无法比拟的优势，尤其在噪声抑制、声源定位、去混响等性能上有很大的提高，能够在嘈杂工况环境下自动高效地从接收的语音信号中提取有用信息，适用于智能化领域。因此，基于目前的大数据计算能力，借助FPGA的高性能计算平台，运用深度学习技术进行在线的高性能识别，在保证拾音质量的情况下，能够大大提高嘈杂工况环境下的语音识别正确率和效率，使得工业环境下的语音控制技术的应用能够进一步推广。作为工业生产中人机交互的代表，人机协作机器人是应用语音控制技术的最佳对象。目前，工业人机协作机器人往往注重安全、布置灵活、操作简单、轻便灵敏等性能的研究，却忽略了最直接的人机交互方式——语音控制技术的研究。因此在工业环境下，以人机协作机器人作为语音控制的对象，不仅能够深化工业生产的智能化程度，而且也能够为枯燥的生产工作带来乐趣，同时也为语音技术在工业生产中的普遍应用提供了很好的范例。
技术实现思路
本专利技术目的在于针对已有技术的不足，提供一种嘈杂工况环境的机器人语音控制系统，通过该语音控制系统所包括的本地降噪处理和在线语音识别相结合的技术方式，以工业人机协作机器人为控制对象，克服嘈杂工况环境，实现人机协作的自然化和智能化。本专利技术的目的是通过下述技术方案来实现的。一种嘈杂工况环境的机器人语音控制系统，包括语音语义在线识别数据平台、移动客户端、本地语音控制装置和工业协作机器人，语音语义在线识别数据平台、移动客户端和本地语音控制装置，三者通过无线网络相互连接，本地语音控制装置和工业协作机器人通过串口线连接。通过所述移动客户端连接或组建无线网络，由于本地语音控制装置中有集成的无线连接模块，所以本地语音控制装置可联网。所述移动客户端扫描连接本地语音控制装置，并请求语音语义在线识别数据平台的服务，完成本地语音控制装置和语音语义在线识别数据平台的网络连接，由于本地语音控制装置中有集成的语音数据核心模块，运行Android系统，可基于语音数据核心模块的主服务，实现客户端服务，完成本地语音控制装置和语音语义在线识别数据平台的数据传输。所述本地语音控制装置采集语音信号并进行降噪处理，将处理后的语音信号传输至语音语义在线识别数据平台，实现在线的语音语义识别，识别结果数据再返回给本地语音控制装置，本地语音控制装置接收数据并进行处理，处理后的数据按照既定通信协议传输给工业协作机器人，工业协作机器人获得数据后进行指令解析并执行相应的动作或姿态。进一步地，所述语音语义在线识别数据平台是基于深度学习的大数据平台，可采用科大讯飞股份有限公司的语音开放平台，接入语音识别服务，具有语义VAD、特征识别、基于上下文识别、连续语音识别和上下文理解功能，能够对上传至数据平台的语音信号进行在线的语音语义识别，并将识别后的数据返回给本地语音控制装置，基于深度神经网络技术的在线语音识别提高了语音控制系统对嘈杂工况环境中复杂噪声的鲁棒性。进一步地，所述本地语音控制装置内置有装置电源、集成电路板和左右声道音响。所述装置电源和左右声道音响均通过飞线连接集成电路板，以保证三者在本地语音控制装置内的安装合理。所述本地语音控制装置在结构上包括上盖和底座，二者通过螺栓连接，形成一个盒体，上盖结构四周设计成镂空状，采用阵列孔的设计形式，开孔面尽可能大，孔数尽量密集，以保证内置集成电路板所集成的麦克风阵列模块的拾音效果，避免掩蔽效应。底座设计有左右两个独立的密封腔体放置左右声道音响，使音响的声音不至于干扰内置集成电路板所集成的麦克风阵列模块拾音。进一步地，所述集成电路板包含麦克风阵列模块、无线连接模块、语音数据核心模块、识别结果发送模块以及USB电源接口、RS485/232串口、复位开关、无线连接按钮和电源开关。本地语音控制装置开机上电，通过移动客户端连接或者建立无线局域网络，扫描连接本地语音控制装置，按下无线连接按钮，本地语音控制装置通过无线连接模块联网，移动客户端发送语音语义在线识别数据平台服务请求，实现本地语音控制装置与语音语义在线识别数据平台的数据传输，麦克风阵列模块采集语音信号，将语音信号传输给语音数据核心模块，语音数据核心模块对语音信号进行处理后，将语音信号上传至语音语义在线识别数据平台，并接收返回的语音识别数据，将数据预处理后传输给识别结果发送模块，进行识别数据的进一步处理，然后经过RS485/232串口向机器人发送数据信息。所述麦克风阵列模块采用圆形六麦麦克风阵列形式，利用空间分布的多路麦克风拾取声音信号，通过对麦克风阵列的各路输出信号进行分析和处理，得到一个或多个声源的位置信息，实现声源定位功能，同时利用麦克风阵列的空域滤波特性，通过对唤醒人的角度定位，形成定向拾音波束，并对波束以外的噪音进行抑制，提升远场拾音质量，保证识别效果，有效克服了工业场景下的噪声环境，因此采用的圆形六麦麦克风阵列模块具有拾音降噪、回声消除和声源定位功能。进一步地，所述语音数据核心模块包括AD模块、FPGA语音处理模块、电源管理模块、R16处理器、动态随机存储器DRAM和闪存Flash。所述AD模块将麦克风阵列模块传输过来的带噪语音模拟信号转换成数字信号，经过FPGA语音处理模块和R16处理器的降噪和回声消除处理，转换成比较纯净的语音信号，然后按照语音数据核心模块主服务定义的传输协议，传输给语音语义在线识别数据平台，进行在线的语音语义识别，语音数据核心模块接收识别后的返回数据，进行数据预处理，同时电源管理模块、动态随机存储器DRAM和闪存Flash本文档来自技高网...

【技术保护点】
1.用于嘈杂工况环境的机器人语音控制系统，其特征在于：包括语音语义在线识别数据平台（1）、移动客户端（2）、本地语音控制装置（3）和工业协作机器人（4），语音语义在线识别数据平台（1）、移动客户端（2）和本地语音控制装置（3），三者通过无线网络相互连接，本地语音控制装置（3）和工业协作机器人（4）通过串口线连接；通过所述移动客户端（2）连接或组建无线网络，由于本地语音控制装置（3）中有集成的无线连接模块（14），所以本地语音控制装置（3）可联网；所述移动客户端（2）扫描连接本地语音控制装置（3），并请求语音语义在线识别数据平台（1）的服务，完成本地语音控制装置（3）和语音语义在线识别数据平台（1）的网络连接，由于本地语音控制装置（3）中有集成的语音数据核心模块（15），运行Android系统，可基于语音数据核心模块（15）的主服务，实现客户端服务，完成本地语音控制装置（3）和语音语义在线识别数据平台（1）的数据传输；所述本地语音控制装置（3）采集语音信号并进行降噪处理，将处理后的语音信号传输至语音语义在线识别数据平台（1），实现在线的语音语义识别，识别结果数据再返回给本地语音控制装置（3），本地语音控制装置（3）接收数据并进行处理，处理后的数据按照既定通信协议传输给工业协作机器人（4），工业协作机器人（4）获得数据后进行指令解析并执行相应的动作或姿态。...

【技术特征摘要】
1.用于嘈杂工况环境的机器人语音控制系统，其特征在于：包括语音语义在线识别数据平台（1）、移动客户端（2）、本地语音控制装置（3）和工业协作机器人（4），语音语义在线识别数据平台（1）、移动客户端（2）和本地语音控制装置（3），三者通过无线网络相互连接，本地语音控制装置（3）和工业协作机器人（4）通过串口线连接；通过所述移动客户端（2）连接或组建无线网络，由于本地语音控制装置（3）中有集成的无线连接模块（14），所以本地语音控制装置（3）可联网；所述移动客户端（2）扫描连接本地语音控制装置（3），并请求语音语义在线识别数据平台（1）的服务，完成本地语音控制装置（3）和语音语义在线识别数据平台（1）的网络连接，由于本地语音控制装置（3）中有集成的语音数据核心模块（15），运行Android系统，可基于语音数据核心模块（15）的主服务，实现客户端服务，完成本地语音控制装置（3）和语音语义在线识别数据平台（1）的数据传输；所述本地语音控制装置（3）采集语音信号并进行降噪处理，将处理后的语音信号传输至语音语义在线识别数据平台（1），实现在线的语音语义识别，识别结果数据再返回给本地语音控制装置（3），本地语音控制装置（3）接收数据并进行处理，处理后的数据按照既定通信协议传输给工业协作机器人（4），工业协作机器人（4）获得数据后进行指令解析并执行相应的动作或姿态。2.根据权利要求1所述的用于嘈杂工况环境的机器人语音控制系统，其特征在于：所述语音语义在线识别数据平台（1）是基于深度学习的大数据平台，可采用科大讯飞股份有限公司的语音开放平台，接入语音识别服务，具有语义VAD、特征识别、基于上下文识别、连续语音识别和上下文理解功能，能够对上传至数据平台的语音信号进行在线的语音语义识别，并将识别后的数据返回给本地语音控制装置（3）中集成的语音数据核心模块（15），基于深度神经网络技术的在线语音识别提高了语音控制系统对嘈杂工况环境中复杂噪声的鲁棒性。3.根据权利要求1所述的用于嘈杂工况环境的机器人语音控制系统，其特征在于：所述本地语音控制装置（3）内置有装置电源（8）、集成电路板（9）和左右声道音响（6）；所述装置电源（8）和左右声道音响（6）均通过飞线连接集成电路板（9），以保证三者在本地语音控制装置（3）内的安装合理；所述本地语音控制装置（3）在结构上包括上盖（7）和底座（5），二者通过螺栓连接，形成一个盒体，其中上盖（7）周边采用阵列孔的设计形式，开孔面尽可能大，孔数尽量密集，以保证内置集成电路板（9）所集成的麦克风阵列模块（13）的拾音效果，避免掩蔽效应，底座（5）设计有左右两个独立的密封腔体放置左右声道音响（6），用以避免外放合成语音影响内置集成电路板（9）所集成的麦克风阵列模块（13）的拾音效果。4.根据权利要求3所述的用于嘈杂工况环境的机器人语音控制系统，其特征在于：所述集成电路板（9）包含麦克风阵列模块（13）、无线连接模块（14）、语音数据核心模块（15）、识别结果发送模块（16）以及USB电源接口（17）、RS485/232串口（18）、复位开关（20）、无线连接按钮（21）和电源开关（22）；所述麦克风阵列模块（13）采集语音信号，将语音信号传输给语音数据核心模块（15），语音数据核心模块（15）对语音信号进行处理，通过无线连接模块（14）实现语音信号上传至语音语义在线识别数据平台（1），并接收返回的语音识别数据，将数据预处理后传输给识别结果发送模块（16），进行识别数据的进一步处理，然后经过RS485/232串口（18）向机器人发送数据信息；所述集成电路板（9）的麦克风阵列模块（13）采用圆形六麦麦克风阵列形式，利用空间分布的多路麦克...

【专利技术属性】
技术研发人员：刘丽兰，孙干，高增桂，陈恩来，孙鹏飞，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31