一种基于白光通信和类脑认知的智能机器人语义交互系统和方法技术方案

本发明专利技术公开了一种基于白光通信和类脑认知的智能机器人语义交互系统和方法，通过白光通信来实现机器人的物理定位，以切换不同场景下的情况模式。系统同时使用了离线和云在线融合的智能语义交互方案，实现离线和云在线相结合的类脑智能机器人语义交互。其中，云在线类脑智能机器人语义交互系统由通用性强的类脑语音识别认知模型、类脑语义交互模型和语音合成平台构成，可以很好的扩展服务机器人的应用，提高用户体验，同时可以针对性的为不同家庭提供个性化服务。

An intelligent robot interaction system and method based on white light communication and brain like cognition

The invention discloses an intelligent robot semantic interaction system and method based on white-light communication and brain-like cognition, realizes the physical positioning of the robot through white-light communication, and switches the situation mode in different scenes. At the same time, the system uses the intelligent semantic interaction scheme of offline and cloud online fusion to realize the semantic interaction of brain-like intelligent robot which combines offline and cloud online. The semantic interaction system of cloud online brain-like intelligent robot is composed of a universal cognitive model for brain-like speech recognition, a semantic interaction model for brain-like speech and a speech synthesis platform. It can expand the application of service robots, improve user experience and provide personalized services for different families.

【技术实现步骤摘要】
一种基于白光通信和类脑认知的智能机器人语义交互系统和方法
本专利技术涉及机器人语音智能交互领域，特别涉及一种基于白光通信和类脑认知的智能机器人语义交互系统和方法。
技术介绍
随着现代科技和计算机技术的不断发展，人们在与机器的信息交流中，不再拘泥人类对机器的键盘操作了，而是需要一种更加方便，自然的交互方式，而语言是人类最重要并且最有效的信息源，实现人机之间的语言交互让机器人听得懂人的话也是人类梦寐以求的事情。语音识别技术的发展，使得这一理想得以实现。听觉系统一直是智能机器人感知系统的重要组成部分，其目的在于更好的完成人与机器人之间的信息交互。与传统的键盘，鼠标和显示器进行的数据交互不同，使用听觉进行数据的传输令机器人更拟人和智能化。听觉交互系统涉及到人工智能里的语音识别，类人知识库构建，语义检索、语音识别和语音合成等先进技术，具有很广阔的应用前景和较大的实用价值。当前对于机器人语音识别的技术方案，传统的做法是使用语音芯片或采用单片机系统来实现离线的语音识别功能，其识别率不高，一般仅能识别简单词语和命令。另一种方法就是，使用通信模块来实现远程的语音识别，机器人语音控制终端进行语音采集，通过网络传输到远程计算机端进行识别。随着云计算和云存储等平台的出现，使用云平台来进行机器人语音识别的方法很大程序上改善了离线识别精度不高和词语库小的问题。传统的智能交互技术往往在服务机器人自身平台上实现，比如简单的语音识别算法，视频采集和基础处理等等，如果要实现更复杂的算法就具有一定困难。因为它们对机器人控制系统的运算速度要求相当高，同时模式识别系统的大容量数据存储等问题同样限制了离线服务机器人的进一步发展。基于远程计算机进行语音识别的方案实用性不高，扩展能力不强，与仅使用本地计算机进行识别的效果差不多。当前基于云平台的语音识别方案大多采用通用语音库进行分析和识别，不能体现个性化的特点，仅对传输到云平台的语音信号进行分析和识别，不能很好的进行人机聊天交流等具有特定语义特征的操作(比如告诉机器人你要听一曲特定音乐，让其下载并播放等)，同时也不能很好的实现不同情境下的有特色的语义交互，不能充分利用上下文的语义信息进行交互。另外，使用云平台进行语音识别时，需要机器人系统保持网络连接，不能很好的实现离线的机器人智能交互控制。
技术实现思路
为了解决目前语音识别存在的局限性，本专利技术提供一种能够根据语音发生的场景来自动进行识别交互的基于白光通信和类脑认知的智能机器人语义交互系统和方法。为了实现上述技术目的，本专利技术的技术方案是，一种基于白光通信和类脑认知的智能机器人语义交互系统，包括离线语音采集和识别硬件系统、类脑语义识别和认知硬件系统以及白光通信和室内情境定位系统，所述的离线语音采集和识别硬件系统分别通信连接至类脑语义识别认知硬件系统和白光通信和室内情境定位系统。所述的离线语音采集和识别硬件系统包括嵌入式控制系统、语音识别模块和音频处理电路，所述的嵌入式控制系统分别通信连接语音识别模块和音频处理电路，在每个需要进行场景识别的地点均设置有一个语音识别模块和一个音频处理电路。所述的类脑语义识别认知硬件系统包括嵌入式控制装置、远程通信模块和远程语义识别装置，所述嵌入式控制装置通过远程通信模块通信连接至远程语音和语义识别装置，嵌入式控制装置还通信连接至离线语音采集和识别硬件系统。所述的白光通信和室内情境定位系统包括多个LED白光电路和与LED白光电路数量相等的白光识别电路，在每个需要进行场景识别的地点均设置有一个LED白光电路和一个用于识别LED白光电路发光的白光识别电路，各白光识别电路通信连接至离线语音采集和识别硬件系统。所述的一种基于白光通信和类脑认知的智能机器人语义交互系统，所述的离线语音采集和识别硬件系统的嵌入式控制系统包括STM32嵌入式系统，所述的语音识别模块包括LD3320语音识别模块，所述的音频处理电路包括音频滤波电路、音频放大电路、多个咪头阵列和多个音频播放电路，每个需要进行场景识别的地点均安装有一个咪头阵列，并均通过音频放大电路和音频滤波电路连接至STM32嵌入式系统，所述的LD3320语音识别模块和多个音频播放电路分别连接至STM32嵌入式系统，每个需要进行场景识别的地点均安装有一个音频播放电路。所述的一种基于白光通信和类脑认知的智能机器人语义交互系统，所述的类脑语义认知硬件系统包括嵌入式控制装置、远程通信模块和远程语音语义识别装置，所述的嵌入式控制装置包括ARM11嵌入式系统，所述的远程通信模块包括WiFi通信模块、4G移动通信模块和WLan路由器，所述的远程语义识别装置包括云端语音语义识别平台、云端智能机器人类脑语义交互平台和云端语音合成平台，所述的ARM11嵌入式系统通过WiFi通信模块或4G移动通信模块连接至WLan路由器，云端语音语义识别平台依次连接云端智能机器人类脑语义交互平台和云端语音合成平台，云端语义交互平台和云端语音合成平台分别与WLan路由器通信连接，ARM11嵌入式系统连接至离线语音采集和识别硬件系统的嵌入式控制装置。所述的一种基于白光通信和类脑认知的智能机器人语义交互系统，所述的白光通信和室内情境定位系统的LED白光电路包括白光LED阵列、LED阵列驱动电路、LED白光通信信号调制和解调电路、白光驱动和通信系统STM32控制器，所述的白光LED阵列设置于相应的需要进行场景识别的地点处，所述的白光驱动和通信系统STM32控制器通过LED阵列驱动电路和LED白光通信信号调制和解调电路来与白光LED阵列通信连接，所述的白光识别电路包括高速光电二极管传感器阵列和LED白光解调电路，所述的高速光电二极管传感器阵列设置于相应的需要进行场景识别的地点处并被白光LED阵列照射，所述的LED白光解调电路的输入端通信连接高速光电二极管传感器阵列，输出端通信连接至离线语音采集和识别硬件系统。一种基于白光通信和类脑认知的智能机器人语义交互方法，采用所述的基于白光通信和类脑认知的智能机器人语义交互系统，包括以下步骤：步骤一、利用脑皮质学习算法，模拟仿生人脑层级结构，构建类脑语音识别认知模型；通过生成式对抗网络，在语音输入端，变化原始语音数据长短、增加干扰噪音和人为制造数据缺失方式扩充语音训练数据，从而增强语音识别认知模型的鲁棒性；步骤二、利用不同地点所处的不同情境下的语料库，结合类脑稀疏词向量编码方法和层级实时记忆模型，通过问答方式来训练和构建类脑语义交互系统；步骤三、利用STM32为核心的嵌入式系统通过光电接收传感器来接收需要进行场景识别的地点上的LED白光传感器阵列编码发送过来的位置和情境信息，通过解码位置和情境数据，指导线上语音识别和类脑语义交互系统对应语义库的选取；步骤四、离线语音采集和识别系统实现对语音的采集和前端处理，并判断系统是否联网在线，当系统非在线时实现离线语音识别和输出；系统在线时，将语音数据打包发送到云类脑语音语义识别平台，并将识别出来的语音语义文本信息发送给类脑语义交互平台进行分析，运用其对应情境的知识库预测出最佳答案，再返回给语音合成平台进行语音数据合成，最终将合成语音进行播放以完成智能人机交互。所述的方法，所述步骤一包括以下步骤：1)选取层级实时记忆脑皮质学习算法作为语音语义识别系统模型的基本文档来自技高网...

【技术保护点】
1.一种基于白光通信和类脑认知的智能机器人语义交互系统，其特征在于，包括离线语音采集和识别硬件系统、类脑语义识别和认知硬件系统以及白光通信和室内情境定位系统，所述的离线语音采集和识别硬件系统分别通信连接至类脑语义识别认知硬件系统和白光通信和室内情境定位系统，所述的离线语音采集和识别硬件系统包括嵌入式控制系统、语音识别模块和音频处理电路，所述的嵌入式控制系统分别通信连接语音识别模块和音频处理电路，在每个需要进行场景识别的地点均设置有一个语音识别模块和一个音频处理电路；所述的类脑语义识别认知硬件系统包括嵌入式控制装置、远程通信模块和远程语义识别装置，所述嵌入式控制装置通过远程通信模块通信连接至远程语音和语义识别装置，嵌入式控制装置还通信连接至离线语音采集和识别硬件系统；所述的白光通信和室内情境定位系统包括多个LED白光电路和与LED白光电路数量相等的白光识别电路，在每个需要进行场景识别的地点均设置有一个LED白光电路和一个用于识别LED白光电路发光的白光识别电路，各白光识别电路通信连接至离线语音采集和识别硬件系统。

【技术特征摘要】
1.一种基于白光通信和类脑认知的智能机器人语义交互系统，其特征在于，包括离线语音采集和识别硬件系统、类脑语义识别和认知硬件系统以及白光通信和室内情境定位系统，所述的离线语音采集和识别硬件系统分别通信连接至类脑语义识别认知硬件系统和白光通信和室内情境定位系统，所述的离线语音采集和识别硬件系统包括嵌入式控制系统、语音识别模块和音频处理电路，所述的嵌入式控制系统分别通信连接语音识别模块和音频处理电路，在每个需要进行场景识别的地点均设置有一个语音识别模块和一个音频处理电路；所述的类脑语义识别认知硬件系统包括嵌入式控制装置、远程通信模块和远程语义识别装置，所述嵌入式控制装置通过远程通信模块通信连接至远程语音和语义识别装置，嵌入式控制装置还通信连接至离线语音采集和识别硬件系统；所述的白光通信和室内情境定位系统包括多个LED白光电路和与LED白光电路数量相等的白光识别电路，在每个需要进行场景识别的地点均设置有一个LED白光电路和一个用于识别LED白光电路发光的白光识别电路，各白光识别电路通信连接至离线语音采集和识别硬件系统。2.根据权利要求1所述的一种基于白光通信和类脑认知的智能机器人语义交互系统，其特征在于，所述的离线语音采集和识别硬件系统的嵌入式控制系统包括STM32嵌入式系统，所述的语音识别模块包括LD3320语音识别模块，所述的音频处理电路包括音频滤波电路、音频放大电路、多个咪头阵列和多个音频播放电路，每个需要进行场景识别的地点均安装有一个咪头阵列，并均通过音频放大电路和音频滤波电路连接至STM32嵌入式系统，所述的LD3320语音识别模块和多个音频播放电路分别连接至STM32嵌入式系统，每个需要进行场景识别的地点均安装有一个音频播放电路。3.根据权利要求1所述的一种基于白光通信和类脑认知的智能机器人语义交互系统，其特征在于，所述的类脑语义认知硬件系统包括嵌入式控制装置、远程通信模块和远程语音语义识别装置，所述的嵌入式控制装置包括ARM11嵌入式系统，所述的远程通信模块包括WiFi通信模块、4G移动通信模块和WLan路由器，所述的远程语义识别装置包括云端语音语义识别平台、云端智能机器人类脑语义交互平台和云端语音合成平台，所述的ARM11嵌入式系统通过WiFi通信模块或4G移动通信模块连接至WLan路由器，云端语音语义识别平台依次连接云端智能机器人类脑语义交互平台和云端语音合成平台，云端语义交互平台和云端语音合成平台分别与WLan路由器通信连接，ARM11嵌入式系统连接至离线语音采集和识别硬件系统的嵌入式控制装置。4.根据权利要求1所述的一种基于白光通信和类脑认知的智能机器人语义交互系统，其特征在于，所述的白光通信和室内情境定位系统的LED白光电路包括白光LED阵列、LED阵列驱动电路、LED白光通信信号调制和解调电路、白光驱动和通信系统STM32控制器，所述的白光LED阵列设置于相应的需要进行场景识别的地点处，所述的白光驱动和通信系统STM32控制器通过LED阵列驱动电路和LED白光通信信号调制和解调电路来与白光LED阵列通信连接，所述的白光识别电路包括高速光电二极管传感器阵列和LED白光解调电路，所述的高速光电二极管传感器阵列设置于相应的需要进行场景识别的地点处并被白光LED阵列照射，所述的LED白光解调电路的输入端通信连接高速光电二极管传感器阵列，输出端通信连接至离线语音采集和识别硬件系统。5.一种基于白光通信和类脑认知的智能机器人语义交互方法，其特征在于，采用权利要求1-4任一所述的基于白光通信和类脑认知的智能机器人语义交互系统，包括以下步骤：步骤一、利用脑皮质学习算法，模拟仿生人脑层级结构，构建类脑语音识别认知模型；通过生成式对抗网络，在语音输入端，变化原始语音数据长短、增加干扰噪音和人为制造数据缺失方式扩充语音训练数据，从而增强语音识别认知模型的鲁棒性；步骤二、利用不同地点所处的不同情境下的语料库，结合类脑稀疏词向量编码方法和层级实时记忆模型，通过问答方式来训练和构建类脑语义交互系统；步骤三、利用STM32为核心的嵌入式系统通过光电接收传感器来接收需要进行场景识别的地点上的LED白光传感器阵列编码发送过来的位置和情境信息，通过解码位置和情境数据，指导线上语音识别和类脑语义交互系统对应语义库的选取；步骤四、离线语音采集和识别系统实现对语音的采集和前端处理，并判断系统是否联网在线，当系统非在线时实现离线语音识别和输出；系统在线时，将语音数据打包发送到云类脑语音语义识别平台，并将识别出来的语音语义文本信息发送给类脑语义交互平台进行分析，运用其对应情境的知识库预测出最佳答案，再返回给语音合成平台进行语音数据合成，最终将合成语音进行播放以完成智能人机交互。6.根据权利要求5所述的方法，其特征在于，所述步骤一包括以下步骤：1)选取层级实时记忆脑皮质学习算法作为语音语义识别系统模型的基础；2)在脑皮质算法基础上，仿生人脑结构来构建出多层级的类脑语音识别认知模型结构，实现对语音语义序列的类脑深度学习，所述的层级包括原始语音数据感知层，中间脑皮质学习层，语义特征空间层和时序层；所述的原始语音数据感知层输入为数字音频数据，输出语音端点检测后的音频数据到脑皮质学习层；所述的中间脑皮质学习层识别输入的真实或虚拟合成的语音数据，输出为二进制词向量；所述的语义特征空间层输入为中间脑皮质学习层输出的单个词向量，输出为词向量集合；所述的时序层，将语义特征空间层里的语言词向量集合构成具有时序特征的句子和文本数据，以根据上下文信息对语音数据进行预测和识别；3)在原始语音数据感知层一端接入生成式对抗网络，用来合成虚拟数据，扩充训练样本，所述的生成式对抗网络包括生成模型和用于训练生成模型的判别模型，生成模型捕捉样本数据的分布，判别模型为二分类器，判别输入为真实数据或生成的样本，模型训练时固定一方，更新另一个模型的参数，交替迭代，使得对方的错误最大化，最终估测出样本数据的分布，使得生成模型合成的虚拟数据接近真实样本数据，完成对于生成模型的训练；4)使用上述训练好的生成模型，生成K组虚拟合成样本扩充到语音训练数据中，参与训练；5)语音语义识别系统模型构建完成后，利用录制的音频数据对系统进行训练，过程如下：首先，收集公共普通话语料库和不同情境下的语音对话文本片段，含不同籍贯和性别的人的中文普通话录音数据，总共收集的语音数量为N；然后，对录音语料以句子为单位进行切词，即将句子中的词语单独分割出来，所有句子切词完成后，总共分类为M个词语；对N条原始语音数据和M个切词生成的词语，利用类脑语音语义学习模型进行训练，训练时，语音数据从原始语音数据感知层输入，从时序层生成对应的二进制语义文本语料数据，同时对原始语料数据，在原始语音数据感知层，利用上述生成式对抗网络，进行虚拟样本的合成，虚拟合成的I条语音数据一同进行训练；6)语音语义识别系统模型训练输入为语音数据sin，训练的预测输出为语音语义文本序列为Tpredict，其对应的真实语音语义文本序列为Ttrue，均为在时序层以词向量形式表示的文本序列，二者的残差为δ＝||Tpredict-Ttrue||2，令模型中所有参数表示为W，利用最优化方法迭代模型参数，使残差为δ值最小，迭代停止条件为完成对类脑语音识别认知模型的训练。7.根据权利要求6所述的方法，其特...

【专利技术属性】
技术研发人员：罗坚，江沸菠，唐琎，李峰军，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：湖南,43