一种基于智能声源定位与语音控制的机器人系统及方法技术方案

本发明专利技术公开了一种基于智能声源定位与语音控制的机器人系统及方法，机器人本体不断采集周围的语音信息，当存在语音指令后，进行声源定位，控制机器人本体移动到声源位置，对采集的语音信息进行识别，识别到有效语句时，发送相应的控制指令给机器人本体执行对应的操作，同时将有效语句翻译成对应文字，进行中文分词，加载情感词典、程度副词词典、否定词词表和关联词词表，识别句子中的每一个情感词，根据识别结果展示相应的表情。本发明专利技术能够提升服务型机器人与被陪护者的交互能力。

A robot system and method based on intelligent sound source localization and speech control

The invention discloses an intelligent sound source localization and speech control robot system and method based on robot continuously collect voice information around, when there is voice commands, sound source location, control the robot moves to the position of the sound source, to identify the speech information collection and identification to effectively control statements. The corresponding commands sent to the robot body to execute corresponding operation at the same time, the valid statement translated into corresponding text, for Chinese segmentation, loading sentiment dictionary, degree adverb dictionary, negative word thesaurus and associated words, sentence recognition of each emotional words, according to the recognition results show the corresponding expression. The invention can enhance the interactive ability of the service robot and the accompanying person.

【技术实现步骤摘要】
一种基于智能声源定位与语音控制的机器人系统及方法
本专利技术涉及一种基于智能声源定位与语音控制的机器人系统及方法。
技术介绍
如今，独生子女一代正在成为社会的中坚力量，而他们所面临的父母及孩子的陪伴看护等问题也日益凸显，因此家庭陪护机器人的需求也日益旺盛。相较于工业机器人，服务机器人起步相对较晚，还不够成熟，目前仅有扫地机器人在家庭中间拥有相对较高的普及率，其他大部分服务机器人还停留在实验室阶段，其功能服务同消费者的期望还有很大的差距。根据国家统计局最新发布的数据，显示老龄化程度进一步加深。其中，60周岁及以上人口23086万人，占总人口的16.7％；65周岁及以上人口15003万人，占总人口的10.8％。同时，单独二孩政策已在各地陆续正式实施，儿童的数量在现有基础上，还会有一定幅度的增加。因此，大力发展家庭陪护机器人，发挥他们在陪护和启蒙教育等方面的作用将是社会发展的必然要求，这将大大减轻年轻人的负担，社会意义重大，但同时对服务机器人的人机交互方式也提出了更高的要求。而日常生活中，人们之间的交互方式主要包括语音、视觉、手势等形式，其中语音是最为简单高效的一种交互形式，也最符合人们的交流习惯。语音识别技术是近几年的研究热点，已取得较大进展，并在很多领域得到了应用，比如车载设备、游戏、智能家电等。语音识别技术能够让机器理解用户所说的内容，解放了用户双手，提升人机交互体验。针对应用场合的不同，语音识别的侧重点也不尽相同。有些情况仅仅需要识别其中的一些关键词即可，比如基于语音关键词的运动控制；有一些场景要求尽量准确的识别出语音包含的所有汉字，比如语音输入；还有些情况不仅要求完整识别文字，还要求能够洞察出说话人的情感信息。要想使用户有好的人机交互体验，除了语音识别技术外，同样也离不开声源定位技术，只有让机器知晓说话人的方位，才能够有针对性的做出动作响应，而且将定位信息进一步同视觉等信息结合，可以开发出更多的功能场景。虽然语音技术已经在很多领域都已经有广泛应用，但是在机器人行业中还没有完全普及，也存在一些技术问题有待解决。
技术实现思路
本专利技术为了解决上述问题，提出了一种基于智能声源定位与语音控制的机器人系统及方法，本专利技术能够实现机器人对说话人位置的估计及语音指令的响应等功能,有利于服务型机器人与人的交互。为了实现上述目的，本专利技术采用如下技术方案：一种基于智能声源定位与语音控制的机器人系统，包括服务器、客户端和设置于机器人本体上的控制单元，其中：所述服务器，被配置为存储有账户信息、权限设置和语音与视频信息，基于云共享机制，实现机器人的群体学习与进化；所述客户端，显示机器人经由服务器传送的语音和视频信息，并可进行权限修改、资源管理和远程控制操作；所述控制单元，包括相互通信的上层处理系统和下层控制系统，所述上层处理系统被配置为具有多个采集模块，分别采集语音和视频信息，并根据语音的声源进行定位，进而控制机器人本体运动，识别语音内容；所述下层控制系统被配置为接受并解析下达的运动指令，利用电机驱动单元驱动电机按照设定的速度运动，并将机器人的运行情况反馈至上层处理系统，实现语音的实时控制；所述机器人本体根据识别的语音内容执行相应的语音操作，并识别语音信息中的情绪，控制本体上设置的表情模块展示不同的表情。进一步的，所述下层控制系统包括主控核心单元及作为冗余配置的监控核心单元，主控核心单元与上层处理系统进行通信，同时通过RS232与客户端进行通信，解析出速度设定值，同时捕获码盘的脉冲数，得到电机的实际速度，构成速度闭环控制，根据速度设定值和实际速度值，每隔设定的时间进行一次PID运算，通过PWM调制方式控制电机的转速。进一步的，所述监控核心单元包括冗余处理器，冗余处理器捕获码盘脉冲数，解析电机的实际速度，并与主控核心单元解析的速度值进行比较，当两者不一致时，根据故障处理机制及时处理异常，主控核心单元和冗余处理器之间定期进行数据传输，当冗余处理器接收不到主控核心单元发送的数据或者接收到错误数据时，冗余处理器及时复位主控核心单元。进一步的，所述机器人本体上设置有五麦克风阵列拓扑结构采集语音信息，具体包括位于圆心的一个麦克风以及围绕该麦克风为圆心围绕其均匀分布的四个麦克风。进一步的，所述机器人本体上设置有表情模块，为LED点阵屏，根据识别的用户情绪展现多种表情，且机器人本体的头部设置有高清摄像头，根据识别的声源位置通过头部俯仰电机自动调整位置并响应语音指令。进一步的，所述上层处理系统设置有语音识别与交互模块，所述语音识别与交互模块与服务器通信，在Ubuntu平台上实现语音识别，通过MongoDB数据库构建聊天知识库，语音识别有离线识别和在线识别两种模式，当处于离线模式时，上层处理系统建立语法文件，其中定义语音识别语句，当从采集到的语音中识别到有效语句时，翻译成对应文字，进行中文分词，加载情感词典、程度副词词典、否定词词表和关联词词表，识别句子中的每一个情感词，并以情感词为中心滑动检测周边副词及否定词情况，最后对所有情感词及其修饰词的情感值累加，得到当前句子的情感值，判断出用户当前的情绪状态，发送给表情模块；当处于在线模式时，直接将识别的语句上传至服务器，由服务器分析感知用户情绪，进而从网络抓取相关内容并回传至机器人系统。基于上述机器人系统的工作方法，不断采集周围的语音信息，当存在语音指令后，进行声源定位，控制机器人本体移动到声源位置，对采集的语音信息进行识别，识别到有效语句时，发送相应的控制指令给机器人本体执行对应的操作，同时将有效语句翻译成对应文字，进行中文分词，加载情感词典、程度副词词典、否定词词表和关联词词表，识别句子中的每一个情感词，根据识别结果展示相应的表情。进一步的，所述机器人本体接收客户端的远程控制指令，当进行远程看护时，服务器同时启用主连接监听和协助打洞监听，客户端通过身份验证后，机器人本体同客户端都与服务器保持主连接畅通，当客户端需要连接机器人时，借助服务器的协助打洞端口，将客户端通过网络地址翻译后的公网IP通知给机器人本体，然后机器人尝试与客户端进行连接，同时在相同的端口启动侦听，并通过服务器将经过网络地址翻译的IP通知给客户端，当客户端主动连接机器人时，机器人允许连接，网络打洞成功。进一步的，首先连接机器人本体的默认为主客户端，在查看机器人拍摄视频的同时向机器人发送运动控制指令，其他连接为从客户端，只能查看机器人的拍摄视频和当前状态，不能进行运动控制，当主客户端下线后，公网服务器会通知其他从客户端使其通过申请成为主客户端。进一步的，声源定位方法利用改进的基于到达时延的广义互相关法定位算法，通过对各个麦克风拾取的语音信号采取快速傅氏变换，得到互功率谱，利用PHAT加权函数削弱语音信号中的噪声部分，结合互相关函数峰值偏移量以及信号采样频率，准确估算出各个麦克风的时延，进而求得声源的方位信息。进一步的，语音识别方法采用Kaldi开源语音识别开发平台，基于准备的训练数据及脚本，采用了一种基于三音子的LSM语音识别模型。进一步的，声源定位方和语音识别时，采用双门限检测算法来从信号流中检测出语音的起始点和终止点。具体为对信号做滤波去噪以及分帧加窗的处理，分别计算短时能量和短时过零率，进行多级判定，第一级判定依据信号的本文档来自技高网...

【技术保护点】
一种基于智能声源定位与语音控制的机器人系统，其特征是：包括服务器、客户端和设置于机器人本体上的控制单元，其中：所述服务器，被配置为存储有账户信息、权限设置和语音与视频信息，基于云共享机制，实现机器人的群体学习与进化；所述客户端，显示机器人经由服务器传送的语音和视频信息，并可进行权限修改、资源管理和远程控制操作；所述控制单元，包括相互通信的上层处理系统和下层控制系统，所述上层处理系统被配置为具有多个采集模块，分别采集语音和视频信息，并根据语音的声源进行定位，进而控制机器人本体运动，识别语音内容；所述下层控制系统被配置为接受并解析下达的运动指令，利用电机驱动单元驱动电机按照设定的速度运动，并将机器人的运行情况反馈至上层处理系统，实现语音的实时控制；所述机器人本体根据识别的语音内容执行相应的语音操作，并识别语音信息中的情绪，控制本体上设置的表情模块展示不同的表情。

【技术特征摘要】
1.一种基于智能声源定位与语音控制的机器人系统，其特征是：包括服务器、客户端和设置于机器人本体上的控制单元，其中：所述服务器，被配置为存储有账户信息、权限设置和语音与视频信息，基于云共享机制，实现机器人的群体学习与进化；所述客户端，显示机器人经由服务器传送的语音和视频信息，并可进行权限修改、资源管理和远程控制操作；所述控制单元，包括相互通信的上层处理系统和下层控制系统，所述上层处理系统被配置为具有多个采集模块，分别采集语音和视频信息，并根据语音的声源进行定位，进而控制机器人本体运动，识别语音内容；所述下层控制系统被配置为接受并解析下达的运动指令，利用电机驱动单元驱动电机按照设定的速度运动，并将机器人的运行情况反馈至上层处理系统，实现语音的实时控制；所述机器人本体根据识别的语音内容执行相应的语音操作，并识别语音信息中的情绪，控制本体上设置的表情模块展示不同的表情。2.如权利要求1所述的一种基于智能声源定位与语音控制的机器人系统，其特征是：所述下层控制系统包括主控核心单元及作为冗余配置的监控核心单元，主控核心单元与上层处理系统进行通信，同时通过RS232与客户端进行通信，解析出速度设定值，同时捕获码盘的脉冲数，得到电机的实际速度，构成速度闭环控制，根据速度设定值和实际速度值，每隔设定的时间进行一次PID运算，通过PWM调制方式控制电机的转速。3.如权利要求2所述的一种基于智能声源定位与语音控制的机器人系统，其特征是：所述监控核心单元包括冗余处理器，冗余处理器捕获码盘脉冲数，解析电机的实际速度，并与主控核心单元解析的速度值进行比较，当两者不一致时，根据故障处理机制及时处理异常，主控核心单元和冗余处理器之间定期进行数据传输，当冗余处理器接收不到主控核心单元发送的数据或者接收到错误数据时，冗余处理器及时复位主控核心单元。4.如权利要求1所述的一种基于智能声源定位与语音控制的机器人系统，其特征是：所述机器人本体上设置有五麦克风阵列拓扑结构采集语音信息，具体包括位于圆心的一个麦克风以及围绕该麦克风为圆心围绕其均匀分布的四个麦克风。5.如权利要求1所述的一种基于智能声源定位与语音控制的机器人系统，其特征是：所述机器人本体上设置有表情模块，为LED点阵屏，根据识别的用户情绪展现多种表情，且机器人本体的头部设置有高清摄像头，根据识别的声源位置通过头部俯仰电机自动调整位置并响应语音指令。6.如权利要求1所述的一种基于智能声源定位与语音控制的机器人系统，其特征是：所述上层处理系统设置有语音识别与交互模块，所述语音识别与交互模块与服务器通信，在Ubuntu平台上实现语音识...

【专利技术属性】
技术研发人员：周风余，姜志飞，田天，王玉刚，尹磊，陈科，赵阳，万方，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37