一种基于互联网的机器人对话系统技术方案

本发明专利技术公开了一种基于互联网的机器人对话系统。这种基于互联网的机器人对话系统功可以在识别出用户的命令后从云平台获取相应的内容呈现给用户；可以捕捉到用户的头像和声音信息，对其进一步分析可以得到用户的表情以及用户的语音命令，可以很好的对用户的表情和语音命令进行反馈，方便用户的使用；提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，针对人脸多模态情感、人脸属性识别与人机交互应对规则的逻辑判断输出适切的回话内容，在多轮对话当中，提供使用者良好的体验功能。

【技术实现步骤摘要】
一种基于互联网的机器人对话系统
本专利技术涉及人工智能
，特别涉及一种基于互联网的机器人对话系统。
技术介绍
在现有的人工智能对话系统中，利用语料库以及模板来判断用户讲话，对话系统通常使用搜索的方式来寻找合适的回答。但是，并没有使用用户的情感当作线索来调整回答策略，除了考量用户情绪外，机器人也应该基于自身的情绪来选择回应的策略。在人与人的自然对话上，情感是一个重要因素，人类会根据对方所表达的情感和自身现有的情感来调整自己的回答策略，达到沟通的效果。虽然人类在智能化领域已经获得了重大的突破，但是至今为止几乎所有的人工智能系统都没有能够拥有识别人类情绪的能力从而使得自身变得更加人性化。比如现在各大手机厂商所宣传的手机语音交互功能，其实都只能做到以完成任务为目的的交流。用户在手机智能助手交流的过程中都仍然会保有一种和机器对话的感觉。现有的人工智能情感识别技术多专注于图像识别，而图像识别由于硬件的要求较高以及人类面部表情本身的多变性和快速性，使得图像识别技术依旧很难在日常生活中被广泛的应用。而由于语言本身是具有一定的语法结构，并且语言情感识别对硬件要求相对较小，语言情感识别是更具有应用性的一种识别方式。语言情感识别目前已知的技术多局限于单一维度的情感判断既正向情感和负向情感。对于人类复杂情绪的判断，比如愉快、紧张、害羞还缺乏有效的判断方式。
技术实现思路
本专利技术的目的是提供一种能够及时的更新交互功能，以增强与用户的交互体验，可以准确的识别用户的语音信息和表情信息，通过内在的语料库可以对用户进行反馈，从而达到情感陪护的目的的基于互联网的机器人对话系统。本专利技术的上述技术目的是通过以下技术方案得以实现的：一种基于互联网的机器人对话系统，包括设备终端和云平台，所述云平台用于提供数据存储、大数据分析、视频存储、音频存储及后台服务；通过云平台，用户随时控制查看设备终端的状态，并能与设备终端进行语音、视频通话，使用户随时随地利用该系统疏导自己的情绪；所述设备终端包括控制模块、环境传感器模块、情绪模块、电源模块、摄像模块、音响模块及显示器模块：所述控制模块，用于通过所述环境传感器模块及所述情绪模块采集环境信息和/或用户的情绪信息，对采集到的环境信息和/或用户的情绪信息进行结构化预处理，并将结构化预处理后的信息传送到云平台；所述电源模块，与所述控制模块信号连接，用于为所述控制模块提供能量；所述摄像模块，与所述控制模块信号连接，用于依据人眼成像的原理采集用户的人脸图像信息，并将该头像信息传送到所述控制模块；所述音响模块，与所述控制模块信号连接，用于采集用户的声音信息，并将该声音信息传送到所述控制模块；所述显示器模块，与所述控制模块信号连接，用于在该提取的关键字是采集情绪信息的指令时显示与该关键字对应的提示信息。上述的基于互联网的机器人对话系统，所述环境传感器模块包括用于采集环境信息的体温传感器、血糖传感器、心跳传感器或血压传感器。上述的基于互联网的机器人对话系统，情绪模块用于根据所述人脸图像信息、所述声音信息和所述文字信息，对情绪进行判别，确定情绪向量。上述的基于互联网的机器人对话系统，所述人脸图像信息包括笑、忧伤、愤怒、吃惊、无表情。上述的基于互联网的机器人对话系统，所述控制模块还用于根据用户的表情信息控制所述显示器模块和所述音响模块执行对应的操作。上述的基于互联网的机器人对话系统，所述设备终端还包括无线通信模块，用于实现信息采集和用户情感识别设备与云平台之间的交互。上述的基于互联网的机器人对话系统，还包括反馈模块，用于根据回话策略，分析所述情绪向量、所述人脸图像信息和所述文字信息，输出回馈文字。上述的基于互联网的机器人对话系统，所述音响模块包括：ASR模块，用于将所述声音信息转换为文字信息；TTS模块，用于将所述回馈文字转换为语音信息。综上所述，本专利技术具有以下有益效果：这种基于互联网的机器人对话系统功可以在识别出用户的命令后从云平台获取相应的内容呈现给用户；可以捕捉到用户的头像和声音信息，对其进一步分析可以得到用户的表情以及用户的语音命令，可以很好的对用户的表情和语音命令进行反馈，方便用户的使用；提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，针对人脸多模态情感、人脸属性识别与人机交互应对规则的逻辑判断输出适切的回话内容，在多轮对话当中，提供使用者良好的体验功能。附图说明图1为本专利技术的一种基于互联网的机器人对话系统的结构示意图。具体实施方式以下结合附图对本专利技术作进一步详细说明。参阅图1，一种基于互联网的机器人对话系统，包括设备终端1和云平台2，所述云平台2用于提供数据存储、大数据分析、视频存储、音频存储及后台服务；通过云平台2，用户随时控制查看设备终端1的状态，并能与设备终端1进行语音、视频通话，使用户随时随地利用该系统疏导自己的情绪；所述云平台主要包括服务器、数据库及相关服务，所述服务器包括有视频服务器和音频服务器，所述设备终端1包括控制模块11、环境传感器模块12、情绪模块13、电源模块14、摄像模块15、音响模块16及显示器模块17：所述控制模块11，用于通过所述环境传感器模块12及所述情绪模块13采集环境信息和/或用户的情绪信息，对采集到的环境信息和/或用户的情绪信息进行结构化预处理，并将结构化预处理后的信息传送到云平台2，具体而言，结构化预处理是将环境信息和/或用户的情绪信息转换成XML格式；所述电源模块14，与所述控制模块11信号连接，用于为所述控制模块11提供能量；所述摄像模块15，与所述控制模块11信号连接，用于依据人眼成像的原理采集用户的人脸图像信息，并将该头像信息传送到所述控制模块11，控制模块11用于对摄像模块15采集的头像信息进行处理，以得到深度信息以及用户的彩色图像，对采集到的深度信息和彩色图像进行去冗余处理，以准确地识别出用户的面部状态，并将用户的面部状态与控制模块11中存储的表情库进行匹配，以确定用户的表情信息；所述音响模块16，与所述控制模块11信号连接，用于采集用户的声音信息，并将该声音信息传送到所述控制模块11，控制模块11用于将该声音信息识别为文字，对文字进行关键字提取，在该提取的关键字是采集健康信息的指令时控制显示模块17显示与该关键字对应的提示信息，以告知用户使用健康传感器执行相应的采集健康信息操作，并在采集结束后显示采集到的结果，在该提取的关键字不是采集健康信息的指令时根据提取的关键字控制网卡从远端的云平台获取对应的内容，并控制显示模块17将该内容显示给用户；所述显示器模块17，与所述控制模块11信号连接，用于在该提取的关键字是采集情绪信息的指令时显示与该关键字对应的提示信息。其中基于互联网的机器人对话系统设置于用户家中，且通过云平台与远程客户端通信连接，用于将采集的数据传送到远程客户端，云平台为后台服务器，用于存储与处理家用信息采集和用户情感识别设备采集的数据，远程客户端为诸如手机、笔记本电脑、PDA的移动终端，可用于远程控制多功能家用信息采集和用户情感识别设备和/或查看家用信息采集和用户情感识别设备提供的传感信息。进一步地，本专利技术一种基于互联网的机器人对话系统的较佳的实施例中，所述环境传感器模块12包括用于采集环境信息的体温传感器、血本文档来自技高网...

【技术保护点】
1.一种基于互联网的机器人对话系统，包括设备终端（1）和云平台（2），其特征是：所述云平台（2）用于提供数据存储、大数据分析、视频存储、音频存储及后台服务；通过云平台（2），用户随时控制查看设备终端（1）的状态，并能与设备终端（1）进行语音、视频通话，使用户随时随地利用该系统疏导自己的情绪；所述设备终端（1）包括控制模块（11）、环境传感器模块（12）、情绪模块（13）、电源模块（14）、摄像模块（15）、音响模块（16）及显示器模块（17）：所述控制模块（11），用于通过所述环境传感器模块（12）及所述情绪模块（13）采集环境信息和/或用户的情绪信息，对采集到的环境信息和/或用户的情绪信息进行结构化预处理，并将结构化预处理后的信息传送到云平台（2）；所述电源模块（14），与所述控制模块（11）信号连接，用于为所述控制模块（11）提供能量；所述摄像模块（15），与所述控制模块（11）信号连接，用于依据人眼成像的原理采集用户的人脸图像信息，并将该头像信息传送到所述控制模块（11）；所述音响模块（16），与所述控制模块（11）信号连接，用于采集用户的声音信息，并将该声音信息传送到所述控制模块（11）；所述显示器模块（17），与所述控制模块（11）信号连接，用于在该提取的关键字是采集情绪信息的指令时显示与该关键字对应的提示信息。...

【技术特征摘要】
1.一种基于互联网的机器人对话系统，包括设备终端（1）和云平台（2），其特征是：所述云平台（2）用于提供数据存储、大数据分析、视频存储、音频存储及后台服务；通过云平台（2），用户随时控制查看设备终端（1）的状态，并能与设备终端（1）进行语音、视频通话，使用户随时随地利用该系统疏导自己的情绪；所述设备终端（1）包括控制模块（11）、环境传感器模块（12）、情绪模块（13）、电源模块（14）、摄像模块（15）、音响模块（16）及显示器模块（17）：所述控制模块（11），用于通过所述环境传感器模块（12）及所述情绪模块（13）采集环境信息和/或用户的情绪信息，对采集到的环境信息和/或用户的情绪信息进行结构化预处理，并将结构化预处理后的信息传送到云平台（2）；所述电源模块（14），与所述控制模块（11）信号连接，用于为所述控制模块（11）提供能量；所述摄像模块（15），与所述控制模块（11）信号连接，用于依据人眼成像的原理采集用户的人脸图像信息，并将该头像信息传送到所述控制模块（11）；所述音响模块（16），与所述控制模块（11）信号连接，用于采集用户的声音信息，并将该声音信息传送到所述控制模块（11）；所述显示器模块（17），与所述控制模块（11）信号连接，用于在该提取的关键字是采集情绪信息的指令时显示与该关键字对应的提示信息。2.根...

【专利技术属性】
技术研发人员：王友维，
申请(专利权)人：宁波众鑫网络科技股份有限公司，
类型：发明
国别省市：浙江,33