智能机器人及人机交互方法技术

本发明专利技术涉及一种智能机器人及人机交互方法。该方法应用在该智能机器人中。该方法包括步骤：从获取的语音信息及图像信息中识别一目标对象；确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联；从该目标对象对应的相关事件信息中提取关键信息；根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库，并利用深度学习算法根据检索结果及该目标对象的情绪类别确定出一反馈模型；及执行该反馈模型。本案中的智能机器人及人机交互方法能够深入地理解用户的情感和情绪的问题并与用户进行交互，提高了用户的体验感。

Intelligent Robot and Human-Computer Interaction Method

The invention relates to an intelligent robot and a human-computer interaction method. This method is applied to the intelligent robot. The method includes steps: identifying a target object from the acquired voice and image information; identifying the basic information and related event information corresponding to the target object, and associating the basic information of the target object with the relevant event information; extracting the key information from the relevant event information corresponding to the target object; and utilizing the nerve according to the extracted key information. The network analysis algorithm determines the emotional category of the target object, according to the public basic knowledge base presupposed by the extracted key information retrieval, and uses the deep learning algorithm to determine a feedback model based on the retrieval results and the emotional category of the target object; and executes the feedback model. The intelligent robot and human-computer interaction method in this case can deeply understand the user's emotional and emotional problems and interact with the user, thus improving the user's sense of experience.

【技术实现步骤摘要】
智能机器人及人机交互方法
本专利技术涉及机器人领域，尤其涉及一种智能机器人及人机交互方法。
技术介绍
现有技术中，机器人与人之间的交互主要涉及简单的人机对话，或在人的指令下完成特定的工作内容。然而，能够使机器人从社会的伦理道德、法律法规、天文地理及人际关系(如，家庭关系、同事关系、朋友关系)等方面深入地理解用户的情感和情绪的问题并与用户进行交互的方案却很少。
技术实现思路
鉴于以上内容，有必要提供一种智能机器人及人机交互方法以深入地理解用户的情感和情绪的问题并与用户进行交互。一种智能机器人，包括摄像单元、语音采集单元、输出单元及处理单元，该处理单元用于：获取来自该语音采集单元获取的语音信息及该摄像单元获取的图像信息；从获取的语音信息及图像信息中识别一目标对象；确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联；从该目标对象对应的相关事件信息中提取关键信息；根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型，其中，该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集；及通过该输出单元执行该反馈模型。优选地，该处理单元从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征，并根据该声纹特征及该脸部特征识别对应的目标对象。优选地。该处理单元控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。优选地，该处理单元识别所获取的语音信息，将所识别的语音信息转化为文本数据，提取出该文本数据中的关键信息，并将该文本数据中的关键信息作为该相关事件的关键信息。优选地，该处理单元控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。优选地，该处理单元获取该图片信息中包含的面部表情信息及肢体动作特征信息，对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数，对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数，并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。优选地，该处理单元还用于设定该智能机器人的情感方向，该处理单元从该目标对象的相关事件信息中提取关键信息，根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库，并利用深度学习算法根据检索结果、该目标对象的情绪类别及设定的该智能机器人的情感方向确定出对应的反馈模型。优选地，该输出单元包括语音输出单元及表情输出单元，该执行模块通过控制该语音输出单元输出语音信息，及通过该表情输出单元输出表情动作的方式执行该反馈模型。一种人机交互方法，应用在一智能机器人中，该方法包括步骤：获取一语音采集单元获取的语音信息：获取一摄像单元获取的图像信息；从获取的语音信息及图像信息中识别一目标对象；确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联；从该目标对象对应的相关事件信息中提取关键信息；根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型，其中，该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集；及通过一输出单元执行该反馈模型。优选地，该方法在步骤“从获取的语音信息及图像信息中识别一目标对象”还包括：从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征，并根据该声纹特征及该脸部特征识别对应的目标对象。优选地，该方法在步骤“确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联”中包括：控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。优选地，该方法还包括步骤：识别所获取的语音信息，将所识别的语音信息转化为文本数据，提取出该文本数据中的关键信息，并将该文本数据中的关键信息作为该相关事件的关键信息。优选地，该方法在步骤“确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联”中包括：控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。优选地，该方法还包括步骤：获取该图片信息中包含的面部表情信息及肢体动作特征信息，对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数，对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数，并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。优选地，该方法还包括步骤：通过控制一语音输出单元输出语音信息，及通过一表情输出单元输出表情动作的方式执行该反馈模型。本案中的智能机器人及人机交互方法能够深入地理解用户的情感和情绪的问题并与用户进行交互，提高了用户的体验感。附图说明图1为本专利技术一实施方式中人机交互系统的应用环境图。图2为本专利技术一实施方式中智能机器人的功能模块图。图3为本专利技术一实施方式中人机交互系统的功能模块图。图4为本专利技术一实施方式中基本信息表的示意图。图5为本专利技术一实施方式中人机交互方法的流程图。主要元件符号说明人机交互系统1智能机器人2服务器3摄像单元22语音采集单元23压力感测器24输出单元25味道感测器26通信单元27处理单元28存储单元29语音输出单元251表情输出单元252运动驱动单元253显示单元254感知模块101识别模块102分析模块103执行模块104设置模块105基本信息表T1步骤S501～S506如下具体实施方式将结合上述附图进一步说明本专利技术。具体实施方式请参考图1，所示为本专利技术一实施方式中人机交互系统1的应用环境图。该人机交互系统1应用在一智能机器人2中。该智能机器人2与一服务器3通信连接。该人机交互系统1用于控制该智能机器人2与用户进行交互。请参考图2，所示为本专利技术一实施方式中智能机器人2的功能模块图。该智能机器人2包括摄像单元22、语音采集单元23、压力感测器24、输出单元25、味道感测器26、通信单元27、处理单元28及存储单元29。该摄像单元22摄取智能机器人2周围环境的图像并将摄取的图像传送给处理单元28。例如，该摄像单元22可以摄取智能机器人2周围的人、动物或静止物体的画面，及将获取的人、动物或静止物体的画面传送给该处理单元28。本实施方式中，该摄像单元22可以为一摄像头、3D光场相机等。该语音采集单元23用于接收智能机器人2周围的语音信息并将接收的语音信息传送给处理单元28。在本实施方式中，该语音采集单元23可以为麦克风、麦克风阵列等。该压力感测器24用于检测用户对该智能机器人2的按压力信息及将检测出的按压力信息传送给处理单元28。该输出单元25包括语音输出单元251、表情输出单元252、运动驱动单元253及显示单元254。该语音输出单元251用于在该处理单元28的控制下输出语音信息。在本实施方式中，该语音输出单元251可以为扬声器。表情输出单元252用于在该处理单元28的控制下输出表情动作。在一实施方本文档来自技高网...

【技术保护点】
1.一种智能机器人，包括摄像单元、语音采集单元、输出单元及处理单元，其特征在于，该处理单元用于：获取来自该语音采集单元获取的语音信息及该摄像单元获取的图像信息；从获取的语音信息及图像信息中识别一目标对象；确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联；从该目标对象对应的相关事件信息中提取关键信息；根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型，其中，该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集；及通过该输出单元执行该反馈模型。

【技术特征摘要】
1.一种智能机器人，包括摄像单元、语音采集单元、输出单元及处理单元，其特征在于，该处理单元用于：获取来自该语音采集单元获取的语音信息及该摄像单元获取的图像信息；从获取的语音信息及图像信息中识别一目标对象；确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联；从该目标对象对应的相关事件信息中提取关键信息；根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型，其中，该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集；及通过该输出单元执行该反馈模型。2.如权利要求1所述的智能机器人，其特征在于，该处理单元从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征，并根据该声纹特征及该脸部特征识别对应的目标对象。3.如权利要求1所述的智能机器人，其特征在于，该处理单元控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。4.如权利要求3所述的智能机器人，其特征在于，该处理单元识别所获取的语音信息，将所识别的语音信息转化为文本数据，提取出该文本数据中的关键信息，并将该文本数据中的关键信息作为该相关事件的关键信息。5.如权利要求1所述的智能机器人，其特征在于，该处理单元控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。6.如权利要求5所述的智能机器人，其特征在于，该处理单元获取该图片信息中包含的面部表情信息及肢体动作特征信息，对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数，对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数，并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。7.如权利要求1所述的智能机器人，其特征在于，该处理单元还用于设定该智能机器人的情感方向，该处理单元从该目标对象的相关事件信息中提取关键信息，根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库，并利用深度学习算法根据检索结果、该目标对象的情绪类别及设定的该智能机器人的情感方向确定出对应的反馈模型。8.如权利要求1所述的智能机器人，其特征在于，该输出单元包括语音输出单元及表情输出单元，该执行模块通过控制该语音输出单元输出语音信息，及通过...

【专利技术属性】
技术研发人员：张学琴，
申请(专利权)人：富泰华工业深圳有限公司，鸿海精密工业股份有限公司，
类型：发明
国别省市：广东,44