一种人机交互装置及方法制造方法及图纸

一种人机交互装置及方法，其中，该装置包括：语音交互信息采集设备；图像交互信息采集设备；云处理器，其与语音交互信息采集设备和图像交互信息采集设备通信，用于接收语音交互信息和图像交互信息并根据语音交互信息和图像交互信息生成语音反馈信息和机器人动作信息，根据语音反馈信息和机器人动作信息生成全息投影数据；全息投影设备，其与云处理器通信，用于根据云处理器传输来的全息投影数据进行全息投影显示机器人全息图像，以通过机器人全息图像与用户进行交互。本方法使得全息投影出的智能机器人同时具有语音交互、视觉交互以及环境交互的能力，其能够结合多个维度的信息与用户进行交互，从而使得用户能够得到更好的交互体验。

Human computer interaction device and method

One kind of human-computer interaction device and method, the device includes voice interactive information acquisition device; image interactive information acquisition equipment; cloud processor, and voice interactive information acquisition device and image interactive information acquisition device for receiving voice communication, interactive information and image information according to the interactive voice interaction information and image information to generate interactive voice feedback information and robot motion information, according to the voice feedback information and robot motion information generated holographic projection data; holographic projection equipment, and its cloud processor communication, used for holographic projection display robot holographic image according to the holographic projection data cloud processor to transmit, to interact with the user through the holographic image of robot. This method makes a holographic projection of intelligent robot has the ability to voice interaction, visual interaction and interactive environment, it can combine multiple dimensions of information and user interaction, so that the user can get a better interactive experience.

【技术实现步骤摘要】
一种人机交互装置及方法
本专利技术涉及机器人
，具体地说，涉及一种人机交互装置及方法。
技术介绍
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。
技术实现思路
为解决上述问题，本专利技术提供了一种人机交互装置，其包括：语音交互信息采集设备，其用于采集用户输入的语音交互信息；图像交互信息采集设备，其用于采集关于用户的图像交互信息；云处理器，其与所述语音交互信息采集设备和图像交互信息采集设备通信，用于接收所述语音交互信息和图像交互信息并根据所述语音交互信息和图像交互信息生成语音反馈信息和机器人动作信息，根据所述语音反馈信息和机器人动作信息生成全息投影数据；全息投影设备，其与所述云处理器通信，用于根据所述云处理器传输来的全息投影数据进行全息投影显示机器人全息图像，以通过所述机器人全息图像与用户进行交互。根据本专利技术的一个实施例，所述全息投影设备包括：语音信息输出模块，其用于根据所述全息投影数据输出相应的语音信息；机器人投影模块，其用于根据所述全息投影数据生成相应的机器人投影。根据本专利技术的一个实施例，所述云处理器根据所述图像交互信息生成与交互环境相适应的推荐音乐信息，并根据所述推荐音乐信息生成所述语音反馈信息。根据本专利技术的一个实施例，所述云处理器根据所述语音交互信息和/或图像交互信息生成用户情绪信息，并根据所述用户情绪信息生成对应的机器人动作信息，根据所述机器人动作信息生成包含机器人动作的全息投影数据。根据本专利技术的一个实施例，所述云处理器还根据所述用户情绪信息生成相应的音频或视频推荐信息，并根据所述音频或视频推荐信息生成所述全息投影数据。本专利技术还提供了一种人机交互方法，其包括：交互信息采集步骤，采集用户输入的语音交互信息和关于用户的图像交互信息；全息投影数据生成步骤，根据所述语音交互信息和图像交互信息生成语音反馈信息和机器人动作，根据所述语音反馈信息和机器人动作生成全息投影数据；全息投影步骤，根据所述全息投影数据进行全息投影显示机器人全息图像，以通过所述机器人全息图像与用户进行交互。根据本专利技术的一个实施例，在所述全息投影数据生成步骤中，根据所述图像交互信息生成与交互环境相适应的推荐音乐信息，并根据所述推荐音乐信息生成所述语音反馈信息。根据本专利技术的一个实施例，在所述全息投影数据生成步骤中，根据所述语音交互信息和/或图像交互信息生成用户情绪信息，并根据所述用户情绪信息生成对应的机器人动作信息，根据所述机器人动作信息生成包含机器人动作的全息投影数据。根据本专利技术的一个实施例，在所述全息投影数据生成步骤中，还根据所述用户情绪信息生成相应的音频或视频推荐信息，并根据所述音频或视频推荐信息生成所述全息投影数据。本专利技术所提供的人机交互装置以及方法使得全息投影出的智能机器人同时具有语音交互、视觉交互以及环境交互的能力，其能够结合多个维度的信息与用户进行交互，从而使得用户能够得到更好的交互体验。同时，该人机交互装置通过全息投影来以全息投影的方式向用户呈现出机器人影像，这样使得虚拟机器人3D化，并使得虚拟机器人能够具有比实体机器人更加丰富、生动、灵活的表情和动作，有助于进一步提高用户的交互体验。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：图1是根据本专利技术一个实施例的人机交互装置的结构示意图；图2是根据本专利技术一个实施例的人机交互方法的实现流程示意图；图3是根据本专利技术一个实施例的生成语音反馈信息的流程图；图4是根据本专利技术一个实施例的人机交互方法的实现流程示意图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本专利技术实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本专利技术可以不用这里的具体细节或者所描述的特定方式来实施。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。针对现有技术中所存在的问题，本专利技术提供了一种人机交互装置，该装置采用全息投影的方式来显示出机器人全息图像，通过机器人全息图像来与用户进行更加生动、灵活的交互。图1示出了本实施例所提供的人机交互装置的结构示意图。如图1所示，本实施例中，该人机交互装置优选地包括：语音交互信息采集设备101、图像交互信息采集设备102、云处理器103以及全息投影设备104。其中，语音交互信息采集设备101用于采集用户输入的语音交互信息，图像交互信息采集设备102用于采集关于用户的图像交互信息。需要指出的是，在本专利技术的不同实施例中，语音交互信息采集设备101和图像交互信息采集设备102既可以采用同一设备来实现(即该设备同时具有语音交互信息采集和图像交互信息采集两种功能)，也可以采用不同的设备来实现，本专利技术不限于此。本实施例中，语音交互信息采集设备101和图像交互信息采集设备102均与云处理器103连接。云处理器103在接收到语音交互信息采集设备101所传输来的语音交互信息和图像交互信息采集设备102所传输来的图像交互信息后，会根据上述语音交互信息和图像交互信息来生成语音反馈信息和表情信息，并根据上述语音交互信息和表情信息生成全景投影数据。具体地，本实施例中，云处理器103在接收到语音交互信息采集设备101所传输来的语音交互信息后，会对上述语音交互信息进行语音识别处理，从而将上述语音交互信息由声音信息转换为文本信息。在得到对应于上述语音交互信息的文本信息后，云处理器103优选地对上述文本信息进行自然语言处理，具体地，本实施例中，云处理器103优选地对文本信息进行分词处理，从而得到分词处理结果。在得到分词处理结果后，云处理器103会根据上述分词处理结果来判断各个分词的词性并得到语义解析结果。根据分词词性以及语义解析结果，云处理器103能够生成对应的语音反馈信息。同时，根据所接收到的语音交互信息和图像交互信息，云处理器103还会生成相应的机器人动作信息。随后，云处理器103可以根据上述机器人动作信息和语音反馈信息生成全息投影数据。具体地，本实施例中，云处理器103能够对图像交互信息采集设备102所传输来的图像交互信息中所包含的人脸图像进行人脸识别，从而得到人脸表情信息。根据人脸表情信息，云处理器103能够确定出相应的用户情绪信息。例如，如果云处理本文档来自技高网...

【技术保护点】
一种人机交互装置，其特征在于，包括：语音交互信息采集设备，其用于采集用户输入的语音交互信息；图像交互信息采集设备，其用于采集关于用户的图像交互信息；云处理器，其与所述语音交互信息采集设备和图像交互信息采集设备通信，用于接收所述语音交互信息和图像交互信息并根据所述语音交互信息和图像交互信息生成语音反馈信息和机器人动作信息，根据所述语音反馈信息和机器人动作信息生成全息投影数据；全息投影设备，其与所述云处理器通信，用于根据所述云处理器传输来的全息投影数据进行全息投影显示机器人全息图像，以通过所述机器人全息图像与用户进行交互。

【技术特征摘要】
1.一种人机交互装置，其特征在于，包括：语音交互信息采集设备，其用于采集用户输入的语音交互信息；图像交互信息采集设备，其用于采集关于用户的图像交互信息；云处理器，其与所述语音交互信息采集设备和图像交互信息采集设备通信，用于接收所述语音交互信息和图像交互信息并根据所述语音交互信息和图像交互信息生成语音反馈信息和机器人动作信息，根据所述语音反馈信息和机器人动作信息生成全息投影数据；全息投影设备，其与所述云处理器通信，用于根据所述云处理器传输来的全息投影数据进行全息投影显示机器人全息图像，以通过所述机器人全息图像与用户进行交互。2.如权利要求1所述的装置，其特征在于，所述全息投影设备包括：语音信息输出模块，其用于根据所述全息投影数据输出相应的语音信息；机器人投影模块，其用于根据所述全息投影数据生成相应的机器人投影。3.如权利要求1或2所述的装置，其特征在于，所述云处理器根据所述图像交互信息生成与交互环境相适应的推荐音乐信息，并根据所述推荐音乐信息生成所述语音反馈信息。4.如权利要求1～3中任一项所述的装置，其特征在于，所述云处理器根据所述语音交互信息和/或图像交互信息生成用户情绪信息，并根据所述用户情绪信息生成对应的机器人动作信息，根据所述机器人动作信息生成包含机器人动作的全息投...

【专利技术属性】
技术研发人员：赖昱竹，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11