人机交互装置、方法及系统制造方法及图纸

本发明专利技术提供了一种人机交互装置、方法及系统，将图像采集模块与处理模块连接用于采集包含用户手势动作信息的图像；将音频采集模块与处理模块连接用于采集语音信息；将环境感知模块与处理模块连接用于采集周围环境信息；将处理模块和信息输出模块连接用于根据图像或语音信息生成待输出信息并将待输出信息发送给信息输出模块，信息输出模块将待输出信息输出；还可以根据环境信息生成设备控制指令控制外部设备。本发明专利技术通过设置图像采集模块、音频采集模块和环境感知模块使用户在需要向智能设备输入指令时无需使用传统的输入设备，解决了输入指令困难、耗时较长、使用起来不方便的技术问题，达到了可以从视觉、语音和环境感知等多方面实现人机交互的技术效果。

Human-machine interaction device, method and system

The invention provides a man-machine interaction device, method and system, which connects image acquisition module and processing module to collect images containing user gesture action information, connects audio acquisition module and processing module to collect voice information, and connects environment perception module and processing module to collect surrounding environment information. The processing module and the information output module are connected to generate the information to be output according to the image or voice information and send the information to the information output module. The information output module outputs the information to be output. The external equipment can also be controlled by the device control instruction generated according to the environmental information. By setting image acquisition module, audio acquisition module and environment perception module, the invention enables users to input instructions to intelligent devices without using traditional input equipment, solves the technical problems of difficult input instructions, long time consuming and inconvenient use, and achieves visual, voice and environment perception. And other aspects to achieve the technical effect of human-machine interaction.

【技术实现步骤摘要】
人机交互装置、方法及系统
本专利技术涉及人工智能
，尤其是涉及一种人机交互装置、方法及系统。
技术介绍
目前，随着人工智能技术的不断发展，一些智能设备逐渐走入人们的生活。用户一般使用键盘、鼠标和显示器等传统的输入输出设备与智能设备进行人机交互，例如，智能设备根据从输入设备接收到的指令作出响应，并将响应内容呈现在输出设备上。然而，对于某些年龄较大、文化程度较低的人群，这类用户在需要向智能设备输入指令时，使用传统的输入设备输入指令可能非常慢，操作起来十分困难，耗时较长，使用起来非常不方便。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种人机交互装置、方法及系统，以解决了在需要向智能设备输入指令时，使用传统的输入设备输入指令困难，耗时较长，使用起来不方便的技术问题。第一方面，本专利技术实施例提供了一种人机交互装置，包括：图像采集模块、音频采集模块、环境感知模块、处理模块和信息输出模块；所述图像采集模块与所述处理模块连接，用于采集包含用户手势动作信息的图像，并将所述图像发送给所述处理模块；所述音频采集模块与所述处理模块连接，用于采集语音信息，并将所述语音信息发送给所述处理模块；所述环境感知模块与所述处理模块连接，所述环境感知模块采集周围环境信息，并将所述环境信息发送给所述处理模块；所述处理模块和所述信息输出模块连接，用于根据所述环境信息生成设备控制指令控制外部设备；并根据所述图像或所述语音信息生成待输出信息，并将所述待输出信息发送给所述信息输出模块；所述信息输出模块将所述待输出信息输出。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述装置还包括：与外部设备通信连接的第一通信模块；所述通信模块和所述处理模块连接，所述通信模块接收所述设备控制指令，并将所述设备控制指令发送给外部设备，以便于所述外部设备按照所述设备控制指令执行相应动作。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述信息输出模块包括：扬声器；所述扬声器与所述处理模块连接，用于将所述待输出信息以语音方式输出。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述信息输出模块还包括：显示器；所述显示器与所述处理模块连接，用于将所述待输出信息以视频或图像方式输出。第二方面，本专利技术实施例还提供一种人机交互方法，应用于如第一方面所述的处理模块中，所述方法包括：接收所述图像采集模块采集到的包含用户手势动作信息的图像或音频采集模块采集的用户语音信息；接收所述环境感知模块采集的环境信息；根据所述手势动作信息或所述语音信息生成待输出信息，并向所述信息输出模块输出所述待输出信息；根据所述环境信息生成设备控制指令以用于控制外部设备。。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，所述根据所述手势动作信息生成待输出信息，包括：获取包含用户手势动作图像特征的图像；识别所述图像中的手势图像特征，得到手势动作信息；若所述手势动作信息包括预设输出动作信息，根据所述手势动作信息生成待输出信息。结合第二方面，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，所述方法还包括：若所述手势动作信息为预设控制动作信息，根据所述手势动作生成设备控制指令，所述设备控制指令用于控制与所述手势动作信息对应的待控制外部设备。结合第二方面，本专利技术实施例提供了第二方面的第三种可能的实施方式，其中，根据所述手势动作生成设备控制指令，包括：若所述手势动作信息为语音输出动作信息，根据所述手势动作信息生成语音输出指令，所述语音输出指令用于控制外部设备输出与所述手势动作信息对应的语音信息；若所述手势动作信息为视频输出动作信息，根据所述手势动作信息生成视频输出指令，所述视频输出指令用于控制外部设备输出与所述手势动作信息对应的视频或图像信息。结合第二方面，本专利技术实施例提供了第二方面的第四种可能的实施方式，其中，基于多个手势动作信息建立用户手势动作信息数据库，所述手势动作信息分为输出动作信息和控制动作信息。第三方面，本专利技术实施例还提供一种人机交互系统，包括：外部设备、云端及如第一方面任一所述的人机交互装置；所述外部设备内包括：第二通信模块和处理器；所述第二通信模块接收所述人机交互装置发送的所述设备控制指令；所述处理器用于根据所述设备控制指令执行相应动作；所述云端用于基于所述图像和所述设备控制指令，或者，基于所述图像和所述待输出信息进行深度学习并将学习结果反馈给所述处理模块。本专利技术实施例带来了以下有益效果：首先令图像采集模块与所述处理模块连接，用于采集包含用户手势动作信息的图像，并将所述图像发送给所述处理模块；令所述音频采集模块与所述处理模块连接，用于采集语音信息，并将所述语音信息发送给所述处理模块；令所述环境感知模块与所述处理模块连接，所述环境感知模块采集周围环境信息，并将所述环境信息发送给所述处理模块；令所述处理模块和所述信息输出模块连接，用于根据所述图像或所述语音信息生成待输出信息，并将所述待输出信息发送给所述信息输出模块以便于所述信息输出模块将所述待输出信息输出；还可以用于根据所述环境信息生成设备控制指令控制外部设备。本专利技术通过设置图像采集模块、音频采集模块和环境感知模块使用户在需要向智能设备输入指令时，无需使用传统的输入设备，解决了输入指令困难，耗时较长，使用起来不方便的技术问题，达到了可以从视觉、语音和环境感知等多方面实现人机交互的技术效果。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种人机交互装置结构图；图2为本专利技术实施例提供的人机交互装置另一种结构图；图3为本专利技术实施例提供的一种人机交互方法流程图；图4为本专利技术实施例提供的一种人机交互系统结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前，随着人工智能技术的不断发展，一些智能设备逐渐走入人们的生活。用户一般使用键盘、鼠标和显示器等传统的输入输出设备与智能设备进行人机交互，例如，智能设备根据从输入设备接收到的指令作出响应，并将响应内容呈现在输出设备上。然而，对于某些年龄较大、文化程度较低的人群，这类用户在需要向智能设备输入指令时，使用传统的输入设备输入指令可能非常慢，操作起来十分困难，耗时较长，使用起来非常不方便，基于此，本专利技术实施例提供的一种人机交互装置、方法及系统，本文档来自技高网...

【技术保护点】
1.一种人机交互装置，其特征在于，包括：图像采集模块、音频采集模块、环境感知模块、处理模块和信息输出模块；所述图像采集模块与所述处理模块连接，用于采集包含用户手势动作信息的图像，并将所述图像发送给所述处理模块；所述音频采集模块与所述处理模块连接，用于采集语音信息，并将所述语音信息发送给所述处理模块；所述环境感知模块与所述处理模块连接，所述环境感知模块采集周围环境信息，并将所述环境信息发送给所述处理模块；所述处理模块和所述信息输出模块连接，用于根据所述图像或所述语音信息生成待输出信息，并将所述待输出信息发送给所述信息输出模块以便于所述信息输出模块将所述待输出信息输出；根据所述环境信息生成设备控制指令控制外部设备。

【技术特征摘要】
1.一种人机交互装置，其特征在于，包括：图像采集模块、音频采集模块、环境感知模块、处理模块和信息输出模块；所述图像采集模块与所述处理模块连接，用于采集包含用户手势动作信息的图像，并将所述图像发送给所述处理模块；所述音频采集模块与所述处理模块连接，用于采集语音信息，并将所述语音信息发送给所述处理模块；所述环境感知模块与所述处理模块连接，所述环境感知模块采集周围环境信息，并将所述环境信息发送给所述处理模块；所述处理模块和所述信息输出模块连接，用于根据所述图像或所述语音信息生成待输出信息，并将所述待输出信息发送给所述信息输出模块以便于所述信息输出模块将所述待输出信息输出；根据所述环境信息生成设备控制指令控制外部设备。2.根据权利要求1所述的人机交互装置，其特征在于，所述装置还包括：与外部设备通信连接的第一通信模块；所述通信模块和所述处理模块连接，所述通信模块接收所述设备控制指令，并将所述设备控制指令发送给外部设备，以便于所述外部设备按照所述设备控制指令执行相应动作。3.根据权利要求1所述的人机交互装置，其特征在于，所述信息输出模块包括：扬声器；所述扬声器与所述处理模块连接，用于将所述待输出信息以语音方式输出。4.根据权利要求1所述的人机交互装置，其特征在于，所述信息输出模块还包括：显示器；所述显示器与所述处理模块连接，用于将所述待输出信息以视频或图像方式输出。5.一种人机交互方法，其特征在于，应用于如权利要求1至4任一所述的处理模块中，所述方法包括：接收所述图像采集模块采集到的包含用户手势动作信息的图像或音频采集模块采集的用户语音信息；接收所述环境感知模块采集的环境信息；根据所述手势动作信息或所述语音信息生成待输出信息，并向所述信...

【专利技术属性】
技术研发人员：吴坚，
申请(专利权)人：浙江核聚智能技术有限公司，
类型：发明
国别省市：浙江,33