智能交互方法和装置制造方法及图纸

本申请提出一种智能交互方法和装置，该智能交互方法包括：获取用户手部动作图像，所述用户手部动作图像是对用户手部动作进行拍摄后得到的；根据所述用户手部动作图像，确定所述用户手部动作对应的操作类别；根据所述操作类别，对所述用户手部动作进行响应。该方法能够实现人机自然高效的交互。

【技术实现步骤摘要】

本申请涉及人机交互
，尤其涉及一种智能交互方法和装置。
技术介绍
随着人工智能相关技术的日益成熟，人们的生活开始走向智能化，如各种智能家居已逐渐进入到平常人家，如各种增强现实设备已开始进入实用化，从而使人与机器的交互也日渐平常和必需，人机交互时，最受用户关注的是人是否可以自然的与机器交互，甚至可以达到与人进行交互的程度；因此，越来越多的技术人员开始研究如何自然高效的实现人机交互的过程。相关技术中，用户使用手与机器进行智能交互时，首先需要在手部使用记录设备，如手写笔、手写指套等；然后根据记录设备采集用户手部动作的二维或三维坐标数据；再根据采集的手部数据对用户手部的动作或手部的运动轨迹进行识别，以确定用户的操作，由系统给出相应操作的响应结果。但是，上述智能交互方式并不符合自然交互习惯，也容易导致采集的数据不准确，致使交互效果不理想。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的一个目的在于提出一种智能交互方法，该方法可以实现人机自然高效的交互。本申请的另一个目的在于提出一种智能交互装置。为达到上述目的，本申请第一方面实施例提出的智能交互方法，包括：获取用户手部动作图像，所述用户手部动作图像是对用户手部动作进行拍摄后得到的；根据所述用户手部动作图像，确定所述用户手部动作对应的操作类别；根据所述操作类别，对所述用户手部动作进行响应。本申请第一方面实施例提出的智能交互方法，通过根据用户手部动作图像确定操作类别，以及根据操作类别进行相应响应，可以不需要在用户手部佩戴专门设备，从而符合自然交互习惯，通过对图像的处理也可以提高采集的数据的准确度，从而实现人机自然高效的交互。为达到上述目的，本申请第二方面实施例提出的智能交互装置，包括：获取模块，获取用户手部动作图像，所述用户手部动作图像是对用户手部动作进行拍摄后得到的；确定模块，用于根据所述用户手部动作图像，确定所述用户手部动作对应的操作类别；响应模块，用于根据所述操作类别，对所述用户手部动作进行响应。本申请第二方面实施例提出的智能交互装置，通过根据用户手部动作图像确定操作类别，以及根据操作类别进行相应响应，可以不需要在用户手部佩戴专门设备，从而符合自然交互习惯，通过对图像的处理也可以提高采集的数据的准确度，从而实现人机自然高效的交互。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本申请一个实施例提出的智能交互方法的流程示意图；图2是本申请另一个实施例提出的智能交互方法的流程示意图；图3是本申请实施例中用户手部动作识别模型的一种网络拓扑结构示意图；图4是本申请实施例中一组用户手部动作图像的示意图；图5是本申请实施例中一种显示出皮肤区域的图像的示意图；图6是本申请实施例中一种显示出手部区域的图像的示意图；图7是本申请实施例中单击操作时对应的用户手部动作的示意图；图8是本申请实施例中选中文本操作时对应的用户手部动作的示意图；图9是本申请实施例中多种操作分别对应的用户手部动作的示意图；图10为本申请一个实施例提出的智能交互装置的结构示意图；图11为本申请另一个实施例提出的智能交互装置的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。图1是本申请一个实施例提出的智能交互方法的流程示意图。如图1所示，本实施例的方法包括：S11：获取用户手部动作图像，所述用户手部动作图像是对用户手部动作进行拍摄后得到的。所述用户手部动作指用户手部移动的轨迹，手指的活动等组合成的手部动作，所述手部动作一般用于对屏幕或空中显示内容进行操作，所述显示内容可以为显示在屏幕或空中的文本、图像、应用程序等内容，具体本案不作限定。所述手部动作可以是用户的单手动作，也可以是用户的双手或多手动作，当接收到多手动作时，有多个用户参与交互；所述手部动作如握拳、打开手掌、伸出食指等动作。需要说明的是，所述用户手部动作可以通过单手或双手甚至多手来实现，同一种操作可以使用一或多种手部动作完成，具体手部动作也可以根据应用需求确定多种，并不限于本案所述手部动作。例如，在智能设备上设置摄像头或摄像机，由摄像头或摄像机对用户手部动作进行拍摄得到用户手部动作图像，处理系统可以从摄像头或摄像机处获取到用户手部动作图像。在对用户手部动作进行拍摄时，可以拍摄得到一帧或多帧图像，如利用摄像头或摄像机对用户手部进行连续拍摄后，得到连续多帧用户手部动作图像，具体拍摄时，一般使用带有RGBD传感器的摄像机进行拍摄，直接得到用户手部动作的RGBD数据，即包括颜色数据RGB和深度数据D，从而可以直接得到用户手部动作的RGB图像和深度图。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。场景中各点相对于摄像机的距离可以用深度图(depthmap)来表示，即深度图中的每一个像素值表示场景中某一点与摄像机之间的距离。需要说明的是，用户在进行手部动作时，可以裸手进行，即不需要在手部佩戴专门的记录设备。以及，用户在对屏幕或空中显示的内容进行操作时，可以具体是指非接触式的操作，即并不需要用户接触屏幕就可以完成对显示的内容的操作。可以理解的是，本申请实施例以手部动作为例，但是，用户的其他身体部位进行的操作，如头部动作、手臂动作等也可以依照手部动作的方式执行，因此都属于本申请实施例的等同实现方式。S12：根据所述用户手部动作图像，确定所述用户手部动作对应的操作类别。用户手部动作对应的操作类别指用户对屏幕上或空中的显示内容进行操作的类别，如移动光标、抓取内容、拖动内容、释放内容、手写、单击等。在确定所述操作类别时，例如，先根据所述图像识别出用户手部动作类别和手部关键点位置，再根据识别出的用户手部动作类别和关键点位置，确定出所述操作类别。具体内容可以参见后续描述。S13：根据所述操作类别，对所述用户手部动作进行响应。系统可以根据预先设定的每种操作类别的响应方式，进行相应响应。如当前操作类别为手写操作时，系统确定用户的操作类别后，切换到手写模式，以接收用户的手写内容进行相应手写识别，将识别结果显示出来；如当前操作类别为单击时，系统确定用户的操作类别后，根据所述手势给出系统响应结果，如用户单击屏幕或空中显示的应用程序，执行相应操作。可以理解的是，根据操作类别对用户手部动作进行响应之前，还可以判断是否满足预设条件，以便在满足预设条件时，再根据操作类别对用户手部动作进行响应；在不满足预设条件时不进行响应。预设条件例如包括：当前已开启响应用户手部动作功能，且操作类别属于自身支持响应本文档来自技高网...

【技术保护点】
一种智能交互方法，其特征在于，包括：获取用户手部动作图像，所述用户手部动作图像是对用户手部动作进行拍摄后得到的；根据所述用户手部动作图像，确定所述用户手部动作对应的操作类别；根据所述操作类别，对所述用户手部动作进行响应。

【技术特征摘要】
1.一种智能交互方法，其特征在于，包括：获取用户手部动作图像，所述用户手部动作图像是对用户手部动作进行拍摄后得到的；根据所述用户手部动作图像，确定所述用户手部动作对应的操作类别；根据所述操作类别，对所述用户手部动作进行响应。2.根据权利要求1所述的方法，其特征在于，所述根据所述用户手部动作图像，确定所述用户手部动作对应的操作类别，包括：确定所述用户手部动作图像中的用户手部区域，并根据所述用户手部区域对所述用户手部动作图像进行分割，得到用户手部区域图像；根据所述用户手部区域图像和预先构建的用户手部动作识别模型，识别出所述用户手部动作图像对应的用户手部动作类别和关键点位置；根据连续多组用户手部动作图像对应的用户手部动作类别和关键点位置，确定所述用户手部动作对应的操作类别。3.根据权利要求2所述的方法，其特征在于，单组用户手部动作图像包括：相互对应的一帧RGB图像和一帧深度图像。4.根据权利要求3所述的方法，其特征在于，所述确定所述用户手部动作图像中的用户手部区域，包括：根据所述RGB图像，确定出所述用户手部动作图像中的皮肤区域；对所述皮肤区域进行聚类，得到聚类后的不同皮肤区域；根据深度图像，获取不同皮肤区域对应的深度值，并根据所述深度值，确定出所述用户手部动作图像中的用户手部区域。5.根据权利要求4所述的方法，其特征在于，所述根据所述RGB图像，确定出所述用户手部动作图像中的皮肤区域，包括：将所述RGB图像转换为CrCb图像；将预设的CrCb空间的皮肤蒙板与所述CrCb图像进行与操作，确定出所述用户手部动作图像中的皮肤区域。6.根据权利要求2所述的方法，其特征在于，所述用户手部区域图像：用户手部区域的RGB图像和深度图像，所述根据所述用户手部区域图像和预先构建的用户手部动作识别模型，识别出所述用户手部动作图像对应的用户手部动作类别和关键点位置，包括：将用户手部区域的RGB图像和深度图像作为用户手部动作识别模型的输入，得到模型输出，所述模型输出包括：每种用户手部动作类别的概率和关键点位置；将概率最高的用户手部动作类别作为识别出的用户手部动作类别，将模型输出的关键点位置作为识别出的关键点位置。7.根据权利要求2所述的方法，其特征在于，还包括：构建用户手部动作识别模型，所述构建用户手部动作识别模型，包括：获取训练数据，所述训练数据包括：用户手部区域的RGB图像和深度图像及标注信息，所述用户手部区域的RGB图像和深度图像是对收集的用户手部动作图像进行分割后得到的，所述标注信息与收集的用户手部动作图像对应，包括用户手部动作类别和关键点位置；确定用户手部动作识别模型的结构；基于所述训练数据和所述结构进行训练，构建用户手部动作识别模型。8.根据权利要求7所述的方法，其特征在于，所述结构包括：深度神经...

【专利技术属性】
技术研发人员：王天一，刘聪，王智国，胡国平，胡郁，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽;34