交互控制方法、装置及设备制造方法及图纸

公开了一种针对智能设备的交互控制方法、装置及设备。获取设备所处场景的图像数据；对图像数据进行特征提取，得到能够表征图像数据的一种或多种尺度的特征提取结果的特征数据；基于特征数据，识别场景中用户的肢体动作；以及控制设备执行与肢体动作的识别结果对应的操作。由此，无论用户距离设备是近还是远，图像中需要识别的肢体部分(如手部)在图像中的占比是大还是小，均能够得到较好的肢体动作识别结果。结果。结果。

Interactive control method, device and equipment

【技术实现步骤摘要】
交互控制方法、装置及设备


[0001]本公开涉及交互领域，特别是涉及一种针对智能设备的交互控制方法、装置及设备。

技术介绍

[0002]随着科技的发展和人们生活水平的提高，各种类型的智能设备正越来越多地进入千家万户。
[0003]为了凸显智能设备的智能性，强大的交互能力是智能设备的必备特质。
[0004]在为智能设备配置交互能力时，不仅需要考虑用户的便利性，还需要考虑智能设备的处理性能以及实际交互过程中可能遇到的问题。
[0005]以智能电视为例，用户与电视交互的距离不固定，为了使得智能电视支持用户在距智能电视不同位置处与智能电视交互，在为智能电视配置交互能力时，需要考虑不同距离对交互算法的影响，以使交互算法支持用户在距智能电视不同位置处与智能电视交互。
[0006]因此，如何针对智能设备提供一种行之有效的交互控制方案，是目前亟需解决的一个问题。

技术实现思路

[0007]本公开要解决的一个技术问题是提供一种行之有效的交互控制方案。
[0008]根据本公开的第一个方面，提供了一种交互控制方法，包括：获取设备所处场景的图像数据；对图像数据进行特征提取，得到能够表征图像数据在一种或多种尺度下的特征提取结果的特征数据；基于特征数据，识别场景中用户的肢体动作；以及控制设备执行与肢体动作的识别结果对应的操作。
[0009]根据本公开的第二个方面，提供了一种交互控制装置，包括：获取模块，用于获取设备所处场景的图像数据；特征提取模块，用于对图像数据进行特征提取，得到能够表征图像数据在一种或多种尺度下的特征提取结果的特征数据；识别模块，用于基于特征数据，识别场景中用户的肢体动作；以及控制模块，用于控制设备执行与肢体动作的识别结果对应的操作。
[0010]根据本公开的第三个方面，提供了一种智能设备，包括：图像采集模块，用于采集图像数据；处理器，用于对图像数据进行特征提取，得到能够表征图像数据在一种或多种尺度下的特征提取结果的特征数据，基于特征数据，识别场景中用户的肢体动作，并控制设备执行与肢体动作的识别结果对应的操作。
[0011]根据本公开的第四个方面，提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述第一方面的方法。
[0012]根据本公开的第五个方面，提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上述第一方面的方法。
[0013]由此，本公开通过获取设备所处场景的图像数据，对图像数据进行特征提取得到能够表征图像数据的一种或多种尺度的特征提取结果的特征数据，基于特征数据识别场景中用户的肢体动作，并控制设备执行与肢体动作的识别结果对应的操作，使得用户可以通过做出肢体动作与设备进行交互。并且，由于本公开是基于能够表征图像数据的一种或多种尺度的特征提取结果的特征数据来识别用户的肢体动作，使得无论用户距离设备是近还是远，图像中需要识别的肢体(如手部)在图像中的占比是大还是小，均能够得到较好的肢体动作识别结果。
附图说明
[0014]通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
[0015]图1示出了根据本公开一个实施例的交互控制方法的示意性流程图。
[0016]图2示出了根据本公开一个实施例的特征提取流程示意图。
[0017]图3示出了用户通过手势与设备进行交互的方法实现流程示意图
[0018]图4示出了图3所示方法的算法实现原理示意图。
[0019]图5示出了根据本公开一个实施例的交互控制装置的结构示意图。
[0020]图6示出了根据本公开一个实施例的智能设备的结构示意图。
[0021]图7示出了根据本公开一个实施例的计算设备的结构示意图。
具体实施方式
[0022]下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0023]图1示出了根据本公开一个实施例的交互控制方法的示意性流程图。图1所示方法可以由设备执行，即设备可以通过执行图1所示方法为用户提供基于动作的交互服务。其中，设备可以是但不限于智能厨具、智能冰箱、智能洗衣机、智能集成灶、智能开关等物联网设备。作为示例，设备可以是指同时具备图像采集功能和图像数据处理功能的设备。
[0024]物联网设备，也即接入物联网的设备。物联网(The Internet of Things，简称IOT)是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。
[0025]参见图1，在步骤S110，获取设备所处场景的图像数据。
[0026]所获取的图像数据可以是通过对设备所处场景进行(实时)图像采集得到的图像数据，如视频流数据。设备所处场景可以是指设备附近的空间区域，或者在设备特定方向(如设备屏幕正前方)上的空间区域。
[0027]作为示例，图像数据可以是指设备所处场景中与用户活动范围对应的场景部分的
图像数据。即，可以通过对设备所处场景中与用户活动范围对应的场景部分进行成像，得到图像数据。在设备具有图像采集功能的情况下，可以由设备(如安装在设备中的摄像头)采集图像数据。
[0028]在步骤S120，对图像数据进行特征提取，得到能够表征图像数据的一种或多种尺度的特征提取结果的特征数据。
[0029]为了使用户无论在远处还是在近处均能通过动作与设备进行交互，本公开提出，可以通过对图像数据进行特征提取，得到能够表征图像数据的一种或多种尺度的特征提取结果的特征数据。
[0030]“尺度”是指对图像数据进行特征提取得到的特征提取结果的尺度。在特征工程
，对图像数据进行特征提取得到的特征提取结果可以视为一个特征矩阵。特征矩阵中的每个元素可以表征一个单位尺寸，整个特征矩阵可以视为一个特征图(feature map)，特征提取结果的尺度可以用特征图的大小表征。即，特征提取结果的尺度可以理解为特征提取结果所对应的特征矩阵(或特征图)的尺寸大小。如果将特征矩阵中的每个元素视为一个像素，那么也尺度也可以称为分辨率。
[0031]尺度较大的特征提取结果可以是通过对图像数据进行浅层特征提取得到的能够更好地表征图像数据中的细节信息的特征提取结果，如可以是指图像数据经卷积神经网络中在前的一个或多个卷积核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互控制方法，包括：获取设备所处场景的图像数据；对所述图像数据进行特征提取，得到能够表征所述图像数据的一种或多种尺度的特征提取结果的特征数据；基于所述特征数据，识别所述场景中用户的肢体动作；以及控制所述设备执行与所述肢体动作的识别结果对应的操作。2.根据权利要求1所述的方法，其中，对所述图像数据进行特征提取的步骤包括：使用卷积神经网络组件对所述图像数据进行特征提取，得到所述图像数据的多种尺度的特征提取结果；基于所述多种尺度的特征提取结果，得到所述特征数据。3.根据权利要2所述的方法，其中，基于所述多种尺度的特征提取结果得到所述特征数据的步骤包括：对所述多种尺度的特征提取结果进行上采样和/或下采样，以将所述多种尺度的特征提取结果转换为多个同一尺度的特征提取结果；将转换后的多个同一尺度的特征提取结果进行叠加，得到所述特征数据。4.根据权利要求2所述的方法，还包括：对所述卷积神经网络组件进行压缩处理和/或剪枝处理和/或网络量化处理，其中，使用卷积神经网络组件对所述图像数据进行特征提取的步骤包括：使用经过处理后的卷积神经网络组件对所述图像数据进行特征提取。5.根据权利要求1所述的方法，其中，所述图像数据包括多帧连续图像中的至少两帧，基于所述特征数据识别所述场景中用户的肢体动作的步骤包括：将所述图像数据中各帧图像的特征数据进行融合，得到时序特征数据；将所述时序特征数据输入预先训练好的识别模型，得到所述识别模型输出的肢体动作的识别结果。6.根据权利要求5所述的方法，其中，将所述图像数据中各帧图像的特征数据进行融合的步骤包括：使用二维空间卷积组件以二维空间维度对所述图像数据中各帧图像的特征数据进行卷积，得到第一卷积结果；使用一维时域卷积组件以一维时域维度对所述图像数据中各帧图像的特征数据进行卷积，得到第二卷积结果；基于所述第一卷积结果和所述二卷积结果，得到所述时序特征数据。7.根据权利要求5所述的方法，其中，所述识别模型包括第一神经网络分支组件和第二神经网络分支组件，所述第一神经网络分支组件用于将所述图像数据中各帧图像的特征数据进行融合得到时序特征数据，所述第二神经网络分支组件用于检测所述图像数据中用户...

【专利技术属性】
技术研发人员：邵柏韬，刘宝龙，古鉴，叶孝璐，杜杨，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：