一种处理方法和装置制造方法及图纸

本申请提供的处理方法和装置，通过获得对空间中的操作进行轨迹跟踪所得的操作轨迹，以及操作轨迹对应的深度信息，并根据获得的操作轨迹及其深度信息对空间中的操作进行识别，最终可实现基于对空间中的操作的识别结果而对电子设备进行操作控制。从而，本申请提供了一种基于空中操作(对“空间中的操作”的简称，如空中手势操作)与电子设备进行交互的交互控制方案，能有效拓展AR/VR等设备的操作交互方式，使用户与设备间的操作交互更为灵活便捷，不需借助任何额外的输入介质(如手柄、键盘/鼠标等)即可实现与AR/VR设备的快速交互。

【技术实现步骤摘要】
一种处理方法和装置
本申请属于电子设备的操作交互领域，尤其涉及一种处理方法和装置。
技术介绍
目前，基于手势的操作交互多以触控设备为主，例如，在具有触控屏的手机或平板电脑等触控设备上通过单指绘制轨迹、多指滑动或捏合等手势与设备进行操作交互等，而对于AR(AugmentedReality，增强现实)/VR(VirtualReality，虚拟现实)设备上的交互应用则一般仍是手柄控制器或是传统的键鼠输入方式，需要借助额外的输入介质，这使得针对AR/VR设备其操作交互方式较为单一，不够灵活便捷。
技术实现思路
为此，本申请公开如下技术方案：一种处理方法，包括：获得对空间中的操作进行轨迹跟踪所得的操作轨迹；获得所述操作轨迹对应的深度信息；基于所述操作轨迹和所述深度信息，对所述操作进行识别，得到操作识别结果；基于所述操作识别结果对电子设备进行操作控制。可选的，所述获得对空间中的操作进行轨迹跟踪所得的操作轨迹，包括：获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹；或，获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹，以及获得对空间中的头部操作和/或身体整体部位操作进行轨迹跟踪所得的头部操作轨迹和/或身体整体部位操作轨迹。可选的，所述获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹，包括：获得利用所述电子设备的图像采集装置对所述手势操作进行图像采集所得的多帧手势图像；提取所述多帧手势图像中的手势信息，r>处理从所述多帧手势图像中提取的手势信息，得到所述手势操作对应的手势操作轨迹。可选的，所述获得所述操作轨迹对应的深度信息，包括：获得所述手势操作轨迹对应的深度信息；所述基于所述操作轨迹和所述深度信息，对所述操作进行识别，得到操作识别结果，包括：基于所述手势操作轨迹和所述手势操作轨迹对应的深度信息，对所述手势操作进行识别，得到手势识别结果；或，基于所述手势操作轨迹和所述手势操作轨迹对应的深度信息，对所述手势操作进行识别，得到手势识别结果，且对所述头部操作轨迹和/或身体整体部位操作轨迹进行识别，得到头部姿势识别结果和/或身体整体部位姿势识别结果。可选的，所述获得所述手势操作轨迹对应的深度信息，包括：获得利用所述电子设备的深度摄像头采集的所述手势操作的多个深度图，并基于所述多个深度图确定所述手势操作轨迹对应的深度信息；或，获得利用所述电子设备的双目摄像头在同一时间采集的手势图像的差别信息，基于所述差别信息确定所述手势操作轨迹对应的深度信息；或，获得利用所述电子设备的6自由度传感器采集的辅助设备的空间位置信息，基于所述空间位置信息确定所述手势操作轨迹对应的深度信息；其中，所述辅助设备绑定在人体手部相应位置。可选的，所述基于所述手势操作轨迹和所述手势操作轨迹对应的深度信息，对所述手势操作进行识别，得到手势识别结果，包括：根据所述手势操作轨迹上不同轨迹点的深度变化信息，确定手势识别结果；所述根据所述手势操作轨迹上不同轨迹点的深度变化信息，确定手势识别结果，包括：根据所述手势操作轨迹上全部轨迹点的深度变化信息，确定手势识别结果；或，根据所述手势操作轨迹上不同特征点的深度变化信息，确定手势识别结果；其中，所述特征点为所述手势操作轨迹的起始点、角点和终点中的任意一种。可选的，上述方法，还包括：获得操作者的生物特征信息；所述基于所述操作轨迹和所述深度信息，对所述操作进行识别，得到操作识别结果，包括：基于所述操作轨迹、所述深度信息，和与所述生物特征信息相匹配的第一用户习惯信息，对所述操作进行识别，得到操作识别结果；和/或，所述基于所述操作识别结果对电子设备进行操作控制，包括：基于所述操作识别结果和与所述生物特征信息相匹配的第二用户习惯信息，对电子设备进行操作控制。可选的，所述基于所述操作识别结果对电子设备进行操作控制，包括：确定与所述手势识别结果相匹配的第一控制指令，并基于所述第一控制指令对电子设备进行操作控制；或，结合所述头部姿势识别结果和/或身体整体部位姿势识别结果，确定与所述手势识别结果相匹配的第二控制指令，并基于所述第二控制指令对电子设备进行操作控制。可选的，上述方法，还包括：获得所述手势操作轨迹的方向信息；其中，在确定与所述手势识别结果相匹配的第一控制指令或第二控制指令时，确定与所述手势识别结果相匹配且与所述方向信息相匹配的第一控制指令或第二控制指令。一种处理装置，包括：第一获取模块，用于获得对空间中的操作进行轨迹跟踪所得的操作轨迹；第二获取模块，用于获得所述操作轨迹对应的深度信息；识别模块，用于基于所述操作轨迹和所述深度信息，对所述操作进行识别，得到操作识别结果；操作控制模块，用于基于所述操作识别结果对电子设备进行操作控制。一种电子设备，包括：存储器，用于存放计算机指令集；处理器，用于通过执行存储器上存放的指令集，实现如上任一项所述的的处理方法。一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一项公开的处理方法。由以上方案可知，本申请提供的处理方法和装置，通过获得对空间中的操作进行轨迹跟踪所得的操作轨迹，以及操作轨迹对应的深度信息，并根据获得的操作轨迹及其深度信息对空间中的操作进行识别，最终可实现基于对空间中的操作的识别结果而对电子设备进行操作控制。从而，本申请提供了一种基于空中操作(对“空间中的操作”的简称，如空中手势操作)与电子设备进行交互的交互控制方案，能有效拓展AR/VR等设备的操作交互方式，使用户与设备间的操作交互更为灵活便捷，不需借助任何额外的输入介质(如手柄、键盘/鼠标等)即可实现与AR/VR设备的快速交互。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1是本申请实施例提供的处理方法的一种流程示意图；图2是本申请实施例提供的处理方法的另一种流程示意图；图3是本申请实施例提供的手势操作的二维轨迹图形示例；图4是本申请实施例提供的手势操作的三维轨迹图形示例；图5是本申请实施例提供的处理方法的又一种流程示意图；图6是本申请实施例提供的处理方法的再一种流程示意图；图7是本申请实施例提供的根据用户习惯对用户手势进行补偿的示例；图8是本申请实施例提供的处理装置的结构示意图；图9是本申请实施例提供的电子设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进本文档来自技高网...

【技术保护点】
1.一种处理方法，包括：/n获得对空间中的操作进行轨迹跟踪所得的操作轨迹；/n获得所述操作轨迹对应的深度信息；/n基于所述操作轨迹和所述深度信息，对所述操作进行识别，得到操作识别结果；/n基于所述操作识别结果对电子设备进行操作控制。/n

【技术特征摘要】
1.一种处理方法，包括：
获得对空间中的操作进行轨迹跟踪所得的操作轨迹；
获得所述操作轨迹对应的深度信息；
基于所述操作轨迹和所述深度信息，对所述操作进行识别，得到操作识别结果；
基于所述操作识别结果对电子设备进行操作控制。


2.根据权利要求1所述的方法，所述获得对空间中的操作进行轨迹跟踪所得的操作轨迹，包括：
获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹；
或，
获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹，以及获得对空间中的头部操作和/或身体整体部位操作进行轨迹跟踪所得的头部操作轨迹和/或身体整体部位操作轨迹。


3.根据权利要求2所述的方法，所述获得对空间中的手势操作进行轨迹跟踪所得的手势操作轨迹，包括：
获得利用所述电子设备的图像采集装置对所述手势操作进行图像采集所得的多帧手势图像；
提取所述多帧手势图像中的手势信息，
处理从所述多帧手势图像中提取的手势信息，得到所述手势操作对应的手势操作轨迹。


4.根据权利要求2所述的方法，所述获得所述操作轨迹对应的深度信息，包括：
获得所述手势操作轨迹对应的深度信息；
所述基于所述操作轨迹和所述深度信息，对所述操作进行识别，得到操作识别结果，包括：
基于所述手势操作轨迹和所述手势操作轨迹对应的深度信息，对所述手势操作进行识别，得到手势识别结果；
或，
基于所述手势操作轨迹和所述手势操作轨迹对应的深度信息，对所述手势操作进行识别，得到手势识别结果，且对所述头部操作轨迹和/或身体整体部位操作轨迹进行识别，得到头部姿势识别结果和/或身体整体部位姿势识别结果。


5.根据权利要求4所述的方法，所述获得所述手势操作轨迹对应的深度信息，包括：
获得利用所述电子设备的深度摄像头采集的所述手势操作的多个深度图，并基于所述多个深度图确定所述手势操作轨迹对应的深度信息；
或，获得利用所述电子设备的双目摄像头在同一时间采集的手势图像的差别信息，基于所述差别信息确定所述手势操作轨迹对应的深度信息；
或，获得利用所述电子设备的6自由度传感器采集的辅助设备的空间位置信息，基于所述空间位置信息确定所述手势操作轨迹对应的深度信息；

【专利技术属性】
技术研发人员：沈千琪，刘源，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京;11