用于触摸检测的IMU制造技术

本公开涉及用于触摸检测的IMU。触摸检测可包括：基于来自第一设备上的监测触摸对象的运动的IMU的数据来确定触摸事件，其中触摸事件指示触摸对象与表面之间的接触；获得由第二设备捕获的包括触摸图像的深度图像；基于触摸图像来确定对象的触摸点；以及基于对象的触摸点和所触摸的表面来提供响应。点和所触摸的表面来提供响应。点和所触摸的表面来提供响应。

【技术实现步骤摘要】
用于触摸检测的IMU
[0001]本申请是申请日为2019年9月27日、申请号为201910923517.0、专利技术名称为“用于触摸检测的IMU”的中国专利技术专利申请的分案申请。

技术介绍

[0002]本公开整体涉及触摸检测领域，并且更具体地涉及提供用于触摸检测的可穿戴IMU的领域。
[0003]当今的电子设备为用户提供了与周围世界交互的许多方式。例如，用户可使用虚拟或物理键盘、鼠标、轨迹球、操纵杆、触摸屏等与电子设备进行交互。用户经常与其设备上的数字信息进行交互的一种方式是通过触摸屏界面。触摸屏界面允许用户使用手指、触笔或其他对象与显示表面进行交互。触摸传感器识别所触摸的区域并向用户提供响应。
[0004]随着混合现实环境的增加，用户通常通过附加方式提供输入，以便使虚拟对象能够与真实对象进行交互。例如，用户可触摸真实对象以便以混合现实方式与真实对象进行交互。然而，真实对象通常不包括传统上用于检测来自用户的触摸的触摸传感器。

技术实现思路

[0005]在一个实施方案中，描述了一种触摸检测的方法。该方法可包括基于来自第一设备上的监测触摸对象的移动的惯性测量单元(IMU)的数据来确定触摸事件，其中触摸事件指示触摸对象与表面之间的接触。该方法还可包括响应于触摸事件来获得由第二设备捕获的包括触摸图像的深度图像，基于触摸图像来确定对象的触摸点，以及基于对象的触摸点和所触摸的表面来提供响应。
[0006]在另一个实施方案中，该方法可以体现在计算机可执行程序代码中并存储在非暂时性存储设备中。在另一个实施方案中，该方法可在电子设备中实现。
附图说明
[0007]图1以框图形式示出了根据一个或多个实施方案的简化系统图。
[0008]图2以流程图形式示出了根据一个或多个实施方案的用于在真实环境中检测触摸的示例性技术。
[0009]图3以流程图形式示出了根据一个或多个实施方案的用于生成模型的示例性技术。
[0010]图4以流程图形式示出了根据一个或多个实施方案的用于识别真实触摸事件的示例性技术。
[0011]图5以框图形式示出了根据一个或多个实施方案的简化多功能设备。
具体实施方式
[0012]本公开涉及用于检测物理环境中的触摸的系统、方法和计算机可读介质。一般来讲，公开了提供用于识别用户何时使用惯性测量单元触摸物理环境中的表面的技术，以及
用于响应于检测到物理环境中的触摸来细化触摸对象(诸如手指)的模型的技术。此外，本公开涉及用于估计物理环境(例如，估计物理表面的法向/方向)的技术。
[0013]根据一个或多个实施方案，可穿戴设备诸如手表或戒指可由与物理环境交互的用户佩戴。可穿戴设备可包括惯性测量单元(“IMU”)，该惯性测量单元可跟踪用于与之附接的对象的力、加速度、声学信号(例如，由与物理环境交互的用户生成)等。在一个或多个实施方案中，可穿戴设备可由物理环境中的用户佩戴。具体地讲，可穿戴设备可例如佩戴在手臂、手腕或手指上，其是或连接到通过触摸与物理环境进行交互的手指。在一个或多个实施方案中，可基于来自IMU的传感器数据来确定触摸事件。例如，所检测到的力可指示触摸事件。触摸事件可指示触摸对象与表面之间的接触。该表面可以是现实环境中的对象的一部分，或可以是用户的另一部分，诸如手部或手指。响应于检测到触摸事件，可获得触摸事件的触摸图像，该触摸图像包括触摸对象和被触摸的表面。触摸图像可由第二设备捕获。所捕获的图像可为RGB图像或深度图像。基于触摸图像，可确定所触摸的表面，并且可基于所触摸的表面向用户提供响应。可首先在图像中检测用户部位(例如，手或手指)，并且将表面确定为在用户部位下方延伸的表面。
[0014]在一个或多个实施方案中，触摸图像可用于生成或细化触摸对象的模型。具体地，由第二设备捕获的图像(诸如深度图像)可能不捕获触摸对象的与表面形成接触的部分。然而，在一个或多个实施方案中，关于触摸对象在触摸点处的几何形状的数据可基于来自触摸图像的深度信息来确定。例如，可从使得触摸点被触摸对象遮挡的角度(例如，从用户的视角看，触摸表面的指尖可能被手遮挡)获得深度图像。可基于来自触摸图像和触摸检测的组合数据来生成或细化触摸对象(例如手指、手或手臂)的模型。例如，手指的特定长度可基于手指正触摸的表面的相对位置和触摸图像中关于手指可见部分的深度信息来确定，即使手指的触摸部分被遮挡也无妨。触摸图像可用作参考图像以确定手指和表面之间的接触状态。例如，释放动作(即手指移离表面)可通过比较参考图像和当前捕获的图像来确定，例如通过比较手指与相机的距离或比较手指相对于表面的距离。
[0015]此外，在一个或多个实施方案中，可利用触摸图像从所检测到的触摸来确定假阳性。例如，IMU可基于特定的力来检测触摸，但该力可不与触摸相关。例如，力可与手臂或手腕的抽动相关。因此，在一个或多个实施方案中，辅助设备可在检测到触摸事件时捕获“触摸图像”，并且基于触摸图像来确定触摸事件是否为真实触摸事件。例如，如果在检测到触摸时所捕获的图像示出触摸对象不在表面附近，则可确定所检测到的触摸事件为假阳性触摸事件。基于深度获知的方法可用于将真实触摸事件与其他非触摸事件(如手臂或手腕的抽动)进行分类。分类可基于IMU数据。深度获知网络可为LSTM(长短期记忆)、RNN(循环神经网络)或任何与时间相关的网络。
[0016]在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为本说明书的一部分，本公开的一些附图以框图形式表示结构和装置，以避免模糊所公开实施方案的新颖方面。在该上下文中，应当理解，对没有相关联标识符(例如，100)的编号绘图元素的引用是指具有标识符(例如，100a和100b)的绘图元素的所有实例。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。任何特定流程图中的框可以特定顺序呈现。然而，应当理解，任何流程图的特定流程仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的任何各种组件，或者可以不同的顺序执
行组件，或甚至同时执行组件。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。本公开中使用的语言主要是出于可读性和指导目的而选择的，并且可未选择它来描绘或限制所公开的主题。在本公开中提到“一个实施方案”或“实施方案”意指包括在至少一个实施方案中的结合该实施方案所述的特定特征、结构或特性，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部参考相同的实施方案。
[0017]应当理解，在任何实际具体实施的开发中(如在任何开发项目中)，必须要作出许多决策以实现开发者的特定目标(如，符合与系统和商务相关的约束)，并且这些目标将在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂且费时的，但尽管如此，对于受益于本公开的图像捕获的那些普通技术人员而言，这仍然是他们的日常工作。
[0018]出于本公开的目的，术语“镜头”是指镜头组件，其可包括多个镜头。在一个或多个实施方案中，可将镜头移动到不同位置以捕获具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非暂态计算机可读介质，包括能够由一个或多个处理器执行以进行下述操作的计算机可读代码：在第一设备处，基于从第二设备上的监测触摸对象的运动的惯性测量单元(IMU)接收的数据来检测触摸事件已经发生的指示，其中所述触摸事件指示所述触摸对象和表面之间的接触；响应于触摸事件：由所述第一设备获得所述触摸对象的触摸图像，其中所述触摸对象正在与所述触摸图像中的所述表面接触；基于从所述IMU接收的附加数据检测所述触摸对象的方向的变化的指示；捕获所述触摸对象的非触摸图像，其中所述触摸图像不在与所述非触摸图像中的所述表面接触；以及基于所述触摸图像和所述非触摸图像，生成所述触摸对象的模型。2.根据权利要求1所述的非暂态计算机可读介质，其中所述触摸对象包括手指，并且其中所述触摸事件发生在所述手指和所述表面之间。3.根据权利要求1所述的非暂态计算机可读介质，其中用于检测所述触摸事件已经发生的所述指示的所述计算机可读代码还包括用于进行下述操作的计算机可读代码：基于来自所述触摸对象的所述触摸图像的深度信息和所述表面来确定所述触摸事件是真实触摸事件。4.根据权利要求3所述的非暂态计算机可读介质，其中用于捕获所述非触摸图像的所述计算机可读代码还包括用于进行下述操作的计算机可读代码：根据所述触摸事件是真实触摸事件的确定以及所述触摸对象已经改变方向的确定，使得所述非触摸图像被捕获。5.根据权利要求1所述的非暂态计算机可读介质，还包括用于进行下述操作的计算机可读代码：确定所述触摸对象在所述表面上的触摸点处的姿态，其中进一步基于所述触摸对象的所述姿态生成所述触摸对象的所述模型。6.根据权利要求5所述的非暂态计算机可读介质，还包括用于进行下述操作的计算机可读代码：向所述第二设备提供所述触摸对象的所述模型，以用于对所述触摸对象进行视觉跟踪。7.根据权利要求1所述的非暂态计算机可读介质，其中所述第二设备是可穿戴设备。8.一种方法，包括：在第一设备处，基于从第二设备上的监测触摸对象的运动的惯性测量单元(IMU)接收的数据来检测触摸事件已经发生的指示，其中所述触摸事件指示所述触摸对象和表面之间的接触；响应于触摸事件：由所述第一设备获得所述触摸对象的触摸图像，其中所述触摸对象正在与所述触摸图像中的所述表面接触；基于从所述IMU接收的附加数据检测所述触摸对象的方向的变化的指示；
捕获所述触摸对象的非触摸图像，其中所述触摸图像不在与所述非触摸图像中的所述表面接触；以及基于所述触摸图像和所述非触摸图像，生成所述触...

【专利技术属性】
技术研发人员：王乐晶，R，
申请(专利权)人：苹果公司，
类型：发明
国别省市：