可穿戴设备的触摸控制制造技术

可穿戴设备上的传感器还可以被配置为用于检测和辨识手势以控制可穿戴设备的传感器。例如，由智能手表的光电体积描记(PPG)传感器检测到的光可以包括(i)从智能手表下方反射回的光和(ii)从对相邻于智能手表的手腕的触摸反射回的光。检测的光可以被过滤以隔离从触摸反射回的光。可以生成包含关于隔离的光如何随时间和幅度变化的信息的瀑布图像，并可以将该瀑布图像用于检测和辨识在手腕上执行的手势，例如触摸。该附加的触摸区域可以帮助补充由显示器提供的触摸区域来控制智能手表。示器提供的触摸区域来控制智能手表。示器提供的触摸区域来控制智能手表。

【技术实现步骤摘要】
【国外来华专利技术】可穿戴设备的触摸控制


[0001]本公开涉及可穿戴设备，并且更具体地涉及能够响应用户在与智能手表相邻的区域中的触摸的智能手表。

技术介绍

[0002]诸如智能手表这样的可穿戴设备可以具有使用户能够使用诸如点击、双击或滚动这样的触摸手势与设备交互的触摸屏显示器。触摸屏的尺寸经常与用户的手腕相当，并且触摸屏具有小于2英寸(即<50毫米)的尺寸的情况并不少见。该尺寸能够限制用于触摸交互的显示的内容。例如，同时显示在智能手表的触摸屏上的图标的总数可能被限制，以使每个图标的尺寸保持足够大以供用户方便地触摸。通过物理扩展触摸屏或限制在任何给定时间在屏幕上显示的内容来增加触摸区域可能不是用户期望的。因此，智能手表的功能能够被用于触摸交互而提供的区域所限制。

技术实现思路

[0003]在至少一个方面，本公开总体上描述了用于控制可穿戴设备的方法。方法包括在可穿戴设备上的检测器处接收光，其中接收的光包括聚焦光分量和杂散光分量。方法进一步包括过滤所接收的光以隔离杂散光分量并生成杂散光分量的瀑布图像。瀑布图像具有对应于在时间窗口期间(间隔时间上)测量的杂散光分量的幅度的像素值。方法进一步包括分析瀑布图像以检测触摸，并且在检测到触摸时使用手势分类器识别在瀑布图像中的手势。方法进一步包括基于手势控制可穿戴设备。
[0004]瀑布图像可以是表示在时间窗口期间，以间隔(即时间样本)测量的杂散光分量的可能幅度(即强度)的二维图像。因此，瀑布图像的像素可以具有表示在窗口内的时间上的杂散光分量的幅度的像素值。生成瀑布图像的过程因此能够包括连续收集时间样本，并且滑动窗口可以选择时间样本的集合用于瀑布图像。然后时间采样幅度的聚合(collection)(即集合(set))被转换为瀑布图像。将检测器数据转换成瀑布图像可以有利地允许使用图像处理技术来确定触摸。基于瀑布图像来检测触摸可以涉及基于生成的瀑布图像的像素值来检测触摸事件或触摸指示。在此上下文中的触摸可以例如涉及身体部位的触摸，特别是皮肤表面。这样的触摸可能会影响杂散光分量的幅度。杂散光分量可能是由触摸身体部位的用户的手指或手所反射的聚焦光引起的。
[0005]响应于检测触摸来识别手势通常可以包括分析瀑布图像对于瀑布图像中的指示手势的像素值的存在。在此情境下，方法可以考虑不同类型的手势和/或不同的手势引起分别表征一类手势或某个手势的不同的瀑布图像。手势分类器可以例如被配置为辨识瀑布图像中与手势对应的图案。在可能的实施方式中，手势分类器可以被配置为基于与不同类型的手势对应的不同类型的存储的(和先前学习的)参考图案来辨识不同类型的手势。
[0006]在方法的一个可能的实施方式中，对接收的光过滤以隔离杂散光分量包括对接收的光进行主分量分析以隔离杂散光分量。
[0007]在方法的另一个可能的实施方式中，分析瀑布图像以检测触摸包括：确定瀑布图像的顺序统计量并将顺序统计量应用于触摸分类器以获得触摸概率。顺序统计量可以包括最大像素值和最小像素值，并且将顺序统计量应用到触摸分类器可以包括基于对使用瀑布图像的最大像素值和最小像素值的概率函数的应用来确定在生成的瀑布图像中是否存在触摸(事件)。
[0008]基于触摸概率，在可能的实施方式中，分析能够进一步包括确定在时间窗口期间发生了触摸或者在时间窗口期间没有发生触摸。触摸或不触摸的确定可以触发进一步的过程。例如，当没有发生触摸时(并且因此基于瀑布图像未检测到触摸(事件))，手势分类器不被用于识别瀑布图像中的手势以节省电力。
[0009]在方法的另一个可能的实施方式中，瀑布图像的顺序统计量包括最大像素值和最小像素值，并且触摸分类器包括被配置为基于最大像素值和最小像素值返回触摸概率的支持向量机。
[0010]在方法的另一个可能的实施方式中，手势分类器包括(尤其可以是)二维(2D)卷积神经网络和/或被配置为辨识瀑布图像中与手势对应的图案。特别地，手势分类器可以被配置为基于与不同类型手势对应的不同类型的存储参考图案来辨识不同类型的手势。因此，不同的触摸手势可以每个都具有特征的瀑布图像。
[0011]在第一的可能的实施方式中，手势分类器被配置为将瀑布图像中的单个亮点辨识为单击手势。
[0012]在第二的可能的实施方式中，手势分类器被配置为将瀑布图像中的两个亮点辨识为双击手势。
[0013]在第三的可能的实施方式中，手势分类器被配置为将在时间上从瀑布图像的较高幅度延伸到瀑布图像的较低幅度的亮条纹辨识为向下滚动手势。
[0014]在第四的可能的实施方式中，手势分类器被配置为将在时间上从瀑布图像的较低幅度延伸到瀑布图像的较高幅度的亮条纹辨识为向上滚动手势。
[0015]在方法的另一个可能的实施方式中，可穿戴设备是智能手表。
[0016]在方法的另一个可能的实施方式中，检测器是指向用户手腕的光电体积描记(photoplethysmography)传感器的一部分，其中光电体积描记传感器进一步包括被配置为将光投射到用户手腕的光源。
[0017]在方法的另一个可能的实施方式中，光处于可见波长或红外波长。
[0018]在另一方面，本公开总体上描述了智能手表。智能手表包括包含光源和检测器的传感器，例如光电体积描记传感器。光源被配置为投射透射光，包括向智能手表下方的手腕部分发射的聚焦光和向不在智能手表下方的手腕部分发射的杂散光。检测器被配置为接收背反射光，包括从智能手表下方的手腕部分反射回检测器的聚焦光分量和从不在智能手表下方的手腕部分反射回检测器的杂散光分量。智能手表进一步包括由软件指令配置的至少一个处理器(即，所述至少一个处理器被配置为当软件指令由所述至少一个处理器执行时基于软件指令执行某些动作)。所述至少一个处理器被配置为过滤背反射光以隔离杂散光分量。所述至少一个处理器进一步被配置为生成杂散光分量的第一瀑布图像，其中第一瀑布图像具有与在第一时间窗口期间测量的杂散光分量的幅度对应的像素值。所述至少一个处理器进一步被配置为分析第一瀑布图像以检测第一瀑布图像中的触摸。
[0019]在智能手表的可能的实现方式中，所述至少一个处理器进一步被配置为当第一瀑布图像中检测到触摸时，将第一瀑布图像路由到手势分类器。手势分类器被配置为将第一瀑布图像中的图案辨识为手势以控制智能手表。
[0020]在手势分类器的实施方式中，手势分类器被配置为辨识不同类型的手势。例如，手势分类器可以被配置为将第一瀑布图像中的信号亮点辨识为单击手势，并将第一瀑布图像中的两个亮点辨识为双击手势。手势分类器进一步可以被配置为将在时间上从第一瀑布图像的较高幅度延伸到第一瀑布图像的较低幅度的亮条纹辨识为向下滚动手势，以及将在时间上从第一瀑布图像的较低幅度延伸到第一瀑布图像的较高幅度的亮条纹辨识为向上滚动的手势。
[0021]在智能手表的另一个可能的实施方式中，所述至少一个处理器进一步由软件配置为生成在第二时间窗口期间测量的杂散光分量的第二瀑布图像，并在第一瀑布图像中未检测到触摸时丢弃第一瀑布图像。第二时间窗口和本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于控制可穿戴设备的方法，所述方法包括：在所述可穿戴设备上的检测器处接收光，所接收的光包括聚焦光分量和杂散光分量；过滤所接收的光以隔离所述杂散光分量；生成所述杂散光分量的瀑布图像，所述瀑布图像具有与在时间窗口期间测量的所述杂散光分量的幅度对应的像素值；分析所述瀑布图像以检测触摸；响应于检测所述触摸，使用手势分类器识别所述瀑布图像中的手势；以及基于所述手势控制所述可穿戴设备。2.根据权利要求1所述的方法，其中，过滤所接收的光以隔离所述杂散光分量包括：在所接收的光上执行主分量分析以隔离所述杂散光分量。4.根据权利要求1至4中的任一项所述的方法，其中，分析所述瀑布图像以检测所述触摸包括：确定所述瀑布图像的顺序统计量；将所述顺序统计量应用于触摸分类器以获得触摸概率；以及基于所述触摸概率确定在所述时间窗口期间发生了触摸或在所述时间窗口期间没有发生触摸。3.根据权利要求1或2所述的方法，其中，当未检测到触摸时，所述方法进一步包括：不使用所述手势分类器来识别所述瀑布图像中的所述手势以节省所述可穿戴设备的电力。5.根据权利要求4所述的方法，其中：所述瀑布图像的所述顺序统计量包括最大像素值和最小像素值；以及所述触摸分类器包括被配置为基于所述最大像素值和所述最小像素值返回所述触摸概率的支持向量机。6.根据前述权利要求中的任一项所述的方法，其中，所述手势分类器被配置为辨识与所述手势对应的所述瀑布图像中的图案。7.根据权利要求6所述的方法，其中，所述手势分类器被配置为基于与不同类型的手势对应的不同类型的存储的参考图案来辨识所述不同类型的手势。8.根据权利要求6或7所述的方法，其中，所述手势分类器包括二维卷积神经网络，所述二维卷积神经网络被配置为辨识与所述手势对应的所述瀑布图像中的图案。9.根据权利要求6至8中的任一项所述的方法，其中，所述手势分类器被配置为将所述瀑布图像中的单个亮点辨识为单击手势。10.根据权利要求6至9中的任一项所述的方法，其中，所述手势分类器被配置为将所述瀑布图像中的两个亮点辨识为双击手势。11.根据权利要求6至10中的任一项所述的方法，其中，所述手势分类器被配置为将在时间上从所述瀑布图像的较高幅度延伸到所述瀑布图像的较低幅度的亮条纹辨识为向下滚动手势。12.根据权利要求6至11中的任一项所述的方法，其中，所述手势分类器被配置为将在时间上从所述瀑布图像的较低幅度延伸到所述瀑布图像的较高幅度的亮条纹辨识为向上滚动手势。
13.根据前述权利要求中的任一项所述的方法，其中，所述可穿戴设备是智能手表。14.根据前述权利要求中的任一项所述的方法，其中，所述检测器是指向用户的手腕的光电体积描记传感器的一部分，所述光电体积描记传感器进一步包括被配置为向所述用户的手腕投射所述光的光源。15.一种智能手表，包括：传感器，包括：被配置为投射透射光的光源，所述透射光包括向所述智能手表下方的手腕部分发射的聚焦光和向不在所述智能手表下方的手腕部分发射的杂散光；以及被配置为接收背反射光的检测器，所述背反射光包括从所述智能手表下方的所述手腕部分反射回所述检测器的聚焦...

【专利技术属性】
技术研发人员：东吉克，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：