具有添加用户定制手势的框架的基于机器学习的手势识别制造技术

本公开涉及具有添加用户定制手势的框架的基于机器学习的手势识别。本发明专利技术公开了具有用于添加用户自定义手势的框架的机器学习(ML)手势识别的实施方案。在实施方案中，方法包括：接收指示由用户做出的手势的传感器数据，该传感器数据是从穿戴在该用户的肢体上的可穿戴设备的至少一个传感器获得的；使用机器学习模型来生成从该传感器数据提取的特征的当前编码，该机器学习模型以该特征作为输入；生成该当前编码与针对手势的一组先前生成的编码中的每个编码之间的相似度量度；基于该相似度量度生成相似度得分；基于该相似度得分预测由该用户做出的该手势；以及基于所预测的手势在该可穿戴设备或其它设备上执行动作。势在该可穿戴设备或其它设备上执行动作。势在该可穿戴设备或其它设备上执行动作。

【技术实现步骤摘要】
具有添加用户定制手势的框架的基于机器学习的手势识别
[0001]相关专利申请
[0002]本申请要求于2021年6月4日提交的美国临时专利申请63/197307和2021年9月1日提交的63/239905的优先权的权益，所述申请通过引用整体并入本文。


[0003]本公开总体上涉及用于在可穿戴设备上导航用户界面和执行其它动作的手势识别。

技术介绍

[0004]可穿戴计算机(诸如腕戴式智能手表)越来越受欢迎并且用于多种目的，诸如健康监测和健身应用。用户通常通过触摸显示器和/或冠部使用手/手指手势(诸如轻击、轻扫或夹紧)来与他们的智能手表交互。然而，这些手势需要用户的可用于执行手势的手是自由的。然而，存在许多场景，其中手是不自由的，诸如当用户抱着婴儿或杂货时或者在用户身体残疾的情况下。

技术实现思路

[0005]公开了具有用于添加用户自定义手势的框架的基于机器学习(ML)的手势识别的实施方案。
[0006]在实施方案中，一种方法包括：接收指示由用户做出的手势的传感器数据，该传感器数据是从穿戴在用户的肢体上的可穿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：利用至少一个处理器接收指示由用户做出的手势的传感器数据，所述传感器数据是从穿戴在所述用户的肢体上的可穿戴设备的至少一个传感器获得的；利用至少一个处理器使用机器学习模型来生成从所述传感器数据提取的特征的当前编码，所述机器学习模型以所述特征作为输入；利用至少一个处理器生成所述当前编码与针对手势的一组先前生成的编码中的每个编码之间的相似度量度；利用至少一个处理器基于所述相似度量度来生成相似度得分；基于所述相似度得分预测由所述用户做出的所述手势；以及利用至少一个处理器基于所预测的手势在所述可穿戴设备或其它设备上执行动作。2.根据权利要求1所述的方法，其中所述肢体是所述用户的手腕，并且所述传感器数据是从生物信号和至少一个运动信号的组合获得的。3.根据权利要求2所述的方法，其中所述生物信号是光电容积描记(PPG)信号，并且所述至少一个运动信号是加速度或角速率。4.根据权利要求1所述的方法，其中所述相似度量度是距离量度。5.根据权利要求1所述的方法，其中所述机器学习模型是神经网络。6.根据权利要求1所述的方法，其中所述相似度得分是由神经网络生成的。7.根据权利要求6所述的方法，其中所述神经网络是包括sigmoid激活函数的深度神经网络。8.根据权利要求1所述的方法，其中所述动作对应于导航所述可穿戴设备或其他设备上的用户界面。9.根据权利要求1所述的方法，其中所述机器学习模型是使用从一组已知手势获得的手势对的样本数据训练的神经网络，其中用指示所述手势来自相同类还是不同类的标签来注释所述对中的每个手势，并且使用所述机器学习模型来单独地编码所述对中的每个手势的特征向量。10.根据权利要求9所述的方法，其中所述机器学习模型在训练期间针对每个对中的每个手势使用不同的损失函数。11.一种系统，包括：至少一个处理器；存储器，所述存...

【专利技术属性】
技术研发人员：H，
申请(专利权)人：苹果公司，
类型：发明
国别省市：