基于意图标识的机器学习移动判定制造技术

移动能力增强系统监测表示用户的运动意图的数据，并且基于所监测的运动意图数据来增强用户的移动能力。机器学习模型被训练以基于所监测的运动意图数据来标识预期移动。机器学习模型可以基于通用或特定的运动意图数据(例如，用户特定的运动意图数据)来训练。最初在通用运动意图数据上训练的机器学习模型可以在用户特定的运动意图数据上重新训练，使得机器学习模型针对用户的移动被优化。该系统使用机器学习模型来标识用户的监测移动信号与目标移动信号之间的差异。基于所标识的差异，该系统确定致动信号以增强用户的移动。所确定的致动信号可以是对当前应用的致动的调整，使得该系统在应用期间优化致动策略。系统在应用期间优化致动策略。系统在应用期间优化致动策略。

【技术实现步骤摘要】
【国外来华专利技术】基于意图标识的机器学习移动判定
[0001]本公开总体涉及一种移动能力增强系统，并且更具体地，涉及使用移动意图来优化和个性化移动能力增强。
[0002]相关申请交叉引用
[0003]本申请要求于2020年12月6日提交的美国专利技术专利申请第17/113,059号和于2020年12月6日提交的美国专利技术专利申请第17/113,058号的权益，其全部内容通过引用并入本文。

技术介绍

[0004]数以亿计的人生活在残疾之中。根据美国疾病控制和预防中心2019年的一项研究，在美国，大约14％的残疾成年人具有移动能力残疾，导致人行走或爬楼梯严重困难。辅助移动能力的传统方法，诸如拐杖、手杖和轮椅，不足以使个人实现完全的独立和移动能力。
[0005]尽管诸如外骨骼之类的技术和诸如功能性电刺激(FES)的疗法标志着对提高移动能力的传统方法的改进，但此类技术受到与传统拐杖、手杖和轮椅类似的限制：它们不是针对用户个性化的，并且不能基于可用信息(例如，用户的移动)来优化移动能力增强。因此，可以通过个性化和优化移动能力增强来改进现有技术。

技术实现思路

[0006]本文描述的移动能力增强系统实现机器学习和控制机制以个性化和优化移动能力增强。该系统监测用户与移动相关联的各种数据，例如肌肉电活动(即肌肉激发)、运动学(“kinematics”)和动力学(“kinetics”)。通过监测肌肉电活动，该系统可以确定用户在做出移动之前意图做什么移动。这是对传统系统的改进，传统系统仅使用指示用户当前移动的惯性测量单元(IMU)数据来确定是否增强移动。传统系统采取的这种反应性方法不能在用户尝试神经典型移动之前帮助受到神经非典型运动功能影响的用户。
[0007]本文描述的移动能力增强系统使用机器学习模型来确定预期移动，该机器学习模型基于诸如肌肉电活动、运动学和动力学的监测数据来标识预期移动或移动预测。机器学习模型可以根据在一群用户上收集的通用移动数据或在与特定用户的移动相关联的数据上进行训练，这微调其对该用户的移动预测并且实现个性化的移动能力增强。该系统使用移动预测来确定移动能力增强或致动策略。该致动策略可以进一步对用户个性化。
[0008]一旦系统应用了致动策略，它就进一步监测用户的移动，以衡量所应用的致动策略有多成功。通过比较所监测的移动和与用户意图相关联的目标移动，该系统可以重新训练机器学习模型(例如，当致动策略适合于所标识的预期移动时)。以这种方式，该系统进一步对用户个性化移动能力增强。此外，在比较所监测的移动与目标移动之后，该系统可以调整致动策略以最小化所监测的移动与目标移动之间的后续差异。因此，该系统通过在应用致动之后监测用户来优化致动策略。
[0009]在一个实施例中，移动能力增强系统从数据库中收集一个或多个用户的第一运动
意图数据集。运动意图数据的示例包括肌电(EMG)数据、IMU数据、足底压力信号或其组合。该系统利用意图标签来标记第一运动意图数据集，意图标签表示由第一运动意图数据集表征的预期运动。例如，运动意图数据可以利用意图标签来标记，该意图标签指示用户意图向前迈一步或抬起脚趾。该系统基于所标记的第一组运动数据来创建第一训练集以训练机器学习模型。机器学习模型被配置为基于所监测的运动意图数据而输出对应于由所监测的运动意图数据表征的可能运动的移动预测。所监测的运动意图数据可以由位于用户身体上的各种区域的传感器(例如，与有助于第一运动意图数据集的用户不同的目标用户)捕获。该系统基于移动预测和对应于目标用户的移动信号的第二运动意图数据集来创建第二训练集。使用第二训练集来重新训练机器学习模型，以使其针对目标用户的运动进行定制。
[0010]第一运动意图数据集可以包括神经典型运动意图数据、神经非典型运动意图数据或两者的组合。目标用户的移动信号可以包括运动学信号、足底压力信号或动力学信号。可以使用来自数据库的一个或多个用户的足底压力信号、运动学信号和动力学信号来确定意图标签。第一运动意图数据集可以由用户、观察用户的观察者、被配置为识别视频内的运动的计算机可视化算法、提示用户执行特定动作的系统或其组合来标记。第一运动意图数据集可以包括由各个用户执行的各种运动或由各个用户执行的共同运动或相同运动。共同运动可以是迈步、抓握、抬起或收缩。
[0011]第一运动意图数据集可以表示目标用户在目标用户上的第一位置处执行的运动，并且可以在目标用户上的第二位置处监测移动信号，其中第一位置和第二位置跨目标用户的身体的矢状面(“sagittal plane”)而被镜像。移动预测可以对应于在第一位置执行的运动的目标移动信号。例如，第一运动意图数据集可以包括在目标用户的左脚处测量的EMG数据，并且可以在目标用户的右脚处监测移动信号。使用第二训练集来重新训练机器学习模型可以包括在确定相似性得分超过阈值时，加强所监测的运动意图数据与移动预测之间的关联，其中使用目标移动信号和目标用户的移动信号(例如，信号之间的差异)来计算相似性得分。相似性得分可以指示目标用户步态的对称性。如果相似性得分未能超过阈值，则可以削弱所监测的运动意图数据与移动预测之间的关联。
[0012]使用第二训练集来重新训练机器学习模型可以附加地或备选地包括：在基于所标记的第二运动意图数据集来确定目标用户的一个或多个脚趾在步态期间向上翻转后加强所监测的运动意图数据与移动预测之间的关联，以及在基于标记的第二运动意图数据集来确定目标用户的一个或多个脚趾在步态期间未能向上翻转后削弱所监测的运动意图数据与移动预测之间的关联。对于各个用户中的每个用户，相应用户的第一运动意图数据集可以在时间域中对齐，并且使用信号处理技术(例如，滤波、平均、找峰、下采样、傅立叶变换、均方根平均或其组合)来处理。生物力学模型可用于确定与处理后的数据相关联的运动学数据。
[0013]移动预测可以对应于表示与各种目标移动信号相关联的肌肉活动事件序列的移动模板。对应于可能运动的移动预测可以包括在监测运动意图数据的时间之后发生的后续时间处的可能IMU数据值。通过确定表示位于目标用户身体的不同区域的肌肉事件的特征向量，可以基于所标记的第一运动意图数据集来创建第一训练集，其中肌肉事件由第一运动意图数据集表征。可以接收来自在监测目标用户数据的移动信号之前执行的(例如，与目标用户)校准的校准数据，并且将其用于重新训练机器学习模型。例如，可以使用第二训练
集来重新训练机器学习模型，该第二训练集使用校准数据。因此，该模型可以进一步对目标用户定制。可以使用远程设备(例如，远程计算服务器)的处理器来重新训练机器学习模型。
[0014]在另一实施例中，移动能力增强系统应用机器学习模型来标识用户的预期移动。该系统监测表示用户移动的移动信号。机器学习模型用于基于从用户接收的运动意图数据(例如，通过位于用户身体上的传感器)来确定用户的预期移动。使用预期移动确定，该系统标识移动信号与目标移动信号之间的差异。目标移动信号可以表示用户的预期移动。例如，该系统确定用户意图站立，并且目标移动信号包括运动学、动力学、EMG信号本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：从数据库中收集一个或多个用户的第一运动意图数据集；利用意图标签来标记所述第一运动意图数据集，所述意图标签表示由所述第一运动意图数据集表征的预期运动；基于所标记的所述第一运动意图数据集来创建第一训练集；使用所述第一训练集来训练机器学习模型，所述机器学习模型被配置为基于所监测的运动意图数据来输出对应于由所述所监测的运动意图数据表征的可能运动的移动预测；基于所述移动预测和对应于目标用户的移动信号的所标记的第二运动意图数据集来创建第二训练集；以及使用所述第二训练集来重新训练所述机器学习模型，使得所述机器学习模型针对所述目标用户的运动定制。2.根据权利要求1所述的方法，其中所述第一运动意图数据集包括以下一项或多项：肌电(EMG)数据、惯性测量单元(IMU)数据、足底压力信号或动力学信号。3.根据权利要求1或2中任一项所述的方法，其中所述第一运动意图数据集包括以下一项或多项：神经典型运动意图数据或神经非典型运动意图数据。4.根据权利要求1至3中任一项所述的方法，其中所述目标用户的所述移动信号包括运动学信号、足底压力信号或动力学信号中的一项或多项。5.根据权利要求1至4中任一项所述的方法，还包括基于来自数据库的一个或多个用户的足底压力信号、运动学信号和动力学信号中的一项或多项来确定所述意图标签。6.根据权利要求1至5中任一项所述的方法，其中所述第一运动意图数据集由以下一项或多项标记：所述一个或多个用户、观看所述一个或多个用户的一个或多个观察者、被配置为识别视频内的运动的计算机可视化算法、或者被配置为提示所述一个或多个用户执行特定动作的系统。7.根据权利要求1至6中任一项所述的方法，其中所述第一运动意图数据集包括以下一项或全部两项：由多个用户执行的多个运动或由所述多个用户执行的共同运动。8.根据权利要求7所述的方法，其中所述共同运动是迈步、抓握、抬起或收缩中的一个。9.根据权利要求1至8中任一项所述的方法，其中所述第一运动意图数据集表示由所述目标用户在所述目标用户上的第一位置处执行的多个运动。10.根据权利要求9所述的方法，其中所述移动预测对应于与所述目标用户在所述第一位置处执行的所述多个运动相关联的多个目标移动信号，并且所述移动信号在所述目标用户上的第二位置处被监测，所述第一位置和第二位置跨所述目标用户的身体的矢状面而被镜像。11.根据权利要求10所述的方法，其中使用所述第二训练集来重新训练所述机器学习模型包括：响应于基于所述多个目标移动信号和所述目标用户的移动信号计算的相似性得分超过阈值，加强所述所监测的运动意图数据与所述移动预测之间的关联，所述相似性得分指示所述目标用户的步态的对称性；以及响应于所述相似性得分未超过所述阈值，削弱所述所监测的运动意图数据与所述移动预测之间的所述关联。
12.根据权利要求1至11中任一项所述的方法，其中使用所述第二训练集来重新训练所述机器学习模型包括：响应于基于所标记的所述第二运动意图数据集确定所述目标用户的一个或多个脚趾在步态期间向上翻转，加强所述所监测的运动意图数据与所述移动预测之间的关联；以及响应于基于所标记的所述第二运动意图数据集确定所述目标用户的一个或多个脚趾在步态期间未向上翻转，削弱所述所监测的运动意图数据与所述移动预测之间的所述关联。13.根据权利要求1至12中任一项所述的方法，还包括针对所述一个或多个用户中的每个用户：在时间域中对准相应的所述用户的所述第一运动意图数据集；使用选自滤波、平均、找峰、下采样、傅里叶变换和均方根平均的一种或多种信号处理技术来处理相应的所述用户的所述第一运动意图数据集；以及使用生物力学模型来确定与相应的所述用户的经处理的所述第一运动意图数据集相关联的运动学数据。14.根据权利要求1至13中任一项所述的方法，其中所述移动预测对应于表示肌肉活动事件序列的移动模板，所述肌肉活动事件序列与多个目标移动信号相关联。15.根据权利要求1至14中任一项所述的方法，其中对应于所述可能运动的所述移动预测包括在所述所监测的运动意图数据被监测的时间之后发生的后续时间处的可能IMU数据值。16.根据权利要求1至15中任一项所述的方法，其中基于所标记的所述第一运动意图数据集来创建所述第一训练集包括：确定表示位于由所述第一运动意图数据集表征的所述目标用户身体的不同区域处的肌肉事件的特征向量。17.根据权利要求1至16中任一项所述的方法，还包括：接收与在监测所述目标用户的所述移动信号之前执行的校准相关联的校准数据，其中使用所述第二训练集来重新训练所述机器学习模型还使用所述校准数据，使得所述机器学习模型对所述目标用户的所述运动被进一步定制。18.根据权利要求1至17中任一项所述的方法，其中所述机器学习模型使用远程设备的一个或多个处理器而被重新训练。19.一种移动能力改进系统，包括存储用于执行的指令的非瞬态计算机可读存储介质和被配置为执行所述指令的硬件处理器，所述指令在被执行时，使所述硬件处理器执行步骤，包括：从数据库中收集一个或多个用户的第一运动意图数据集；利用意图标签来标记所述第一运动意图数据集，所述意图标签表示由所述第一运动意图数据集表征的预期运动；基于所标记的所述第一运动意图数据集来创建第一训练集；使用所述第一训练集来训练机器学习模型，所述机器学习模型被配置为基于所监测的运动意图数据来输出对应于由所述所监测的运动意图数据表征的可能运动的移动预测；基于所述移动预测和表示目标用户的移动信号的第二运动意图数据集来创建第二训练集；以及
使用所述第二训练集来重新训练所述机器学习模型，使得所述机器学习模型针对所述目标用户的运动而被优化。20.一种方法，包括：从数据库中收集一个或多个用户的运动意图数据集；利用意图标签来标记所述运动意图数据集，所述意图标签表示由所述运动意图数据集表征的预期运动；基于所标记的所述运动意图数据集来创建训练集；以及使用所述训练集来训练机器学习模型，所述机器学习模型被配置为基于所监测的运动意图数据而输出对应于由所述所监测的运动意图数据表征的可能运动的移动预测。21.一种方法，包括：监测代表用户移动的多个移动信号；使用机器学习模型来标识所述多个移动信号与表示预期移动的多个目标移动信号之间的差异，所述机器学习模型被配置为基于...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：西奥尼克公司，
类型：发明
国别省市：