用于机器学习以从图像分析肌肉骨骼康复的方法和设备技术

一种方法可以包含接收(1)至少一个对象的图像和(2)所述至少一个对象的至少一个总质量值。所述方法可以进一步包含执行第一机器学习模型以标识所述至少一个对象的关节。所述方法可以进一步包含执行第二机器学习模型以基于所述关节和所述图像来确定所述至少一个对象的肢。所述方法可以进一步包含基于所述关节和所述肢来生成骨骼的三维(3D)表示。所述方法可以进一步包含基于质量值和线性加速度值或扭矩惯性和角加速度值中的至少一者来确定每个肢的扭矩值。所述方法可以进一步包含基于至少一个扭矩值高于预定阈值来生成风险评估报告。一个扭矩值高于预定阈值来生成风险评估报告。一个扭矩值高于预定阈值来生成风险评估报告。

【技术实现步骤摘要】
【国外来华专利技术】用于机器学习以从图像分析肌肉骨骼康复的方法和设备
[0001]相关申请
[0002]本申请涉及2020年9月11日提交的题为“从单目图像重建身体姿势以进行风险缓解的工效学评估的无标志物系统和方法(Marker
‑
Less System and Method to Reconstruct Body
‑
Posture from Monocular Images to Perform Ergonomic Assessment for Risk Mitigation)”的专利申请第63/077,335号和2021年6月4日提交的题为“使用非侵入性数据采集进行肌肉骨骼康复的系统和方法(System and Method to Access Musculo
‑
Skeletal Rehabilitation Using Non
‑
intrusive Data Gathering)”的专利申请第63/202,298号。出于所有目的，上述申请的公开内容通过引用并入本文。


[0003]本公开涉及人工智能和/或机器学习领域，尤其涉及用于基于从摄像头收集的图像和/或视频来分析肌肉骨骼康复的机器学习方法和设备。

技术介绍

[0004]肌肉骨骼病影响着美国二分之一的成年人，估计涉及1.266亿美国人，其年度治疗费用为2130亿美元。最普遍的肌肉骨骼病状是关节炎，每年影响超过5000万美国人，其中一半是65岁以上的成年人。预计到2030年，关节炎的流行将影响25％的成年人口，涉及约6700万人。2011年，据估计，肌肉骨骼病的年度治疗费用和工资损失超过2130亿美元，占国内生产总值(GDP)的1.4％。考虑到患有肌肉骨骼疾病(包含其它并发症)的人的所有费用，治疗这些个体的总费用加上以工资减少或损失形式出现的社会费用(间接费用)，其2011年估值为每年8738亿美元。
[0005]因此，肌肉骨骼病的负担是显著的，并且以如此多的方式影响着如此多的人的生活。为了控制与肌肉骨骼病状相关联的巨大社会和经济影响，美国骨与关节计划(United States Bone and Joint Initiative)建议，除了促进和资助研究之外，受影响的人群应获得循证治疗、医生和包含理疗师在内的其它保健提供者之间的更好的护理协调以及预防未来损伤的行之有效的策略。
[0006]物理疗法治疗预防/减少肌肉骨骼病状，有效治疗肌肉骨骼疼痛并且改善健康。但是，当人们停止锻炼时，便失去了物理疗法治疗的益处，这通常因疗程短且随访受限而发生。因此，理疗师的工作范围应扩大到家庭环境，并且理疗师和患者应更密切且更频繁地监控患者的进展(运动范围、强度、力量、耐力)、关节功能障碍和改善(疼痛、关节功能障碍、虚弱、疲劳、僵硬)。
[0007]尽管包含约27400个康复治疗实践中心的美国物理治疗行业估计在2020年有383亿美元的收入，并且预计在接下来的五年中每年增长约3％，但是以可承受的成本向大量人群提供物理疗法护理的障碍之一仍然是相对于人口需求的理疗师的缺乏、患者的成本以及不能持续跟踪患者的进展。因此，需要用于物理疗法的经改善的方法和设备。

技术实现思路

[0008]在一些实施例中，一种方法包含接收(1)至少一个对象的图像和(2)所述至少一个对象的至少一个总质量值。所述方法进一步包含执行第一机器学习模型以标识所述至少一个对象的关节。所述方法进一步包含执行第二机器学习模型以基于所述关节和所述图像来确定所述至少一个对象的肢。所述方法进一步包含基于所述关节和所述肢来生成骨骼的三维(3D)表示。所述方法可以进一步包含基于质量值和线性加速度值或扭矩惯性和角加速度值中的至少一者来确定每个肢的扭矩值。所述方法进一步包含基于至少一个扭矩值高于预定阈值来生成风险评估报告。
附图说明
[0009]图1是根据一个实施例的肌肉骨骼康复装置的框图。
[0010]图2是示出了根据一个实施例的用于从一组图像分析肌肉骨骼康复的方法的流程图。
[0011]图3是根据一个实施例的用于从一组图像分析对象的肌肉骨骼康复的方法的示意图。
[0012]图4是根据一个实施例的用于检测一组对象并且跨帧跟踪一组对象的方法的示意图。
[0013]图5是根据一个实施例的用于估计一组姿态的方法的示意图。
[0014]图6是根据一个实施例的用于确定背部关节上的静态载荷的方法的示意图。
[0015]图7是根据一个实施例的用于将静态姿态数据和动态姿态数据分类到风险损伤类别中的分类模型的示意图。
[0016]图8是根据一个实施例的用于单目图像生成的方法的示意图。
具体实施方式
[0017]本文描述了实施例的各个方面和变化的非限制性实例，并且将其在附图中示出。
[0018]缺乏及时准确的反馈和健康护理专业人员的实时监督经常被认为是解释理疗期间改善缓慢和患者失去动力和参与意愿的最有影响的因素。此外，物理疗法评估经常在预约之间间歇地进行；这些评估可能是主观的、耗时的并且可能因治疗师而有所不同。为了改善理疗的效果，一些已知的装置和方法已经使用了远程康复、远程保健、基于视频游戏的锻炼、机器人辅助装置、外骨骼、触觉装置和/或可穿戴装置，但成效有限。例如，人口的老龄化、日益增长的对身体活动的兴趣以及对控制卫生保健成本的更广泛关注增加了开发允许患者在方便时进行锻炼并且同时可被持续监控的系统的需求，并且导致了美国对理疗师的需求的增加。
[0019]一些已知的物理治疗方法和设备使用测角仪来测量单个关节角度在单个时间的运动，并且随后评估患者在治疗期间的进展。对运动范围(ROM)的评估和精确记录ROM的改善或变化的能力可以有助于确定患者在物理疗法期间的进展。这种评估可能是耗时的，并且涉及手动收集关于患者运动的数据。因此，这种评估可能是昂贵的，并且不总是允许在主动运动期间对患者进行客观、精确和准确的评估。
[0020]一些已知的物理治疗方法和设备已经证明，使用附接到患者身体并且与机器学习
算法的应用相关联的传感器可以准确地测量关节角度的变化，并且允许监控和记录关节角度。已经开发了一些已知的用于机器人疗法的物理治疗方法和设备，以指导患者进行精确的运动，处理大量数据，并且向患者和治疗师提供关于渐进进展的量化信息。然而，这些方法存在一些局限性。首先，获取数据的技术通常相当昂贵。第二，数据的处理通常复杂而缓慢。第三，除了价格昂贵之外，传感器还经常会影响病人的运动。第四，机器人疗法系统通常不是为在家庭环境中使用而设计的，并且也可能很昂贵。第五，大多数康复疗程是在基于家庭的环境中进行的，这要求所使用的系统需简单并且允许准确的数据记录和快速的数据传输，以便理疗师连续监督患者的锻炼和进展。
[0021]本文描述的设备和方法是低成本的，不使用可穿戴/佩戴的传感器，并且可以对由摄像头捕捉的图像使用人工智能、计算机视觉和机器学习，以连续且准确地同时监控来自多个关节的ROM和力的变本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，其包括：接收(1)至少一个对象的多个图像和(2)所述至少一个对象的至少一个总质量值，执行第一机器学习模型，以从所述多个图像标识所述至少一个对象的多个关节；执行第二机器学习模型，以基于所述多个关节和所述多个图像来确定所述至少一个对象的多个肢；基于所述多个关节和所述多个肢来生成骨骼的多个三维(3D)表示；基于所述至少一个对象的所述至少一个总质量值和所述骨骼的所述3D表示来确定来自所述多个肢的每个肢的质量值和扭矩惯性值；对所述骨骼的所述多个3D表示进行数值微分，以产生来自所述多个肢的每个肢的线性加速度值和角加速度值；基于所述质量值和所述线性加速度值或所述扭矩惯性和所述角加速度值中的至少一者来确定来自所述多个肢的每个肢的扭矩值，以生成多个扭矩值；以及基于来自所述多个扭矩值的至少一个扭矩值高于预定阈值来生成风险评估报告。2.根据权利要求1所述的方法，其进一步包括：在执行所述第一机器学习模型之前，执行第三机器学习模型，以基于所述多个图像来生成围绕所述至少一个对象的多个边界框，所述多个图像按时间序列排序；将多个跟踪器放置在所述多个图像中的所述时间序列的第一图像的边界框中，所述第一图像在时间上早于来自所述多个图像的每个其余图像；以及执行卡尔曼滤波器来跟踪所述多个跟踪器，以跨所述多个图像标识所述至少一个对象。3.根据权利要求1所述的方法，其进一步包括：执行匈牙利最大匹配算法，以确定来自所述多个图像的每个图像处的所述多个关节之间的多个关系；对于来自所述多个图像的每个图像，基于所述多个关节和所述多个关系来产生所述至少一个对象的至少一个骨骼；以及执行所述第二机器学习模型，以生成所述骨骼的所述多个3D表示。4.根据权利要求1所述的方法，其进一步包括：将至少一个滤波器应用于所述骨骼的所述多个3D表示，以至少一个姿态，所述至少一个滤波器是基于用于记录所述多个图像的帧率来确定的；以及基于所述至少一个姿态对所述骨骼的所述多个3D表示进行去噪，以产生所述骨骼的多个细化3D表示。5.根据权利要求4所述的方法，其中所述至少一个滤波器包含巴特沃斯滤波器、最终中值滤波器或萨戈尔滤波器中的至少一种。6.根据权利要求1所述的方法，其中所述多个图像由具有焦点的摄像头记录，所述方法进一步包括：在执行所述第二机器学习模型之后，执行第三机器学习模型，以基于所述多个图像来生成所述至少一个对象相对于所述焦点的至少一个距离；基于所述至少一个距离和所述骨骼的所述多个3D表示来生成所述至少一个姿态；以及基于所述至少一个姿态对所述骨骼的所述多个3D表示进行去噪，以产生所述骨骼的多
个细化3D表示。7.根据权利要求6所述的方法，其中所述第三机器学习模型是自动编码器神经网络模型。8.根据权利要求A1所述的方法，其中所述骨骼的所述3D表示是所述骨骼的第一多个3D表示，来自所述骨骼的所述第一多个3D表示的每个骨骼3D表示是笛卡尔坐标矩阵，所述方法进一步包括：使用至少一个欧几里德矩阵变换所述骨骼的所述第一多个3D表示，以产生所述骨骼的第二多个3D表示，来自所述骨骼的所述第二多个3D表示的每个3D表示是欧拉角表示；以及对所述骨骼的所述第二多个3D表示进行数值微分，以产生关节运动速度值的多个时间序列。9.根据权利要求8所述的方法，其进一步包括：基于所述骨骼的所述第一多个3D表示中的所述多个关节来确定多个关节角度；以及基于关节运动速度值的所述多个时间序列和所述多个关节角度来确定多个最大扭矩值。10.根据权利要求9所述的方法，其进一步包括：基于关节运动速度值的所述多个时间序列来确定所述多个关节的多个活动的多个持续时间；以及基于所述多个最大扭矩值和所述多个活动的所述多个持续时间来确定来自所述多个关节的每个关节的多个总极限值。11.根据权利要求1所述的方法，其中所述至少一个对象没有佩戴任何运动传感器。12.根据权利要求1所述的方法，其进一步包括：基于所述骨骼的所述多个3D表示来为来自所述至少一个对象的所述多个肢的每个肢从多个质心位置确定质心位置。13.根据权利要求1所述的方法，其进一步包括：基于重量值、扭矩臂值、所述质量值、所述线性加速度值、所述扭矩惯性和所述角加速度值来确定来自所述多个肢的每个肢的所述扭矩值。14.一种非暂时性处理器可读介质，其存储表示待由处理器执行的指令的代码，所述代码包括使所述处理器进行以下操作的代码：执行第一机器学习模型，以针对来自进行多个活动的至少一个对象的多个图像的每个图像标识所述至少一个对象的多个关节；执行第二机器学习模型，以确定所述至少一个对...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：因西尔公司，
类型：发明
国别省市：