一种基于视觉感知的运动步态捕捉与评价方法及系统技术方案

本发明专利技术公开了一种基于视觉感知的运动步态捕捉与评价方法及系统，涉及视觉感知领域，方法包括：采集目标运动时解剖关键点在世界坐标下的三维动捕数据和其对应的不同视角下的RGB视频，估计视频分割后图像中目标的二维下肢关键点，通过配对的二维关键点和三维关键点，进行最小化重构误差并结合人体解剖学约束构建深度学习模型实现从二维关键点到三维关键点的映射，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；根据三维运动轨迹提取目标的步态信息，进行分析和提取步态特征量，综合评价步态特征量得到评价结果。该方法简化步态检测流程，提升步态分析环境的普适性。析环境的普适性。析环境的普适性。

【技术实现步骤摘要】
一种基于视觉感知的运动步态捕捉与评价方法及系统


[0001]本专利技术涉及视觉感知
，具体涉及一种基于视觉感知的运动步态捕捉与评价方法及系统。

技术介绍

[0002]目前临床医疗领域使用的三维步态分析是基于多传感器系统或者多相机光学捕捉系统完成相应数据采集的，其原理是通过多个红外摄像机同时捕捉粘贴于受检测者躯干及下肢的体表标记点，进而获取标记点高精度的三维运动轨迹，并依此可计算关节角度及相应的步态参数。虽然该方法获取的步态分析数据精准度高，存在但不限于以下局限性：
[0003]1、场景受限：被检查者需要在特定的步态分析室中进行检测，而非在普通的居家室内环境；
[0004]2、检测流程受限：被检查者在步态分析检查前需要暴露上半身及下半身的皮肤，并由专业的步态分析检查人员在其体表各处粘贴标记物(marker)，以便后续检查过程中通过摄像机捕捉标记物的运动轨迹；
[0005]3、需要通过昂贵且专业的多红外摄像机运动捕捉系统完成marker运动轨迹的捕捉。
[0006]上述局限性使得步态分析的检查只能由专业的检查人员在特定的场景下方可完成。
[0007]目前已有的研究，主要是对目标轮廓特征提取的主要目的是提取其包含的生物学特征，而非运动学参数的采集。同时，由于居家环境下视频通常由非固定视角拍摄，估计的三维人体运动学信息表示在移动的相机坐标系内，导致无法准确计算关键的步态参数，因此现有的视频分析方法无法满足临床医疗需要的三维运动学参数方面精度的估计。

技术实现思路

[0008]针对现有技术中的缺陷，本专利技术实施例提供的一种基于视觉感知的运动步态捕捉与评价方法及系统，检测流程简化，能提升步态分析环境的普适性，让步态检查和康复评估变得简单易行。
[0009]第一方面，本专利技术实施例提供的一种基于视觉感知的运动步态捕捉与评价方法，包括：通过运动捕捉系统采集目标运动时解剖关键点在世界坐标下的三维动捕数据；
[0010]在另一视角下采用相机采集相对应的目标的运动RGB视频，并用姿态估计方法估计RGB图像序列中目标的二维下肢关键点在图像中的像素坐标；
[0011]将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应；
[0012]构建基于深度学习的映射模型，学习所述二维下肢关键点和相机坐标系下做三维位置估计的映射函数；
[0013]以动作捕捉系统坐标系为世界坐标系，结合相机参数及相机在世界坐标系下的6D姿态得到坐标系转换矩阵，根据所述相机坐标系下三维位置估计和坐标系转换矩阵计算二
维下肢关键点在世界坐标系下的三维位置估计，将动作捕捉系统得到的三维下肢关键点与二维下肢关键点三维位置估计做最小化误差重构，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；
[0014]根据三维运动轨迹提取目标的步态信息，对所述步态信息进行分析，提取步态特征量，采用步态特征分析方法对步态特征量进行综合评价，得到步态评价结果。
[0015]第二方面，本专利技术实施例提供的一种基于视觉感知的运动步态捕捉与评价系统，包括：动捕数据采集模块、视频数据采集模块、匹配模块、数据处理模块和步态分析模块；
[0016]所述动捕数据采集模块用于通过运动捕捉系统采集目标运动时解剖关键点在世界坐标下的三维动捕数据；
[0017]所述视频数据采集模块用于在另一视角下采用相机采集相对应的目标的运动RGB视频，并用姿态估计方法估计RGB图像序列中目标的二维下肢关键点在图像中的像素坐标；
[0018]所述匹配模块用于将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应；
[0019]所述数据处理模块用于构建基于深度学习的映射模型，学习所述二维下肢关键点和相机坐标系下做三维位置估计的映射函数；
[0020]以动作捕捉系统坐标系为世界坐标系，结合相机参数及相机在世界坐标系下的6D姿态得到坐标系转换矩阵，根据所述相机坐标系下三维位置估计和坐标系转换矩阵计算二维下肢关键点在世界坐标系下的三维位置估计，将动作捕捉系统得到的三维下肢关键点与二维下肢关键点三维位置估计做最小化误差重构，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；
[0021]所述步态分析模块用于根据三维运动轨迹提取目标的步态信息，对所述步态信息进行分析，提取步态特征量，采用步态特征分析方法对步态特征量进行综合评价，得到步态评价结果。
[0022]本专利技术的有益效果：
[0023]本专利技术实施例提供的一种基于视觉感知的运动步态捕捉与评价方法及系统，简化目前已有的临床步态分析方法，使步态分析不局限于实验室层面，可以在居家环境实现普适且简便的步态检测，为普适性和便利性的步态检测提供新的可能，让步态检查和康复评估变得简便易行，最终达到远程医疗的目的。
附图说明
[0024]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
[0025]图1示出了本专利技术第一实施例所提供的一种基于视觉感知的运动步态捕捉与评价方法的流程图；
[0026]图2示出了本专利技术第一实施例所提供的一种基于视觉感知的运动步态捕捉与评价系统的结构框图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0029]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0030]还应当进一步理解，本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0031]如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉感知的运动步态捕捉与评价方法，其特征在于，包括：通过运动捕捉系统采集目标运动时解剖关键点在世界坐标下的三维动捕数据；在另一视角下采用相机采集相对应的目标的运动RGB视频，并用姿态估计方法估计RGB图像序列中目标的二维下肢关键点在图像中的像素坐标；将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应；构建基于深度学习的映射模型，学习所述二维下肢关键点和相机坐标系下做三维位置估计的映射函数；以动作捕捉系统坐标系为世界坐标系，结合相机参数及相机在世界坐标系下的6D姿态得到坐标系转换矩阵，根据所述相机坐标系下三维位置估计和坐标系转换矩阵计算二维下肢关键点在世界坐标系下的三维位置估计，将动作捕捉系统得到的三维下肢关键点与二维下肢关键点三维位置估计做最小化误差重构，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；根据三维运动轨迹提取目标的步态信息，对所述步态信息进行分析，提取步态特征量，采用步态特征分析方法对步态特征量进行综合评价，得到步态评价结果。2.如权利要求1所述的方法，其特征在于，所述将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应的具体方法包括：使用约定的动作对视频时间节点进行标记，以统一运动捕捉系统与RGB视频采集数据的时间轴起点；以运动捕捉系统的时间为时间轴基准，统一RGB视频与运动捕捉系统时间分辨率。3.如权利要求2所述的方法，其特征在于，所述统一RGB视频与运动捕捉系统时间分辨率步骤之后还包括：在运动捕捉系统与RGB视频数据采集频率不一致时，对运动捕捉系统中的一个采集时间点数据，寻找最接近的RGB视频数据采样时间点；使用插值从RGB视频中提取的二维人体下肢关键点坐标序列，计算对应时间点上RGB视频中的二维人体下肢关键点像素坐标。4.如权利要求1所述的方法，其特征在于，所述相机为移动相机，所述相机在世界坐标系下的6D姿态的具体方法包括：使用视觉定位与导航技术构建相机所处环境地图，对相机在环境中的位姿进行实时估计，估计相机在世界坐标系下的6D姿态。5.如权利要求1所述的方法，其特征在于，所述步态特征分析方法为步态偏差指数。6.一种基于视觉感知的运动步态捕捉与评价系统，其特征在于，包括：动捕数据采集模块...

【专利技术属性】
技术研发人员：蒋文彬，郭遥，詹琪佳，杨健鑫，肖波，
申请(专利权)人：上海市儿童医院，
类型：发明
国别省市：