一种骨关节运动分析方法及系统技术方案

本发明专利技术涉及骨关节运动分析技术领域，提供了一种骨关节运动分析方法，包括步骤：S1：建立骨关节运动分析深度模型；S2：基于骨关节设置至少两个位于不同视角的影像拍摄设备，并在第一时刻与第二时刻，获取位于不同视角的至少两个影像，生成第一影像集和第二影像集；S3：将第一影像集输入骨关节运动分析模型，输出第一三维关键点位置信息，并转化成第一坐标信息；将第二影像集输入骨关节运动分析模型，输出第二三维关键点位置信息，并转化成第二坐标信息；S4：根据第一坐标信息和第二坐标信息，计算第二时刻相对第一时刻的相对旋转与位移。利用多视角的影像，基于深度学习方法，快速实现对于骨关节特征点识别，进而建立坐标系求解关节运动信息。动信息。动信息。

【技术实现步骤摘要】
一种骨关节运动分析方法及系统


[0001]本专利技术涉及骨关节运动分析的
，尤其涉及一种骨关节运动分析方法及系统。

技术介绍

[0002]为了实现人体关节运动的快速分析，目前手段常借助RGB
‑
D摄像头(如Kinect等)、反光标记点(Vicon动作捕捉系统)、惯性测量单元等实现。
[0003]专利申请CN112989996A利用运动捕捉设备，通过红外光立体追踪技术实现对于髋膝关节的动态追踪，在建立完人体骨架模型后，实时计算骨关节的六自由度运动学数据，快速的人体运动估计。
[0004]专利申请CN114931743A利用连续的摄像头影像，借助识别人体的关键点信息，完成对于人体主要关节的屈曲视角计算。
[0005]连续曝光的X光影像可以精准地动态展现骨关节运动，且不受限于软组织的影响，专利申请CN112184782A利用X光影像进行运动分析，在预先载入三维体数据后，利用生成虚拟X光影像的手段来进行三维到二维的配准，在配准后进行基于坐标系的六自由度运动分析。
[0006]尽管上述方法可以实现一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种骨关节运动分析方法，其特征在于，包括以下步骤：S1：建立骨关节运动分析深度模型；S2：基于骨关节设置至少两个位于不同视角的影像拍摄设备，并在骨关节运动过程中的第一时刻与第二时刻，分别获取所述影像拍摄设备拍摄的位于不同视角的至少两个影像，生成与所述第一时刻对应的第一影像集，以及与所述第二时刻对应的第二影像集；S3：将所述第一影像集输入所述骨关节运动分析模型，输出所述第一时刻的第一三维关键点位置信息，并转化成第一坐标信息；将所述第二影像集输入所述骨关节运动分析模型，输出所述第二时刻的第二三维关键点位置信息，并转化成第二坐标信息；S4：根据所述第一坐标信息和所述第二坐标信息，计算骨关节在所述第二时刻相对所述第一时刻的相对旋转与位移，得到六自由度数据。2.根据权利要求1所述的骨关节运动分析方法，其特征在于，在步骤S1中，建立所述骨关节运动分析深度模型，具体为：预先收集用于建立所述骨关节运动分析深度模型的训练集，所述训练集至少包括所述第一时刻及所述第二时刻在至少两个位于不同视角的所述影像拍摄设备处拍摄的影像；建立特征提取模块，对所述训练集中的每一张影像提取多张不同分辨率特征图，并将多张不同分辨率特征图进行上采样至相同分辨率后拼接，形成特征提取后的特征图；建立多视角特征融合模块，针对每一个时刻获取的至少两个位于不同视角的所述影像拍摄设备处拍摄的影像，对所述特征提取后的特征图采用包括所有特征图直接相加，或所有特征图直接拼接，或特征图进行相加、串接、卷积操作得到更新特征图，再与原始特征图拼接，输出新特征图在内的操作进行融合；建立多任务处理模块，在所述骨关节运动分析深度模型训练的过程中，对每一个影像分别进行包括骨骼分割、骨骼目标检测、基于特征图的骨骼中心点检测、骨骼特征点识别在内的损失函数loss设定；建立三角化模块，根据当前时刻预测所得的不同视角的二维关键点位置信息，利用三角化方法求解当前时刻的三维关键点位置信息，并建立三角化方法求解的损失函数loss；建立训练模块，对骨骼分割、骨骼目标检测、基于特征图的骨骼中心点检测、骨骼特征点识别、三角化方法求解五个损失函数loss得到总loss,各任务共享特征提取模块权重，利用随机梯度下降训练任务。3.根据权利要求2所述的骨关节运动分析方法，其特征在于，还包括：对预先收集的用于建立所述骨关节运动分析深度模型的所述训练集中的每张影像进行处理，具体为：给定每张影像下骨骼的掩膜，其中，目标骨骼区域标记为非零，非目标骨骼区域标记为零；定义骨骼的检测锚框[x,y,w,h]，其中，x与y为所述检测锚框左上角顶点，w和h为所述检测锚框的宽和高；定义骨骼中心点[x
center
,y
center
]，所述骨骼中心点为骨骼的内外踝中点或内外平台中点；定义骨骼特征点，采用包括利用三维Canny算子从CT体数据中提取骨骼三维关键点、手动选取建立骨骼解剖坐标系所需的骨骼骨性特征点、随机选取骨骼三维关键点在内的方式获取到所述骨骼特征点，记为P＝[x
1bone
,y
1bone
,z
1bone
,x
2bone
,y
2bone
,z
2bone
,...]，并基于每一
个所述影像拍摄设备，将所述骨骼特征点投影至所述影像拍摄设备，得到在所述影像拍摄设备上相对所述骨骼中心点的像素坐标[x
1bone
,y
1bone
,x
2bone
,y
2bone
...]，其中，x与y分别为对应所述骨骼中心点[x
center
,y
center
]沿影像X方向与Y方向的像素坐标。4.根据权利要求3所述的骨关节运动分析方法，其特征在于，在所述特征提取模块中，所述特征图提取的具体方法为：对于所述训练集中的每一张影像，利用主干网络HRnetV2得到不同分辨率特征图并将多张不同分辨率特征图上采样至相同分辨率后拼接，得到所述特征提取后的特征图H
n
，所述特征提取后的特征图的尺寸为W*H*C，其中W、H为影像的宽和高，C为特征图通道数量，n为每一时刻影像的序号。5.根据权利要求4所述的骨关节运动分析方法，其特征在于，在所述多视角特征融合模块中，针对每一个时刻获取的至少两个位于不同视角的所述影像拍摄设备处拍摄的影像，对所述特征提取后的特征图H1...H
...

【专利技术属性】
技术研发人员：王聪，蔡宗远，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：