【技术实现步骤摘要】
帕金森病步态运动障碍严重程度的评估方法、系统及设备
本专利技术涉及帕金森病患者步态运动分析领域,特别是涉及帕金森病步态运动障碍严重程度的自动评估方法、系统及设备。
技术介绍
帕金森病(PD)是一种渐进式的神经退行性疾病,其四个主要症状为静止性震颤、僵硬、运动障碍和姿势不稳。其中,运动障碍是PD最典型的临床特征和最容易识别的症状之一[1]。目前对于帕金森病运动功能评估的主要依据是评估量表,统一帕金森病评定量表(UPDRS)[2]是评估PD的最完善的标准评定量表,并于2007年更新了由运动障碍协会(MDS)修订后的版本,被称为MDS-UPDRS[3]。该量表的第三部分评价的是PD运动症状,要求评分者根据所观察到病人的情况来对步态、脚趾拍地运动、腿部灵活性等18个项目进行0-4分的严重程度评分,0分表示正常,4分表示重度。在实践中,经验丰富的临床医生会根据该量表对患者的运动功能进行量化评估。但这存在两个弊端:一方面,临床医生的评估费时较长,并且存在主观性。另一方面,这种评估方式不利于实现PD患者移动化的实时家庭管理和及时的病情反馈 ...
【技术保护点】
1.一种帕金森病步态运动障碍严重程度的自动评估方法,其特征在于,包括:/n获取帕金森病患者的步态视频;/n对所述步态视频的数据进行处理,并将其划分成训练集和测试集,以对神经网络模型进行训练和测试;/n利用所述神经网络模型对待评估的帕金森病患者的步态视频进行分析,以得到所述待评估的帕金森病患者的步态运动障碍严重程度的评估结果。/n
【技术特征摘要】
1.一种帕金森病步态运动障碍严重程度的自动评估方法,其特征在于,包括:
获取帕金森病患者的步态视频;
对所述步态视频的数据进行处理,并将其划分成训练集和测试集,以对神经网络模型进行训练和测试;
利用所述神经网络模型对待评估的帕金森病患者的步态视频进行分析,以得到所述待评估的帕金森病患者的步态运动障碍严重程度的评估结果。
2.根据权利要求1所述的方法,其特征在于,对所述步态视频的数据进行处理的步骤包括:
从所述步态视频的每一帧图像中分别提取人体关键点的坐标;
根据所述人体关键点的坐标构建基于关节点的空间时间图和基于骨骼的空间时间图;其中,所述基于关节点的空间时间图表示为节点集包含每一帧图像中的N个关节点,边集包含空间上每一帧图像中人体自然连接的关节组成的边集合以及时间维度上的边集合,后者εP={vtiv(t+1)i|t=1,…,T-1}的意义为连续帧中的相同关节进行连接所构成的边集,T为正整数;所述基于骨骼的空间时间图表示为节点集包含每一帧图像中的N个骨骼向量形成的节点,边集ε*包含空间上每一帧图像中人体自然连接的节点组成的边集合以及时间上连续帧中的相同节点进行连接所构成的边集。
3.根据权利要求2所述的方法,其特征在于,所述神经网络模型采用双流空间时间图卷积模型ST-GCN,用以得到基于关节点的空间时间图的各类评估分数的概率值及基于骨骼的空间时间图的各类评估分数的概率值;其中,所述双流空间时间图卷积模型的每个ST-GCN单元中的空间图卷积操作的实现公式为:
其中,每个ST-GCN单元的输入特征为输入特征的通道数为Cin,T为帧数,N为关节点数;经过空间图卷积操作后的输出特征为输出特征的通道数为Cout;骨架序列中每帧的体内关节的邻接矩阵为A+I,由人体关节自然连接所形成的邻接矩阵A和表示自连接的单位矩阵I表示;M为可学习的边的权重矩阵;Dii=∑j(Aij+Iij)为度矩阵,用于邻接矩阵的归一化操作,W是通过卷积操作实现的图结构的权重函数,用以提升输入特征的通道维度。
4.根据权利要求3所述的方法,其特征在于,所述双流空间时间图卷积模型中的两个ST-GCN单元还连接有空间时间注意力感知模块,用以利用空间时间信息选择空间时间维度下的判别性特征区域;其中,所述空间时间注意力感知模块中空间时间注意力感知系数矩阵α的实现公式为:
α=δ2(θ3(δ1(θ1(fatt_in)+θ2(E))))
其中,fatt_in为注意力感知模块的输入低层特征,E为引导空间时间注意力的高层特征,三个线性变换θ1、θ2、θ3函数都是通过基于通道的卷积操作来实现的,δ1(x)采用线性整流函数ReLU,δ2(x)为α的归一化函数,如下所示:
其中,αmin为矩阵中的最小值,Tx、Vx分别为矩阵的时间、空间维度。
此外,所述空间时间注意力感知模块在前向或后向传播过程中都会自动过滤不相关的特征激活,来自非判别性特征区域的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。