一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统技术方案

本发明专利技术提供一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统，包括相互连接的婴幼儿骨骼关键点坐标检测系统和婴幼儿爬行姿态智能分析与识别系统，婴幼儿骨骼关键点坐标检测系统包括依次连接的视频输入模块、目标检测模块、关键点检测模块和数据预处理模块，婴幼儿爬行姿态智能分析与识别系统包括依次连接的数据归一化模块、特征提取模块和爬行姿态识别模块。本系统不需要在被采集对象身体上附着任何数据采集装置，即本发明专利技术采用非接触式获取并准确提取其爬行运动信息，增强了婴幼儿对于数据采集环节的依从性，操作简单，省时省力，为解决婴幼儿非接触式爬行运动信息的获取和分析提供了可能，提升了在临床上的应用和推广。提升了在临床上的应用和推广。提升了在临床上的应用和推广。

【技术实现步骤摘要】
一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统


[0001]本专利技术涉及儿童早期运动功能发育评估
，具体涉及一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统。

技术介绍

[0002]爬行是婴幼儿运动发育过程中的重要标志。有研究已经证实：婴幼儿爬行运动频率和爬行时间的增加有助于其运动系统的发育，尤其对于直立行走能力的获得具有非常积极的作用，而婴幼儿阶段缺乏足够的爬行锻炼甚至有可能会导致异常步态模式的出现；除了在运动发育方面的积极作用以外，爬行运动还能够促进婴幼儿空间记忆以及情绪管理等能力的提高。另一方面，对于因大脑损伤导致的运动功能障碍患者而言，爬行常作为其运动康复的重要训练手段，例如，爬行已经被证实能够有效促进运动发育迟缓婴幼儿大脑功能的发育，同时对于小脑运动稳定性的提高也具有积极作用。同时，长期的爬行训练能够对患者的神经肌肉系统产生刺激作用，进而激发其神经肌肉功能的恢复与重建，最终提高运动康复的疗效。在脑瘫儿童康复训练研究中发现：结合爬行训练的治疗组在康复效果上显著优于采用常规康复方案的对照组。与此同时，爬行训练在脑卒中、少儿脊柱损伤等运动损伤疾病的康复中也取得了良好效果。
[0003]现有针对人体爬行运动分析普遍采用的表面肌电、三维运动轨迹捕捉等测量技术均需要将标记物或传感器附着在被采集对象的身体上。而本申请的专利技术人经过研究发现，对于成人及学龄儿童而言，这种采集方式或许可以为受试者所接受，但是对于低龄幼儿或者大脑功能损伤的患儿，其往往伴有情绪异常等并发症，传感器或者标志物的贴敷容易引起患儿的不适，进而降低其对于数据采集环节的依从性，严重情况下甚至会拒绝佩戴，导致数据采集失败，这极大的限制了在临床上的应用和推广。因此，如何在不影响婴幼儿自然爬行状态的前提下(即非接触式)获取并准确提取其爬行运动信息成为关键。

技术实现思路

[0004]针对现有人体爬行运动分析需要将标记物或传感器附着在被采集对象身体上，但是这种采集方式对于低龄幼儿或者大脑功能损伤的患儿容易引起不适，进而降低其对于数据采集环节的依从性，严重情况下甚至会拒绝佩戴，导致数据采集失败，极大限制了在临床上应用和推广的技术问题，本专利技术提供一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统。
[0005]为了解决上述技术问题，本专利技术采用了如下的技术方案：
[0006]一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统，包括婴幼儿骨骼关键点坐标检测系统和婴幼儿爬行姿态智能分析与识别系统，所述婴幼儿骨骼关键点坐标检测系统包括视频输入模块、目标检测模块、关键点检测模块和数据预处理模块，所述视频输入模块用于对输入的单目相机记录下的婴幼儿爬行视频进行帧处理，把每个视频转化成连续的单张图片；所述目标检测模块用于采用YOLOV5网络模型对图片中的婴幼儿目标位置进行有效
检测与分割，获得后续关键点检测模块的感兴趣区域，该区域内排除了包括其他物体、背景在内的干扰因素对于婴幼儿爬行姿态关键点的干扰；所述关键点检测模块包括婴幼儿爬行姿态的骨骼关键点模型构建单元和基于ResNet
‑
152残差网络模型的2D姿势识别单元，所述婴幼儿爬行姿态的骨骼关键点模型构建单元用于构建涉及人体单侧头、肩、肘、腕、髋、膝、踝主要关节的七点骨骼关键点模型，该模型仅识别面向相机一侧肢体骨骼关键点，所述基于ResNet
‑
152残差网络模型的2D姿势识别单元用于自动识别输入的爬行图片中婴幼儿七点骨骼关键点的2D坐标(x，y)，其中所述ResNet
‑
152残差网络模型首先利用人工标注的七点骨骼关键点模型进行预训练好；所述数据预处理模块用于对输出的七点骨骼关键点2D坐标(x，y)数据进行预处理，包括先利用三次样条插值的方式对坐标数据存在的缺损值进行补值，再利用中值滤波去除高频干扰；
[0007]所述婴幼儿爬行姿态智能分析与识别系统包括数据归一化模块、特征提取模块和爬行姿态识别模块，所述数据归一化模块用于将预处理后的人体七点骨骼关键点2D坐标数据归一化，以将人体姿态缩放到同一个高度，具体归一化时将肩关节作为坐标平面的原点，并以肩关节和髋关节中心之间的距离为基；所述特征提取模块用于利用归一化后的各骨骼关键点2D坐标提取各爬行姿态特征，所述爬行姿态特征包括基于婴幼儿爬行过程中各骨骼关键点之间表征肢体距离的欧式距离特征以及上下肢骨骼关键点之间的关节夹角特征；所述爬行姿态识别模块用于利用特征提取模块获得的各关键点欧式距离特征以及关节夹角特征对不同爬行姿态进行智能化识别。
[0008]进一步，所述ResNet
‑
152残差网络模型包括顺序连接的输入卷积层、第一残差组、第二残差组、第三残差组、第四残差组、反卷积层和输出卷积层，所述第一残差组由三个Bottleneck网络模块组成，所述第二残差组由八个Bottleneck网络模块组成，所述第三残差组由三十六个Bottleneck网络模块组成，所述第四残差组由三个Bottleneck网络模块组成。
[0009]进一步，所述第一至第四残差组中，每个Bottleneck网络模块包括顺序连接的第一卷积层、第二卷积层和第三卷积层，以及连接于第一卷积层输入端和第三卷积层输出端之间的跳跃连接层。
[0010]进一步，所述ResNet
‑
152残差网络模型中的输入卷积层通道数为64，且卷积层的卷积核大小为7
×
7，Bottleneck网络模块改进的三个卷积核大小分别为1
×
1、3
×
3、1
×
1，且第一残差组的Bottleneck网络模块通道数分别为64、64、256，第二残差组的Bottleneck网络模块通道数分别为128、128、512，第三残差组的Bottleneck网络模块通道数分别为256、256、1024，第四残差组的Bottleneck网络模块通道数分别为512、512、1024。
[0011]进一步，基于Bottlenck网络模块改进，推迟了Bottleneck下采样过程，1
×
1卷积核步幅stride由2修改为1，把下采样过程移入到3
×
3卷积核上，使步幅stride由1修改为2；同时对跳跃连接层用平均池化替代1
×
1卷积核做下采样。
[0012]进一步，所述数据归一化模块中的归一化公式定义如下：
[0013][0014]其中，P
i
是人体第i个关节的输出2D坐标(x，y)，P
i
'是P
i
经过归一化后的2D坐标(x'，y')，P
25
是肩关节P2与髋关节P5之间的距离。
[0015]进一步，所述欧式距离特征包括婴幼儿头部1与肩关节2、肘关节3、腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D12、D13、D14、D15、D16、D17，肩关节2与肘关节3、腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统，其特征在于，包括婴幼儿骨骼关键点坐标检测系统和婴幼儿爬行姿态智能分析与识别系统，所述婴幼儿骨骼关键点坐标检测系统包括视频输入模块、目标检测模块、关键点检测模块和数据预处理模块，所述视频输入模块用于对输入的单目相机记录下的婴幼儿爬行视频进行帧处理，把每个视频转化成连续的单张图片；所述目标检测模块用于采用YOLOV5网络模型对图片中的婴幼儿目标位置进行有效检测与分割，获得后续关键点检测模块的感兴趣区域，该区域内排除了包括其他物体、背景在内的干扰因素对于婴幼儿爬行姿态关键点的干扰；所述关键点检测模块包括婴幼儿爬行姿态的骨骼关键点模型构建单元和基于ResNet
‑
152残差网络模型的2D姿势识别单元，所述婴幼儿爬行姿态的骨骼关键点模型构建单元用于构建涉及人体单侧头、肩、肘、腕、髋、膝、踝主要关节的七点骨骼关键点模型，该模型仅识别面向相机一侧肢体骨骼关键点，所述基于ResNet
‑
152残差网络模型的2D姿势识别单元用于自动识别输入的爬行图片中婴幼儿七点骨骼关键点的2D坐标(x，y)，其中所述ResNet
‑
152残差网络模型首先利用人工标注的七点骨骼关键点模型进行预训练好；所述数据预处理模块用于对输出的七点骨骼关键点2D坐标(x，y)数据进行预处理，包括先利用三次样条插值的方式对坐标数据存在的缺损值进行补值，再利用中值滤波去除高频干扰；所述婴幼儿爬行姿态智能分析与识别系统包括数据归一化模块、特征提取模块和爬行姿态识别模块，所述数据归一化模块用于将预处理后的人体七点骨骼关键点2D坐标数据归一化，以将人体姿态缩放到同一个高度，具体归一化时将肩关节作为坐标平面的原点，并以肩关节和髋关节中心之间的距离为基；所述特征提取模块用于利用归一化后的各骨骼关键点2D坐标提取各爬行姿态特征，所述爬行姿态特征包括基于婴幼儿爬行过程中各骨骼关键点之间表征肢体距离的欧式距离特征以及上下肢骨骼关键点之间的关节夹角特征；所述爬行姿态识别模块用于利用特征提取模块获得的各关键点欧式距离特征以及关节夹角特征对不同爬行姿态进行智能化识别。2.根据权利要求1所述的基于骨骼关键点检测的婴幼儿爬行姿态分析系统，其特征在于，所述ResNet
‑
152残差网络模型包括顺序连接的输入卷积层、第一残差组、第二残差组、第三残差组、第四残差组、反卷积层和输出卷积层，所述第一残差组由三个Bottleneck网络模块组成，所述第二残差组由八个Bottleneck网络模块组成，所述第三残差组由三十六个Bottleneck网络模块组成，所述第四残差组由三个Bottleneck网...

【专利技术属性】
技术研发人员：熊启亮，万金亮，张良鸿，夏中焱，熊姝钰，易晨，江少锋，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：