一种端到端的上交叉综合征预测模型及应用制造技术

本发明专利技术公开了一种端到端的上交叉综合征预测模型及应用，基于深度学习和机器学习模型；首先使用深度学习对人体进行关键点识别；然后，计算相关角度及距离，使用角度作为特征、评估结果作为标签构建数据集。用该数据集训练Extra Tree Classifier模型；将训练好的模型与openpose相连接，使用openpose对人体进行实时检测并输出相关角度，输入到训练好的Extra Tree Classifier模型中，最终输出检测结果。结合云端硬件，使人们在家就可以实现上交叉综合征自查并具有较高的准确率，在一定程度上解决了因专业体态评估师少，患者就诊难的问题。患者就诊难的问题。

【技术实现步骤摘要】
一种端到端的上交叉综合征预测模型及应用


[0001]本专利技术属于人体不良体态姿态识别评估
，具体涉及一种端到端的上交叉综合征预测模型，用于自查上交叉综合征预测。

技术介绍

[0002]不良体态是一个严重的健康问题，随着年龄的增长，它会引起一系列的肌肉紊乱。随着电子屏幕的使用和学习的增加，导致患有上交叉综合征的人越来越多。头前伸是上交叉综合征最明显的特征之一，是颈部疾病患者最常见的异常体位之一，同时也伴随有肌肉失衡、疼痛、疲劳和颈椎活动受限。既往研究报道，较小的颅颈角（CV）与颈部疼痛严重程度和残疾相关，特别是当颈椎前凸绝对旋转角度小于20
°
时。此外，头前伸已被证明会改变呼吸机制，颈胸活动度的改变通过降低膈肌活动度和强度而损害正常呼吸模式。吞咽功能障碍也被认为是由不正确的体位变化引起的，尤其是在上交叉综合征患者中。不幸的是，头部的前移随着年龄线性增加，青少年在很小的时候就因为学习各种奇怪的姿势而灌输了前颈姿势的习惯。综上所述，尽可能早的发现上交叉综合征问题对于它的治疗是至关重要的。
[0003]人们已经做了各种尝试，以开发出有效的诊断方法。传统的临床诊断最常用的仍是层次分析法，但在许多国家和地区，医院的能力难以在短时间内满足需求。此外，更多的研究人员试图开发电子测量设备和技术。
[0004]随着深度学习的快速发展，许多体系结构如openpose在身体姿态检测方面表现出了良好的性能，这有利于医生减少工作量和提高医学检查的诊断准确性。因此，在上述工作的启发下，我们设计了一个端到端的上交叉综合征预测模型，该模型由人体姿态估计和提取角度进行预测组成。

技术实现思路

[0005]本专利技术的目的是为了解决专业体态评估师少，患者就诊难的问题，而提供一种端到端的上交叉综合征预测模型及端到端的上交叉综合征预测方法，结合云端硬件，使人们在家就可以实现上交叉综合征自查并具有较高的准确率。
[0006]一种端到端的上交叉综合征预测模型，由下述方法获得，它包括：
[0007]步骤一、人体骨骼关键点检测
[0008]使用openpose算法检测人体关键点；
[0009]步骤二、获取感兴趣骨骼点坐标
[0010]使用openpose检测除手部外的18个人体骨骼关键点，包括鼻子（0），脖子（1），右肩（2），右肘（3），右腕（4），左肩（5），左肘（6），左腕（7），右髋（8），右膝（9），右踝（10），左髋（11），左膝（12），左踝（13），右眼（14），左眼（15），右耳（16），左耳（17）；根据检测结果及上交叉综合征的解剖学特点，进一步获取鼻子（0），右肩（2），右眼（14），右耳（16）的坐标。将右肩记为点p0（x0，y0），鼻子记为点p1（x1，y1），右眼记为点p2（x2，y2），右耳记为点p3（x3，y3）。
[0011]步骤三、计算感兴趣骨骼关键点之间的角度
[0012]根据p0，p1，p2和p3的坐标，计算如下角度：以p0为顶点，过p0的水平线与p0和p1连线的夹角记为angle1；以p0为顶点，过p0的水平线与p0和p2连线的夹角记为angle2；以p0为顶点，过p0的水平线与p0和p3连线的夹角记为angle3；p1和p0连线与p3和p0连线的夹角记为angle4。
[0013]步骤四、基于遗传算法的特征选择
[0014]现有特征子集包括测试者的性别、年龄、身高、体重、身体质量指数BMI（Body Mass Index）、angle1、angle2、angle3、angle4；
[0015]基于遗传算法，适应度函数：
[0016][0017]其中，表示可能的特征子集；表示特征项，被纳入所求特征子集记为1，排除则记为0；表示特征子集中的特征个数；表示比例系数，用于限制适应度；表示总特征数；表示某个特征在求解过程中重复出现的次数；表示当前特征子集对模型性能的贡献度，为标签中某个类别的总数，为训练集中某个标签被正确预测的总数；为当前特征子集中的特征数；
[0018]步骤五、模型训练
[0019]使用步骤四中选择出的特征和标签构建数据集，对Extra Tree Classifier模型进行训练；训练采用10折交叉验证策略，并在测试集上验证，保留结果最佳的训练模型及训练权重；
[0020]所述的openpose算法为“two
‑
branch multi
‑
stage CNN”，其中一个分支用于预测置信图Confidence Maps(S)，另外一个分支用于预测Part Affinity Fields(L)，分别对应heatmap和vectormap；其中，表示heatmap，j表示要检测的骨骼点数；，表示vectormap，C表示要检测的关节对数。通过VGG
‑
19网络提取特征F，将F输入到网络中，每一个阶段的输入都来自前一个阶段的预测和原始特征F用于产生精准的预测：
[0021][0022]其中为t阶段卷积神经网络的推理，为总的Part Affinity Fields(PAF)阶段数。经过次迭代后，从最新更新的PAF预测开始，重复该过程进行Confidence Maps的检查：
[0023][0024][0025]其中为t阶段推理的卷积神经网络，为总的置信图阶段。
[0026]一种端到端的上交叉综合征预测方法，它包括：一种端到端的上交叉综合征预测模型与openpose相连接，使用joblib库读取训练好的模型，用户右侧身站立于摄像头前三米左右的位置，使用openpose自动对摄像头拍摄到的人体画面进行关键点识别，pandas库将特征转换为DataFrame格式的特征，将特征输入到训练好的预测模型中进行识别，并输出
结果。
[0027]本专利技术提供了一种端到端的上交叉综合征预测模型及应用，基于深度学习和机器学习模型；首先使用深度学习对人体进行关键点识别；然后，计算相关角度，经过特征选择后以角度作为特征、评估结果作为标签构建数据集。用该数据集训练Extra Tree Classifier模型；将训练好的模型与openpose相连接，使用openpose对人体进行骨骼关键点检测，并将相关角度输入到训练好的Extra Tree Classifier模型中，最终输出检测结果。结合云端硬件，使人们在家就可以实现上交叉综合征自查并具有较高的准确率，在一定程度上解决了因专业体态评估师少，患者就诊难的问题。
附图说明
[0028]图1为本专利技术技术方案流程图；
[0029]图2人体姿感兴趣骨骼点坐标正面图；
[0030]图3侧面观图像进行识别图；
[0031]图4正面观图像进行识别图。
具体实施方式
[0032]实施例1 人体姿态评估模型
[0033]硬件：摄像头、树莓派、显示器、云端
[0034]软件开发环境：Linux系统、Python 3.7.1
...

【技术保护点】

【技术特征摘要】
1.一种端到端的上交叉综合征预测模型，由下述方法获得，它包括：步骤一、人体骨骼关键点检测使用openpose算法检测人体关键点；步骤二、获取感兴趣骨骼点坐标使用openpose检测除手部外的18个人体骨骼关键点，包括鼻子（0），脖子（1），右肩（2），右肘（3），右腕（4），左肩（5），左肘（6），左腕（7），右髋（8），右膝（9），右踝（10），左髋（11），左膝（12），左踝（13），右眼（14），左眼（15），右耳（16），左耳（17）；根据检测结果，进一步获取鼻子（0），右肩（2），右眼（14），右耳（16）的坐标。我们将右肩记为点p0（x0,y0），鼻子记为点p1(x1,y1)，右眼记为点p2（x2,y2），右耳记为点p3（x3,y3）；步骤三、计算感兴趣的骨骼角度和距离根据p0，p1，p2和p3的坐标，计算如下角度：以p0为顶点，过p0的水平线与p0和p1连线的夹角记为angle1；以p0为顶点，过p0的水平线与p0和p2连线的夹角记为angle2；以p0为顶点，过p0的水平线与p0和p3连线的夹角记为angle3；p1和p0连线与p3和p0连线的夹角记为angle4；步骤四、基于遗传算法的特征选择现有特征子集包括测试者的性别、年龄、身高、体重、BMI、angle1、angle2、angle3、angle4；基于遗传算法，适应度函数：；其中，表示可能的特征子集；表示特征项，被纳入所求特征子集记为1，排除则记为0；表示特征子集中的特征个数；表示比例系数，用于限制适应度；表示总特征数；表示某个特征在求解过程中重复出现的次数；表示当前特征子集对模型性能的贡献度，为标签中某个类别的总数，为训练集中某个标签被正确预测的总数；为当前特征子集中的...

【专利技术属性】
技术研发人员：何诗纯，
申请(专利权)人：何诗纯，
类型：发明
国别省市：