一种基于级联卷积神经网络的骑行姿态分析方法技术

本发明专利技术公开了一种基于级联卷积神经网络的骑行姿态分析方法，包括：1建立级联卷积神经网络关键点定位模型，以提取人体骨骼关键点；2对人体骨骼关键点序列的离群点进行校正；3对校正过的人体骨骼关键点序列进行滤波处理；4根据滤波后的人体骨骼关键点序列，计算骑行时踝关节角度、膝关节弯曲角度所组成的骑行姿态。本发明专利技术能快速对人体骑行姿态进行检测分析，帮助使用者量化骑行数据，分析骑行质量，以调整最佳骑行姿态。

【技术实现步骤摘要】
一种基于级联卷积神经网络的骑行姿态分析方法
本专利技术涉及计算机视觉领域，更具体地涉及一种基于级联卷积神经网络的骑行姿态分析方法。
技术介绍
传统的骑行姿态分析方法往往需要双目摄像头、结构光技术、ToF摄像头作为辅助设备，并需要借助人工标记来对目标关键点进行手动标注。这种方法不仅要求有专业图像设备，还要求操作人员能准确定位目标关键点，因此造成了设备成本高昂、人为主观误差和测试效率低下等问题。
技术实现思路
本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于级联卷积神经网络的骑行姿态分析方法，以期能快速对人体骑行姿态进行无接触地检测分析，帮助使用者量化骑行数据，分析骑行质量，以调整最佳骑行姿态，从而在降低设备成本的同时提高分析效率和测试效果准确性。本专利技术为达到上述专利技术目的，采用如下技术方案：本专利技术一种基于级联卷积神经网络的骑行姿态识别方法的特点在于，包括以下步骤：步骤1，建立级联卷积神经网络关键点定位模型，并用于对目标骑行视频的每一帧进行人体骨骼关键点提取，从而得到人体骨骼关键点序列P＝{P0,P1,…,PN}；PN表示第N个人体骨骼关键点；步骤2，对所述人体骨骼关键点序列P的离群点进行校正，得到校正过的人体骨骼关键点序列P’＝{P0’,P1’,…,PN’}，PN’表示校正过的第N个人体骨骼关键点；步骤3，对校正过的人体骨骼关键点序列P’进行滤波处理，得到滤波后的人体骨骼关键点序列P”＝{P0”,P1”,…,PN”}，PN”表示滤波后的第N个人体骨骼关键点；步骤4，根据滤波后的人体骨骼关键点序列P”，计算骑行时踝关节角度、膝关节弯曲角度所组成的骑行姿态。本专利技术所述的基于级联卷积神经网络的骑行姿态识别方法的特点也在于，步骤1包括：步骤1.1，建立级联卷积神经网络模型并初始化模型参数，所述级联卷积神经网络模型包括主干网络以及K个级联分支网络，所述主干网络是由n个块依次连接而成，每个块是一个卷积层、一个激活层和一个池化层构成，且在第n+1个卷积层后连接有第一损失函数L1；每个级联分支网络是由m个卷积层和m个池化层交错连接而成，且在第m个池化层后连接有一个全连接层；在每个级联分支网络后连接有第二损失函数L2；步骤1.2，获取已知的人体骨骼关键点数据集并分批次输入到初始化后的级联卷积神经网络模型中，并经过主干网络的第一次粗粒度定位，得到所有关键点粗定位结果(Xs1，Ys1)；步骤1.3、根据所述第一损失函数L1，使用sigmoid方法对分批次输入的人体骨骼关键点数据集与所有关键点粗定位结果(Xs1，Ys1)进行损失计算，直到所述第一损失函数L1收敛为止；步骤1.4、对分批次输入的人体骨骼关键点数据集进行裁剪，得到裁剪后的人体骨骼关键点数据集，并作为所述级联分支网络的输入；步骤1.5、所述裁剪后的人体骨骼关键点数据集分别经过K个级联分支网络的细粒度定位处理，得到K个关键点细粒度定位结果；步骤1.6，K个级联分支网络分别根据自身的第二损失函数L2，使用sigmoid方法对裁剪后的人体骨骼关键点数据集与自身关键点粗定位结果进行损失计算，直到K个第二损失函数L2均收敛为止，从而得到级联卷积神经网络关键点定位模型。步骤2包括：步骤2.1，对所述人体骨骼关键点序列P进行基于Z分数的异常值检测：计算所述所述人体骨骼关键点序列P中每个人体骨骼关键点的Z分数，当Z分数大于所设定的阈值，则表明相应关键点定位异常，并将相应关键点修正为[(Xi-1+Xi+1)/2,(Yi-1+Yi+1)/2]；从而得到修正后的人体骨骼关键点序列；步骤2.2、对修正后的人体骨骼关键点序列进行滤波平滑处理：遍历修正后的人体骨骼关键点序列中每个人体骨骼关键点，对当前人体骨骼关键点所在的前后共F帧关键帧进行观测采样，并使用均值滤波算法对所采样的关键帧进行修正平滑处理，从而得到校正过的人体骨骼关键点。与现有技术相比，本专利技术的有益效果在于：1、本专利技术提出了一种骑行姿态分析方法，提升了检测效率，降低了设备成本，减少使用难度为骑行测试人员提供快速、精确、便捷的骑行姿态分析服务。2、本专利技术提出了两阶段的级联神经网络骨骼关键点定位技术，主干网络对全部关键点进行定位识别，分支网络对不同部位关键点进行二次细粒度检测，检测速度更快，检测精度更高。3、本专利技术提出的关键点平滑方法，对关键点序列中的异常值进行检测并对其进行平滑滤波操作，提高了数据的合理性和稳定性。附图说明图1为本专利技术实施例的骑行姿态分析方法流程图；图2为本专利技术实施例的级联卷积神经网络关键点定位模型结构图。具体实施方式本实施例中，一种基于级联卷积神经网络的骑行姿态识别方法，分析流程如图1所示，用户提交骑行骑行视频作为本方法输入，依次通过关键点定位、异常值检测、关键点滤波平湖，骑行指标计算后返回给用户。该过程包括人体骨骼关键点定位模型的建立，该模型通过级联卷积神经网络对图像中人体骨骼关键点进行定位识别，输出人体骨骼关键点序列；还包括人体骨骼关键点的校正，该校正方法对得到的人体骨骼关键点序列进行校正平滑，将人体骨骼关键点序列中离群点和异常值进行重新识别和平滑；还包括骑行姿态的分析，该分析方法使用处理后的人体骨骼关键点序列，计算膝关节屈伸角度等27个骑行指标。具体的说是，包括以下步骤：步骤1，建立级联卷积神经网络关键点定位模型，并用于对目标骑行视频的每一帧进行人体骨骼关键点提取，从而得到人体骨骼关键点序列P＝{P0,P1,…,PN}；PN表示第N个人体骨骼关键点；步骤1.1，建立级联卷积神经网络模型并初始化模型参数，基于级联卷积神经网络的人体骨骼关键点定位模型结构如图2所示。使用开源COCO数据集训练该级联卷积神经网络人体骨骼关键点定位模型。该模型结构分为两层结构，分别为人体骨骼关键点粗粒度定位层和关键点细粒度二次定位层。级联卷积神经网络模型包括主干网络以及K个级联分支网络，主干网络是由n个块依次连接而成，每个块是一个卷积层、一个激活层和一个池化层构成，且在第n+1个卷积层后连接有第一损失函数L1，具体包括5个卷积单元，每个卷积单元包括卷积层、激活层和池化层，负责对人体全部19个关键点坐标进行定位识别；每个级联分支网络是由m个卷积层和m个池化层交错连接而成，且在第m个池化层后连接有一个全连接层；在每个级联分支网络后连接有第二损失函数L2，具体包括5个级联分支网络，每个分支网络包括1个卷积层、1个激活层、1个池化层和2个全连接层。分别负责对头部、左上肢、右上肢、左下肢、右下肢5个部位进行细粒度定位识别。主干网络和分支网络分别使用6个欧几里得损失函数计算损失，当某一批次总损失收敛至预设阈值，说明人体骨骼关键点定位模型训练完成。得到级联卷积神经网络人体骨骼关键点定位模型。步骤1.2，获取已知的人体骨骼关键点数据集并分批次输入到初始化后的级联卷积神经网络模型中，并经过主干网络的第一次粗粒度定位，得到所有关键本文档来自技高网...

【技术保护点】
1.一种基于级联卷积神经网络的骑行姿态识别方法，其特征在于，包括以下步骤：/n步骤1，建立级联卷积神经网络关键点定位模型，并用于对目标骑行视频的每一帧进行人体骨骼关键点提取，从而得到人体骨骼关键点序列P＝{P

【技术特征摘要】
1.一种基于级联卷积神经网络的骑行姿态识别方法，其特征在于，包括以下步骤：
步骤1，建立级联卷积神经网络关键点定位模型，并用于对目标骑行视频的每一帧进行人体骨骼关键点提取，从而得到人体骨骼关键点序列P＝{P0,P1,…,PN}；PN表示第N个人体骨骼关键点；
步骤2，对所述人体骨骼关键点序列P的离群点进行校正，得到校正过的人体骨骼关键点序列P’＝{P0’,P1’,…,PN’}，PN’表示校正过的第N个人体骨骼关键点；
步骤3，对校正过的人体骨骼关键点序列P’进行滤波处理，得到滤波后的人体骨骼关键点序列P”＝{P0”,P1”,…,PN”}，PN”表示滤波后的第N个人体骨骼关键点；
步骤4，根据滤波后的人体骨骼关键点序列P”，计算骑行时踝关节角度、膝关节弯曲角度所组成的骑行姿态。


2.根据权利要求1所述的基于级联卷积神经网络的骑行姿态识别方法，其特征在于，步骤1包括：
步骤1.1，建立级联卷积神经网络模型并初始化模型参数，所述级联卷积神经网络模型包括主干网络以及K个级联分支网络，所述主干网络是由n个块依次连接而成，每个块是一个卷积层、一个激活层和一个池化层构成，且在第n+1个卷积层后连接有第一损失函数L1；每个级联分支网络是由m个卷积层和m个池化层交错连接而成，且在第m个池化层后连接有一个全连接层；在每个级联分支网络后连接有第二损失函数L2；
步骤1.2，获取已知的人体骨骼关键点数据集并分批次输入到初始化后的级联卷积神经网络模型中，并经过主干网络的第一次粗粒度定位，得到所有关键点粗定位结果(Xs1，...

【专利技术属性】
技术研发人员：孙嘉堃，邓博存，李嘉，
申请(专利权)人：广东中卡云计算有限公司，
类型：发明
国别省市：广东;44