一种获取人体骨骼点三维坐标的方法技术

一种获取人体骨骼点三维坐标的方法，包括如下步骤：S1：采集被测试者正对相机时的手臂动作视频；S2：将手臂动作视频逐帧保存为图像，并对图像进行预处理；S3：将预处理后的图像输入人体骨骼点检测网络中进行人体骨骼点检测，以获得人体二维骨骼点坐标和ROI感兴趣区域坐标；S4：基于所述人体二维骨骼点坐标计算被测试者相邻骨骼点的像素长度；S5：计算人体骨骼点的深度值；S6：基于深度值和ROI感兴趣区域坐标计算深度像素值；S7：根据深度像素值获得人体骨骼点的三维坐标。体骨骼点的三维坐标。体骨骼点的三维坐标。

【技术实现步骤摘要】
一种获取人体骨骼点三维坐标的方法


[0001]本公开属于计算机视觉领域和人体生理姿态计算领域，具体涉及一种获取人体骨骼点三维坐标的方法。

技术介绍

[0002]人体骨骼关键点检测也称为姿态估计检测，主要检测人体的关键点信息，如关节，五官等，通过关键点描述人体骨骼信息，常用来作为姿态识别、行为分析等的基础部件。目前大多数对于人体姿态估计还只是使用单眼摄像机的二维阶段，采用这种方式进行人体姿态估计，对于三维空间的人体变化不能直观的表现出来，容易出现误判，影响准确性。
[0003]目前已经出现了人体骨骼点二维转三维的办法，但多为使用神经网络获取的估算结果，骨骼点坐标为估算值，而非精确计算结果，当前方法只能大致反映出了人体姿态情况。
[0004]因此，上述提出的方式并不具备良好的直观体验与骨骼点精度，结果不准确，测试体验较差。

技术实现思路

[0005]为解决现有技术中存在的骨骼点精度不准确的问题，本公开提供了一种基于单眼摄像机获取图像的人体骨骼点的2D转3D的方法。
[0006]本专利技术的目的是通过下述技术方案实现的：
[0007]一种获取人体骨骼点三维坐标的方法，包括以下步骤：
[0008]S1：采集被测试者正对相机时的手臂动作视频；
[0009]S2：将手臂动作视频逐帧保存为图像，并对图像进行预处理；
[0010]S3：将预处理后的图像输入人体骨骼点检测网络中进行人体骨骼点检测，以获得人体二维骨骼点坐标和ROI感兴趣区域坐标；
[0011]S4：基于所述人体二维骨骼点坐标计算被测试者相邻骨骼点的像素长度；
[0012]S5：计算人体骨骼点的深度值；
[0013]S6：基于深度值和ROI感兴趣区域坐标计算深度像素值；
[0014]S7：根据深度像素值获得人体骨骼点的三维坐标。
[0015]优选的，步骤S2中，通过以下方式对图像进行预处理：
[0016]获取第一帧图像的分辨率，并将第一帧图像后的所有帧图像按照该分辨率进行保存。
[0017]优选的，步骤S3中，所述人体骨骼点检测网络包括OpenPose关键点检测网络和YoloV5目标识别框架，其中，OpenPose关键点检测网络用于获得人体二维骨骼点坐标，YoloV5目标识别框架用于获得ROI感兴趣区域坐标。
[0018]优选的，通过OpenPose关键点检测网络获得人体二维骨骼点坐标包括如下步骤：
[0019]S301：构建数据集，对数据集进行预处理，并将预处理后的数据集划分为训练集和
验证集；
[0020]S302：利用训练集对OpenPose关键点检测网络进行训练，当训练集中的人体二维骨骼点坐标被提取且输出人体骨骼关键点二维坐标图像时，训练完成；
[0021]S303：利用验证集对训练完成的OpenPose关键点检测网络进行验证，当损失Loss收敛或者迭代次数大于阈值时，验证通过，获得训练好的OpenPose关键点检测网络；若验证未通过，通过调整训练参数重新进行训练。
[0022]优选的，所述OpenPose关键点检测网络包括多个stage，每个stage包括两个分支，分别为Branch 1和Branch2，其中，Branch 1用于通过CNN网络提取置信度Part Confidence Maps，Branch 2用于通过CNN网络提取关联度Part Affinity Fields，特征F输入stage1经过两个分支的处理之后得到S1和L1，阶段t网络的输出为S
t
，L
t
。
[0023]优选的，所述YoloV5目标识别框架包括Foucs模块和CSP模块。
[0024]优选的，步骤S5中，通过下式计算人体骨骼点的深度值：
[0025]L
′
＝L*sinB
[0026][0027]Depth＝range*cosa
[0028][0029][0030][0031]Z
Depth
＝Depth
‑‑
L
Depth
[0032]其中，人物运动方向与水平线的夹角B；人物距离相机的水平距离Depth；人物距离相机的直线距离range；相机坐标f；人物与相机夹角a；人物侧向时某个骨骼点侧向距离L
Depth
；人物双肩部骨骼点、人物双手肘、手腕、臀部、膝盖、脚踝的骨骼点像素长度L
img
；人物骨骼点的真实计算长度L，人物骨骼点的真实计算长度与水平线投影L。
[0033]优选的，在根据深度像素值获得人体骨骼点的三维坐标之前，还需要对深度像素值进行矫正。
[0034]本公开还提供一种获取人体骨骼点三维坐标的装置，包括：
[0035]采集模块，用于采集采集被测试者正对相机时的手臂动作视频；
[0036]预处理模块，用于将手臂动作视频逐帧保存为图像，并对图像进行预处理；
[0037]检测模块，用于将预处理后的图像输入人体骨骼点检测网络中进行人体骨骼点检测，以获得人体二维骨骼点坐标和ROI感兴趣区域坐标；
[0038]计算模块，用于计算人体骨骼点的深度像素值；
[0039]转换模块，用于根据深度像素值获得人体骨骼点的三维坐标。
[0040]本公开还提供一种计算机介质，包括：
[0041]存储器，用于存储多条计算机指令；
[0042]处理器，用于执行多条计算机指令，以实现：
[0043]采集被测试者正对相机时的手臂动作视频；
[0044]将手臂动作视频逐帧保存为图像，并对图像进行预处理；
[0045]将预处理后的图像输入人体骨骼点检测网络中进行人体骨骼点检测，以获得人体二维骨骼点坐标和ROI感兴趣区域坐标；
[0046]基于所述人体二维骨骼点坐标计算被测试者相邻骨骼点的像素长度；
[0047]计算人体骨骼点的深度值；
[0048]基于深度值和ROI感兴趣区域坐标计算深度像素值；
[0049]根据深度像素值获得人体骨骼点的三维坐标。
[0050]本专利技术创造的有益效果是：
[0051]1)本专利技术通过数学计算来实现二维骨骼点转三维骨骼点，点位更加准确，精度更高。
[0052]2)本专利技术只需拍摄少量视频来进行计算，节省大量时间，不需要神经网络进行学习，效率更高。
附图说明
[0053]图1为本专利技术方法的流程图；
[0054]图2为本专利技术方法的数学推算图；
[0055]图3为人体骨骼点位图；
[0056]图4为OpenPose关键点检测网络的网络结构图；
[0057]图5是YoloV5目标识别框架的结构示意图。
具体实施方式
[0058]下面结合附图1至图5及实施例对本专利技术做进一步的详细说明。
[0059]结合图1和图2，本公开提供一种获取人体骨骼点三维坐标的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种获取人体骨骼点三维坐标的方法，包括以下步骤：S1：采集被测试者正对相机时的手臂动作视频；S2：将手臂动作视频逐帧保存为图像，并对图像进行预处理；S3：将预处理后的图像输入人体骨骼点检测网络中进行人体骨骼点检测，以获得人体二维骨骼点坐标和ROI感兴趣区域坐标；S4：基于所述人体二维骨骼点坐标计算被测试者相邻骨骼点的像素长度；S5：计算人体骨骼点的深度值；S6：基于深度值和ROI感兴趣区域坐标计算深度像素值；S7：根据深度像素值获得人体骨骼点的三维坐标。2.根据权利要求1所述的方法，其中，优选的，步骤S2中，通过以下方式对图像进行预处理：获取第一帧图像的分辨率，并将第一帧图像后的所有帧图像按照该分辨率进行保存。3.根据权利要求1所述的方法，其中，步骤S3中，所述人体骨骼点检测网络包括OpenPose关键点检测网络和YoloV5目标识别框架，其中，OpenPose关键点检测网络用于获得人体二维骨骼点坐标，YoloV5目标识别框架用于获得ROI感兴趣区域坐标。4.根据权利要求3所述的方法，其中，通过OpenPose关键点检测网络获得人体二维骨骼点坐标包括如下步骤：S301：构建数据集，对数据集进行预处理，并将预处理后的数据集划分为训练集和验证集；S302：利用训练集对OpenPose关键点检测网络进行训练，当训练集中的人体二维骨骼点坐标被提取且输出人体骨骼关键点二维坐标图像时，训练完成；S303：利用验证集对训练完成的OpenPose关键点检测网络进行验证，当损失Loss收敛或者迭代次数大于阈值时，验证通过，获得训练好的OpenPose关键点检测网络；若验证未通过，通过调整训练参数重新进行训练。5.根据权利要求3所述的方法，其中，所述OpenPose关键点检测网络包括多个stage，每个stage包括两个分支，分别为Branch 1和Branch 2，其中，Branch 1用于通过CNN网络提取置信度Part Confidence Maps，Branch 2用于通过CNN网络提取关联度Part Affinity Fields，特征F输入stagel经过两个分支的处理之后得到S1和L1，阶段t网络的输出为S
t...

【专利技术属性】
技术研发人员：华春生，张皓，童心，
申请(专利权)人：沈阳康泰电子科技股份有限公司，
类型：发明
国别省市：