一种人体运动速度估计方法技术

一种人体运动速度估计方法，包括步骤：获取视频图像中的人体结构框架；序列化N个关节点；计算各关节点速度大小和方向，利用连续帧间权重递增法估计下一帧关节点的运动速度；计算人体躯干重心位置，得到当前人体躯干重心的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度；将人体结构框架划分为6个部位，每个部位包含至少一个关节点；利用提出的关节点‑轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。本发明专利技术能够较为精确的估计人体的运动速度，广泛应用于各个行业领域的人体运动分析。

A human motion velocity estimation method

A method for estimating human motion speed is proposed, which comprises the following steps: obtaining the human structure frame in the video image; serializing N joint points; calculating the speed and direction of each joint point; estimating the motion speed of the next joint point by successive frame weight increment method; calculating the position of the center of gravity of the human trunk to obtain the current human trunk. The moving speed of the center of gravity is regarded as the whole moving speed of the human body, and the whole moving speed of the next frame is estimated by successive frame weight increment method; the frame of the human body is divided into six parts, each part contains at least one joint point; and each joint point is calculated by the proposed joint point-axis node velocity normal distance weight method. The velocity of each joint in the same position is accumulated by multiplying the velocity of all nodes in the same position by the weight coefficient. The invention can accurately estimate the movement speed of the human body, and is widely used in human motion analysis in various fields.

【技术实现步骤摘要】
一种人体运动速度估计方法
本专利技术属于运动预测
，具体地说是一种人体运动速度估计方法。
技术介绍
近年来，随着深度学习的膨胀式发展，目前基于卷积神经网络的图像识别已进入激烈竞争阶段，将深度学习用于图像分析的案例越来越多，例如植物、服饰、人脸等识别。另外随着智慧城市的提出，视频监控必将在智慧建设中占据重要地位，智能监控将会更多的应用到服务行业、安全设备中去。通过视频分析人体运动趋势，从而对人体行为做出预测也逐渐引起众多研究人员的注意，这个课题对于公共安全、生产安全、家居老人安全等都有重要意义。
技术实现思路
本专利技术要解决的技术问题是提供一种人体运动速度估计方法，更加精确的估计人体运动速度，应用更加广泛。为了解决上述技术问题，本专利技术采取以下技术方案：一种人体运动速度估计方法，包括以下步骤：S1,获取视频图像中的人体结构框架，人体结构框架上设定N个关节点；S2,序列化N个关节点，序列化的数据有[f,j,x,y,θ,v]，其中f表示视频帧，j表示N个关节点的索引值，x表示关节点的横坐标，y表示关节点的纵坐标，θ表示关节点相对图像X轴正方向的顺时针方向角度，v表示关节点的速度大小，初始速度为0；S3,计算关节点j(j∈0,N-1)的速度大小vj和方向θj，利用连续帧间权重递增法估计下一帧关节点的运动速度；S4,计算人体躯干重心位置C(x，y)，得到当前的人体躯干重心C的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心C的运动速度；S5,将人体结构框架划分为6个部位，每个部位包含至少一个关节点，分别为首部、右上肢、左上肢、躯干、右下肢和左下肢，每个部位选择一个关节点设定为轴心节点，同时每个部位中的所有节点都为速度节点；S6,利用提出的关节点-轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。所述关节点的数量N设为14，具体为{头，颈，左肩，右肩，左肘，右肘，左腕，右腕，左臀，右臀，左膝，右膝，左脚踝，右脚踝}，14个关节点的索引依次为{0，1，2，3，4，5，6，7，8，9，10，11，12，13}，其中首部包含关节点{0}、右上肢包含关节点{2，4，6}、左上肢包含关节点{3，5，7}、躯干包含关节点{1，8，9}、右下肢包含关节点{8，10，12}、左下肢包含关节点{9，11，13}。所述步骤S3具体为：设关节点j连续两帧的图像为fj0(x0,y0)和fj1(x1,y1)，则该两帧图像之间坐标满足即fj1(x1,y1)＝fj0(x0+Δx,y0+Δy)，通过傅里叶变换将图像坐标转化为相位坐标，Fj1(u,v)＝Fj0(u,v)exp{-n2π(xj0u+yj0v)}根据傅里叶变换的相位相移特性，关节点j连续两帧之间的相位差为ΔF(u,v)＝Fj0(u,v)-Fj1(u,v)＝2π(xj0u+yj0v)，对ΔF(u,v)进行反傅里叶变换即可求得相邻两帧间的平移位移Δfj(x,y)，计算速度大小速度方向利用连续临近帧权重递增法估计关节点j下一帧的运动速度，计算运动速度加权平均值，该加权平均值即为下一帧关节点j的估计速度大小关节点j的速度方向加权平均值同时更新序列化数据中所有关节点的速度大小和速度方向。所述步骤S4具体为：设连续两帧图像人体躯干重心图像函数为fc0(xc0,yc0)、fc1(xc1,yc1)，其中，根据连续临近帧权重递增法得到人体整体运动速度大小速度方向经过连续n帧权重递增方法精确估计下一帧人体整体运动速度值和角度，所述步骤S6具体为：计算关节点的速度时分别计算得到各个关节点在X轴、Y轴方向的速度，其中p为各个部位的轴心节点，q为所有的关节点；将同一部位的X轴、Y轴方向的速度乘以权重系数后分别累加，则vx和vy合成后即为该部位速度，该部位速度的角度为该部位速度大小为所述人体躯干重心位置C的计算方法为：计算{颈，左臀，右臀}即关节点{1，8，9}的几何重心，得到人体重心位置，所述关节点的速度方向θ，为表示速度方向变化程度，由[0,360°]的变化范围归一化为[0，1]。所述采用深度识别VGG卷积神经网络提取视频图像中人体结构框架。本专利技术能够更加精确人体运动速度，得到下一步的运动趋势，供研究参考用，可广泛应用于公共安全、生产安全、日常生活等各个行业领域。附图说明附图1为本专利技术流程示意图；附图2为人体关节点示意图；附图3为节点速度权重计算示意图；附图4为部位计算示意图。具体实施方式为能进一步了解本专利技术的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本专利技术作进一步详细描述。如附图1-4所示，本专利技术揭示了一种人体运动速度估计方法，包括以下步骤：S1,获取视频图像中的人体结构框架，人体结构框架上设定N个关节点。可采用深度识别VGG卷积神经网络提取视频图像中人体结构框架。总共设置14个关节点，具体为{头，颈，左肩，右肩，左肘，右肘，左腕，右腕，左臀，右臀，左膝，右膝，左脚踝，右脚踝}，14个关节点的索引依次为{0，1，2，3，4，5，6，7，8，9，10，11，12，13}，其中首部包含关节点{0}、右上肢包含关节点{2，4，6}、左上肢包含关节点{3，5，7}、躯干包含关节点{1，8，9}、右下肢包含关节点{8，10，12}、左下肢包含关节点{9，11，13}。如下表一所示：表一节点索引人体节点0头1颈2左肩3右肩4左肘5右肘6左腕7右腕8左臀9右臀10左膝11右膝12左脚踝13右脚踝S2,序列化14个关节点，序列化的数据有[f,j,x,y,θ,v]，其中f表示视频帧，j表示N个关节点的索引值，x表示关节点的横坐标，y表示关节点的纵坐标，θ表示关节点相对图像X轴正方向的顺时针方向角度，v表示关节点的速度大小，初始速度为0。S3,计算关节点j(j∈0,N-1)的速度大小vj和方向θj，利用连续帧间权重递增法估计下一帧关节点的运动速度。在视频中连续n帧的人体运动速度较为接近，帧间越临近速度越接近。设关节点j连续两帧的图像为fj0(x0,y0)和fj1(x1,y1)，则该两帧图像之间坐标满足即fj1(x1,y1)＝fj0(x0+Δx,y0+Δy)，通过傅里叶变换将图像坐标转化为相位坐标，Fj1(u,v)＝Fj0(u,v)exp{-n2π(xj0u+yj0v)}根据傅里叶变换的相位相移特性，关节点j连续两帧之间的相位差为ΔF(u,v)＝Fj0(u,v)-Fj1(u,v)＝2π(xj0u+yj0v)，对ΔF(u,v)进行反傅里叶变换即可求得相邻两帧间的平移位移Δfj(x,y)，计算速度大小速度方向利用连续临近帧权重递增法估计关节点j下一帧的运动速度，计算运动速度加权平均值，该加权平均值即为下一帧关节点j的估计速度大小关节点j的速度方向加权平均值同时更新序列化数据中所有关节点的速度大小和速度方向。S4,计算人体躯干重心位置C(x，y)，得到当前的人体躯干重心C的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心C的运动速度。S5,将人体结构框架划分为6个部位，每个部位包含至少一个关节点，分别为首部、右上肢、左上肢、本文档来自技高网...

【技术保护点】
1.一种人体运动速度估计方法，包括以下步骤：S1,获取视频图像中的人体结构框架，人体结构框架上设定N个关节点；S2,序列化N个关节点，序列化的数据有[f,j,x,y,θ,v]，其中f表示视频帧，j表示N个关节点的索引值，x表示关节点的横坐标，y表示关节点的纵坐标，θ表示关节点相对图像X轴正方向的顺时针方向角度，v表示关节点的速度大小，初始速度为0；S3,计算关节点j(j∈0,N‑1)的速度大小vj和方向θj，利用连续帧间权重递增法估计下一帧关节点的运动速度；S4,计算人体躯干重心位置C(x，y)，得到当前的人体躯干重心C的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心C的运动速度；S5,将人体结构框架划分为6个部位，每个部位包含至少一个关节点，分别为首部、右上肢、左上肢、躯干、右下肢和左下肢，每个部位选择一个关节点设定为轴心节点，同时每个部位中的所有节点都为速度节点；S6,利用提出的关节点‑轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。

【技术特征摘要】
1.一种人体运动速度估计方法，包括以下步骤：S1,获取视频图像中的人体结构框架，人体结构框架上设定N个关节点；S2,序列化N个关节点，序列化的数据有[f,j,x,y,θ,v]，其中f表示视频帧，j表示N个关节点的索引值，x表示关节点的横坐标，y表示关节点的纵坐标，θ表示关节点相对图像X轴正方向的顺时针方向角度，v表示关节点的速度大小，初始速度为0；S3,计算关节点j(j∈0,N-1)的速度大小vj和方向θj，利用连续帧间权重递增法估计下一帧关节点的运动速度；S4,计算人体躯干重心位置C(x，y)，得到当前的人体躯干重心C的运动速度并作为人体整体运动速度，利用连续帧间权重递增法估计下一帧人体整体运动速度即人体躯干重心C的运动速度；S5,将人体结构框架划分为6个部位，每个部位包含至少一个关节点，分别为首部、右上肢、左上肢、躯干、右下肢和左下肢，每个部位选择一个关节点设定为轴心节点，同时每个部位中的所有节点都为速度节点；S6,利用提出的关节点-轴心节点速度法线距离权重法，计算每个部位中的各个关节点的速度，将同一部位中的所有关节点速度乘以权重系数后进行累加得到该部位的运动速度。2.根据权利要求1所述的人体运动速度估计方法，其特征在于，所述关节点的数量N设为14，具体为{头，颈，左肩，右肩，左肘，右肘，左腕，右腕，左臀，右臀，左膝，右膝，左脚踝，右脚踝}，14个关节点的索引依次为{0，1，2，3，4，5，6，7，8，9，10，11，12，13}，其中首部包含关节点{0}、右上肢包含关节点{2，4，6}、左上肢包含关节点{3，5，7}、躯干包含关节点{1，8，9}、右下肢包含关节点{8，10，12}、左下肢包含关节点{9，11，13}。3.根据权利要求2所述的人体运动速度估计方法，其特征在于，所述步骤S3具体为：设关节点j连续两帧的图像为fj0(x0,y0)和fj1(x1,y1)，则该两帧图像之间坐标满足即fj1(x1,y1)＝fj0(x0+Δx,y0+Δy)，其中(x0,y0)、(x1,y1)为节点j的图像像素坐标，Δx为x0到x1的X轴坐标偏移量，Δy为y0到y1的Y轴坐标偏移量；通过傅里叶变换将图像坐标转化为相位坐标，其中(u,v)为对应节点j坐标(x,y)的相位坐标，Fj1(u,v)、Fj0(u,v)分别为fj1(x1,y1)、fj0(x0,y0)对应的相位值，xj0、yj0为节点j的连续两帧中的第一帧像素坐标。Fj1(u,v)＝Fj0(u,v)exp{-n2π(xj0u+yj0v)}根据傅里叶变换的相位相移特性，关节点j连续两帧之间的相位差为ΔF(u,v)＝Fj0(u,v)-Fj1(u,v)＝2π(xj0u+yj0v)，对ΔF(u,v)进行反傅里叶变换即可求得相邻两帧间的平移位移Δfj(x,y)，计算速度大小其中Δt为节点j平移位移Δfj(x,y)所用时间，...

【专利技术属性】
技术研发人员：马敬奇，程韬波，钟震宇，雷欢，何峰，吴亮生，卢杏坚，
申请(专利权)人：广东省智能制造研究所，
类型：发明
国别省市：广东,44