一种优化视频关键人物运动轨迹的特征提取方法技术

本发明专利技术公开一种优化视频关键人物运动轨迹的特征提取方法。该方法首先对输入的视频进行切分得到多个视频片段，在每个视频片段构成由不同帧上的特征点组成的多条轨迹；接着对视频片段中的每帧图像进行关键人物运动框构建，并判断各条轨迹中的特征点在人物检测框中的个数是否大于阈值，删除与关键人物运动无关的轨迹；最后计算经过初优化后的轨迹之间的余弦度并删除小于阈值的轨迹，完成对视频中关键人物的轨迹优化。本发明专利技术方法解决了冗余轨迹较多的问题，又避免了在复杂背景的变化对关键人物运动轨迹的影响，能够有效地提取出运动人物的运动特征，具有较好的实用性和鲁棒性。

【技术实现步骤摘要】
一种优化视频关键人物运动轨迹的特征提取方法
本专利技术涉及一种优化视频关键人物运动轨迹的特征提取方法，属于计算机视觉、行为识别和人工智能交叉技术应用领域。
技术介绍
近年来，视频人物行为识别是计算机视觉和人工智能的一个重要研究课题，尤其是视频人物动作的特征提取对视频人物的识别起着重要的作用，决定了识别的精度的高低，往往具有重要的理论意义和实际应用价值。在视频人物行为识别中，最重要的步骤是对于视频人物动作的特征提取，现在主流的特征提取方式之一是通过计算特征点运动的光流场从而跟踪特征点运动从而形成轨迹。轨迹特征在一定程度上可以很好的表示人物的运动，但是通过传统的iDT算法生成的轨迹存在冗余轨迹过多的问题，通过删除iDT算法中的部分冗余轨迹可以在很大程度上减少计算的复杂度，同时减少与人物运动无关的轨迹可以提高识别精度。对于iDT算法的优化视频关键人物运动轨迹的特征提取涉及以下三种方法：(1)iDT算法：计算整个视频序列的光流场，同时对每个视频片段的首帧进行特征点的采样，通过光流场可以计算得到该兴趣点在下一帧的位置，通过跟踪该兴趣点在每一帧中的位置可以形成描述人物运动的轨迹。(2)FasterR-CNN网络：FasterR-CNN是由区域建议网络(RegionProposalNetwork，RPN)和FastR-CNN组成的目标检测算法，主要是通过RPN来找寻可能是目标的一个区域，然后通过FastR-CNN对RPN的结构进一步优化。(3)余弦相似度：通过计算两个向量的夹角的余弦值来评估两者的相似度。
技术实现思路
本专利技术的目是提供一种一种优化视频关键人物运动轨迹的特征提取方法，以解决密集轨迹算法中冗余轨迹较多的问题。通过删除和减少iDT算法中与人物动作无关的背景轨迹和人物运动的相似轨迹，获取通过FasterR-CNN检测框的人物轨迹对iDT算法中产生的所有轨迹进行初优化，再计算经过初优化后所有轨迹之间的余弦测量度来得到描述人物动作的特征轨迹从而完成人物运动的特征提取。一种优化视频关键人物运动轨迹的特征提取方法，包括以下步骤：步骤1，对输入的视频进行切分得到多个视频片段，在每个视频片段构成由不同帧上的特征点组成的多条轨迹；步骤2，接着对视频片段中的每帧图像进行关键人物运动框构建，并判断各条轨迹中的特征点在人物检测框中的个数是否大于阈值，从而删除与关键人物运动无关的轨迹；步骤3，最后计算经过初优化后的轨迹之间的余弦度并删除小于阈值的轨迹，从而完成对于视频中关键人物的轨迹优化。所述步骤1具体为：将输入的视频分解为包含L帧的多个视频片段，采用步长为5*5的采样框对各个视频片段的不同帧进行特征点采样，设置第s个视频片段中第t帧的第m个特征点坐标为ps,t,m＝(xs,t,m,ys,t,m)，其中xs,t,m和ys,t,m分别表示第s个视频片段第t帧中第m个特征点的横坐标和纵坐标，则在第t+1帧中第m个特征点通过密集光流场的得到，计算如下：其中，M表示中值滤波器，尺寸大小为3×3，ωs,t,m＝(μs,t,m,υs,t,m)，表示第s个视频片段第t帧中的第m个特征点密集光流场，μs,t,m和υs,t,m分别表示光流的水平分量和垂直分量，则第s个视频片段中一条由特征点m构成的轨迹为Ps,m＝(ps,0,m,ps,1,m,...,ps,k,m,...,ps,L-1,m)，其中，0≤k≤L-1且k为整数。所述步骤2中，使用FasterR-CNN对第s个视频片段中每一帧进行人体运动框检测，判断视频片段的各帧中特征点是否在人体运动检测框内，统计轨迹中特征点在检测框内的个数，通过判断特征点在人体检测框的个数来对轨迹进行删除和保留，所述FasterR-CNN是通过构建区域建议网络和FastR-CNN对视频中的目标人物进行检测和判定。所述步骤2包括如下步骤：步骤21，使用基于VGG16的FasterR-CNN网络生成每个视频片段中每帧进行关键人物运动的人物检测框，第s个视频片段所有帧的人体运动检测框检测组成的集合表示为Hs，具体表示如下：Hs＝[hs,0,hs,1,...,hs,k,...,hs,L-1]其中，hs,k＝(as,k,bs,k,rs,k,cs,k)表示第s个视频片段中第k帧的人体运动检测框，as,k,bs,k分别表示第s个视频片段中第k帧人体运动检测框左上角的横坐标和纵坐标，rs,k,cs,k分别表示检测框的高度和长度；步骤22，判断步骤1得到的轨迹Ps,m上的特征点是否在步骤21中各帧中的人体运动检测框Hs之内，计算过程如下：对Ps,m中第k帧上第m个轨迹点ps,k,m，设置num＝0，如果as,k≤xs,k,m≤as,k+cs,k且bs,k≥ys,k,m≥bs,k+rs,k，则num＝num+1；否则，num不变；其中，num表示轨迹Ps,m上的所有特征点在人体检测框内的和；设置res＝0，阈值β，并进行以下判断：如果num≥β，则保留该轨迹，res＝res+1；如果num＜β，则删除该轨迹，res不变；其中，res表示经过初优化轨迹的个数，经过对视频片段s中所有轨迹的判断，得到初优化的轨迹的集合为Ts，Ts＝(Ps,1,Ps,2,...,Ps,n,...,Ps,res)，其中，1≤n≤res且n为整数。所述步骤3中，计算步骤2中经过初优化后的轨迹之间的余弦相似度，首先将第一条轨迹保留，然后计算其余轨迹与第一条轨迹之间的余弦相似度，从而将剩余轨迹分入保留轨迹的集合和删除轨迹的集合，然后遍历保留轨迹集合中的所有轨迹，计算所述保留轨迹与删除轨迹集合中的所有轨迹之间的余弦相似度，进一步更新保留轨迹集合和删除轨迹集合，最终得到的保留轨迹的集合即可作为视频人物运动特征提取的结果。所述步骤3包括如下步骤：步骤31，设置Tsave和Tdel分别为保留轨迹的集合和删除轨迹集合，保留步骤22得到的Ts中的第一条轨迹Ps,1到集合Tsave中；步骤32，计算Ts中其他轨迹和Ps,1间的余弦相似度，设置阈值来判定该轨迹是否删除，假设Ps,e是Ts中的任意轨迹，其中1≤e≤res且e为整数，利用ΔPs,n表示轨迹在各帧之间关键点的偏移，具体计算公式如下：ΔPs,n＝(Δps,0,n,Δps,1,n,...,Δps,k,n,...,Δps,L-2,n)其中，n表示第n段轨迹，Δps,k,n表示关键点在第k帧和第k+1帧的位移，具体计算公式如下：Ps,1和Ps,e两条轨迹在各帧之间关键点的偏移为：ΔPs,1＝(Δps,0,1,Δps,1,1,...,Δps,k,1,...,Δps,L-2,1)ΔPs,e＝(Δps,0,e,Δps,1,e,...,Δps,k,e,...,Δps,L-2,e)则轨迹Ps,1和Ps,e之间的余弦测量度λ表示为：若则证明轨迹Ps,1和Ps,e为相关轨迹，将轨迹Ps,e放入删除轨本文档来自技高网...

【技术保护点】
1.一种优化视频关键人物运动轨迹的特征提取方法，其特征在于：包括以下步骤：/n步骤1，对输入的视频进行切分得到多个视频片段，在每个视频片段构成由不同帧上的特征点组成的多条轨迹；/n步骤2，接着对视频片段中的每帧图像进行关键人物运动框构建，并判断各条轨迹中的特征点在人物检测框中的个数是否大于阈值，从而删除与关键人物运动无关的轨迹；/n步骤3，最后计算经过初优化后的轨迹之间的余弦度并删除小于阈值的轨迹，从而完成对于视频中关键人物的轨迹优化。/n

【技术特征摘要】
1.一种优化视频关键人物运动轨迹的特征提取方法，其特征在于：包括以下步骤：
步骤1，对输入的视频进行切分得到多个视频片段，在每个视频片段构成由不同帧上的特征点组成的多条轨迹；
步骤2，接着对视频片段中的每帧图像进行关键人物运动框构建，并判断各条轨迹中的特征点在人物检测框中的个数是否大于阈值，从而删除与关键人物运动无关的轨迹；
步骤3，最后计算经过初优化后的轨迹之间的余弦度并删除小于阈值的轨迹，从而完成对于视频中关键人物的轨迹优化。


2.根据权利要求1所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤1具体为：将输入的视频分解为包含L帧的多个视频片段，采用步长为5*5的采样框对各个视频片段的不同帧进行特征点采样，设置第s个视频片段中第t帧的第m个特征点坐标为ps,t,m＝(xs,t,m,ys,t,m)，其中xs,t,m和ys,t,m分别表示第s个视频片段第t帧中第m个特征点的横坐标和纵坐标，则在第t+1帧中第m个特征点通过密集光流场的得到，计算如下：



其中，M表示中值滤波器，尺寸大小为3×3，ωs,t,m＝(μs,t,m,υs,t,m)，表示第s个视频片段第t帧中的第m个特征点密集光流场，μs,t,m和υs,t,m分别表示光流的水平分量和垂直分量，则第s个视频片段中一条由特征点m构成的轨迹为Ps,m＝(ps,0,m,ps,1,m,...,ps,k,m,...,ps,L-1,m)，其中，0≤k≤L-1且k为整数。


3.根据权利要求2所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤1中，L的取值为15。


4.根据权利要求1所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤2中，使用FasterR-CNN对第s个视频片段中每一帧进行人体运动框检测，判断视频片段的各帧中特征点是否在人体运动检测框内，统计轨迹中特征点在检测框内的个数，通过判断特征点在人体检测框的个数来对轨迹进行删除和保留，所述FasterR-CNN是通过构建区域建议网络和FastR-CNN对视频中的目标人物进行检测和判定。


5.根据权利要求4所述的优化视频关键人物运动轨迹的特征提取方法，其特征在于：所述步骤2包括如下步骤：
步骤21，使用基于VGG16的FasterR-CNN网络生成每个视频片段中每帧进行关键人物运动的人物检测框，第s个视频片段所有帧的人体运动检测框检测组成的集合表示为Hs，具体表示如下：
Hs＝[hs,0,hs,1,...,hs,k,...,hs,L-1]
其中，hs,k＝(as,k,bs,k,rs,k,cs,k)表示第s个视频片段中第k帧的人体运动检测框，as,k,bs,k分别表示第s个视频片段中第k帧人体运动检测框左上角的横坐标和纵坐标，rs,k,cs,k分别表示检测框的高度和长度；
步骤22，判断步骤1得到的轨迹Ps,m上的特征点是否在步骤21中各帧中的人体运动检测框Hs之内，计算过程如下：
对Ps,m中第k帧上第m个轨迹点ps,k,m，设置num＝0，如果as,k≤xs,k,m≤as,k+cs,k且bs,k≥ys,k,m≥bs,k+rs,k...

【专利技术属性】
技术研发人员：陈志，周传，岳文静，祝驭航，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32