一种基于小样本学习的动作相似度评估方法技术

本发明专利技术公开了一种基于小样本学习的动作相似度评估方法，该方法步骤包括建立数据预处理模型、训练模型、测试模型，采用人体姿态估计模型提取人体整体骨架运动视频以及各关节点位置，排除了背景干扰，并且对人的动作按照关节点位置拆分，设定采样像素值和采样间隔，截取得到包括人体整体骨架运动视频和以各关节点为中心的关节动作的采样视频，采样视频结合了局部信息与全局信息，通过数据预处理后，再使用改写的三元组损失函数进行训练，最后将视频数据映射至余弦空间，计算余弦距离，输出视频中人的动作整体及各个关节相似程度结果。本发明专利技术仅用很少的样本就可以学习到一个很好的动作特征映射模型，进而得到一个很好的动作相似度结果。

【技术实现步骤摘要】
一种基于小样本学习的动作相似度评估方法
本专利技术涉及计算机视觉领域，具体涉及一种基于小样本学习的动作相似度评估方法。
技术介绍
目前主要的动作相似度评估方法是采用双流的架构，即RGB流和光流。其中RGB流提取视频中人的空间特征，光流提取视频中人的运动特征，融合双流特征，两个视频都采取同样操作得到两个融合双流特征，输入决策网络得到相似度评分。双流架构的模型一般是笼统的分析整幅图片，关注更多的是全局信息，这是双流模型本身结构导致的，而相似度评估理应更关注局部信息。而且由于数据中存在大量噪音，采用双流架构的模型为了学习到好的特征，需要大量数据进行训练，以降低噪音对最后结果的影响，缓解过拟合现象，而在真实环境中，数据是比较难获取的一种资源，这就导致获取数据往往需要增加很多的成本。
技术实现思路
为了克服现有技术的缺陷，本专利技术提供一种基于小样本学习的方法，根据人体姿态估计模型得出的结果，截取出以人体关节点为中心的100x100像素范围的小视频，联合原视频一起输入神经网络提取特征，既关注了局部信息又顾及到了全局信息，训练出的模型能够很好地评估任意两个动作的相似度，并且在真实场景拍摄的数据集中获得了较优的评估结果。为了达到上述目的，本专利技术采用以下技术方案：一种基于小样本学习的动作相似度评估方法，包括下述步骤：建立数据预处理模型：采用人体姿态估计模型提取人体整体骨架运动视频以及各关节点位置；设定采样像素值和采样间隔，截取得到采样视频，采样视频包括人体整体骨架运动采样视频和以各关节点为中心的关节动作采样视频；建立训练模型：选取训练数据，确定模板数据、正类数据、负类数据；采用三元组损失函数训练，将模板数据、正类数据、负类数据分别输入到三维卷积神经网络的特征提取器，得到特征图，再经过全连接层的计算分别得到模板特征向量，正类特征向量，负类特征向量；模板特征向量与正类特征向量对应计算出第一余弦距离；模板特征向量与负类特征向量对应计算出第二余弦距离；采用三元组损失函数训练，更新参数后输出训练好的特征提取器；所述第一余弦距离或第二余弦距离的计算公式如下所述：其中，cos为计算所得余弦值，取值范围为[0,1]，余弦值越接近1，表明夹角越接近于0度，两个特征向量越相似，xi为模板数据的第i个特征向量，yi正类或负类数据的第i个特征向量；建立测试模型：输入两段待测视频，经过数据预处理模型进行数据预处理；分别输入已经训练好的特征提取器，将得到的特征向量对应计算余弦距离；计算余弦距离的平均值，输出视频中人的动作整体动作的相似度分数。作为优选的技术方案，建立数据预处理模型中采样步骤具体如下所述：将人体整体骨架运动视频缩放像素，采用软间隔采样，得到采样视频；截取以各关节点为中心的关节动作视频并且缩放像素，使用软间隔采样，视频帧数对采样间隔取模值小于1，则将视频帧加入目标视频，所述关节动作视频缩放像素值与人体整体骨架运动视频相同。作为优选的技术方案，所述软间隔采样的采样间隔计算方式如下述公式所述：sample＝t/(fps/25)/36；其中sample为采样间隔，t为视频总帧数，fps为视频帧率。作为优选的技术方案，所述建立数据预处理模型中各关节位置包括左、右肩，左、右肘，左、右手腕，左、右臀，左、右膝盖和左、右脚踝。作为优选的技术方案，所述建立数据预处理模型中设定的像素值采用100x100像素值。作为优选的技术方案，所述建立训练模型步骤中的三元组损失函数计算公式如下所述：其中Ni为第i个模板数据动作与第i个负类数据动作计算余弦距离得到的余弦值，Pi为第i个模板数据动作与第i个正类数据动作计算余弦距离得到的余弦值，n＝13，m为两个余弦距离的最小间隔，m取0.9，+表示[]内的值大于零的时候，取该值损失，否则损失为零。作为优选的技术方案，所述建立训练模型中的选取训练集的具体步骤如下所述：从s类动作视频中分别选取k个与模板数据动作最相似的视频，共选取出sxk个训练样本，其中s>1，k>1；采用三元组损失函数进行数据训练后，训练样本共有sxkxk种组合方式。作为优选的技术方案，所述建立训练模型中的三维卷积网络采用参数共享的方式。作为优选的技术方案，所述建立训练模型中的特征图信息包括运动信息、颜色信息、形状信息和位置信息。作为优选的技术方案，所述测试模型中还包括下述步骤：将余弦距离分别单独输出，得到各个关节位置相似程度结果。本专利技术与现有技术相比，具有如下优点和有益效果：(1)本专利技术利用人体姿态估计模型得到人体骨架运动视频，排除了背景信息的干扰，进而帮助模型学习到更有利的特征。(2)本专利技术将人的动作按照关节点位置拆分，联合部分与整体一起得出最后的相似度评分，有效地关注了局部信息和全局信息，使得最终结果更可靠。(3)本专利技术利用三元组损失函数特性进行数据训练，充分挖掘数据的内在价值，仅用少量样本即可学习到一个很好的特征映射模型，可将视频数据映射至余弦空间，进而得到一个很好的动作相似度结果。附图说明图1为本专利技术数据预处理模型的人体骨架示意图；图2为本专利技术训练模型的结构示意图；图3为本专利技术测试模型的流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。在本实施例中，提供一种基于小样本学习的动作相似度评估方法，具体步骤如下所述：建立数据预处理模型：使用AlphaPose(人体姿态估计模型)提取人体骨架运动视频以及关节点位置，如图1所示。忽略了数据的背景信息，极大得降低了背景噪音对模型结果的影响，使得模型学习到的特征聚焦在动作上。截取出以关节点为中心的100x100像素的区域，共12个(除去头部5个点)，分别是左肩,右肩,左肘,右肘,左手腕,右手腕,左臀,右臀,左膝盖,右膝盖,左脚踝,右脚踝。由于每个视频长度都不同，为了统一长度又不失动作的连续性，本实施例提出使用软间隔采样，即先求采样间隔(计算方法如公式1所示)，依次读入视频帧，若当前帧数对采样间隔取模的值小于1，则将该帧加入至目标视频。完成软间隔采样，统一得到帧率为25，总帧数为36帧的短视频。sample＝t/(fps/25)/36(1)其中sample为采样间隔，t为视频总帧数，fps为视频帧率。在本实施例中，建立训练模型：将整体的骨架运动视频缩放至100x100，时间序列也使用软间隔采样，得到36帧短视频，加上截取出的各关节点运动视频，得到13x36x100x100x3维的数据(13是12个部分视频加上1个整体视频)。使用tripletloss(三元组损失函数)训练，即模版数据，正类数据(与模版相同动作)，负类数据(与模版不同动作)分别输入至C3D(三维卷积网络)的特征提取器，得到特征图，再经过全连接层的计算分别得到模板特征向量，正类特征向量，负类特征向量；所述三维卷积网络采用参数共享的方式，一次迭代需重复计算39次，即得到3x13个不同的特征向量。13个属于模版的特征向量与13个属于正类的特征向量对应计算余弦距离(由公式2所示)，得到13个余弦值，对再对其求均值，得到模板数据动作与正类动作数据的相似度分数。同理，模版特征向量与负类特征向量计算余弦距离本文档来自技高网...

【技术保护点】
1.一种基于小样本学习的动作相似度评估方法，其特征在于，包括下述步骤：建立数据预处理模型：采用人体姿态估计模型提取人体整体骨架运动视频以及各关节点位置；设定采样像素值和采样间隔，截取得到采样视频，采样视频包括人体整体骨架运动采样视频和以各关节点为中心的关节动作采样视频；建立训练模型：选取训练数据，确定模板数据、正类数据、负类数据；将模板数据、正类数据、负类数据分别输入到三维卷积神经网络的特征提取器，得到特征图，再经过全连接层的计算分别得到模板特征向量，正类特征向量，负类特征向量；模板特征向量与正类特征向量对应计算出第一余弦距离；模板特征向量与负类特征向量对应计算出第二余弦距离；采用三元组损失函数训练，更新参数后输出训练好的特征提取器；所述第一余弦距离或第二余弦距离的计算公式如下所述：

【技术特征摘要】
1.一种基于小样本学习的动作相似度评估方法，其特征在于，包括下述步骤：建立数据预处理模型：采用人体姿态估计模型提取人体整体骨架运动视频以及各关节点位置；设定采样像素值和采样间隔，截取得到采样视频，采样视频包括人体整体骨架运动采样视频和以各关节点为中心的关节动作采样视频；建立训练模型：选取训练数据，确定模板数据、正类数据、负类数据；将模板数据、正类数据、负类数据分别输入到三维卷积神经网络的特征提取器，得到特征图，再经过全连接层的计算分别得到模板特征向量，正类特征向量，负类特征向量；模板特征向量与正类特征向量对应计算出第一余弦距离；模板特征向量与负类特征向量对应计算出第二余弦距离；采用三元组损失函数训练，更新参数后输出训练好的特征提取器；所述第一余弦距离或第二余弦距离的计算公式如下所述：其中，cos为计算所得余弦值，取值范围为[0,1]，余弦值越接近1，表明夹角越接近于0度，两个特征向量越相似，xi为模板数据的第i个特征向量，yi正类或负类数据的第i个特征向量；建立测试模型：输入两段待测视频，经过数据预处理模型进行数据预处理；分别输入已经训练好的特征提取器，将得到的特征向量对应计算余弦距离；计算余弦距离的平均值，输出视频中人的动作整体动作的相似度分数。2.根据权利要求1所述的基于小样本学习的动作相似度评估方法，其特征在于，建立数据预处理模型中采样步骤具体如下所述：将人体整体骨架运动视频缩放像素，采用软间隔采样，得到采样视频；截取以各关节点为中心的关节动作视频并且缩放像素，使用软间隔采样，视频帧数对采样间隔取模值小于1，则将视频帧加入目标视频，所述关节动作视频缩放像素值与人体整体骨架运动视频相同。3.根据权利要求2所述的基于小样本学习的动作相似度评估方法，其特征在于，所述软间隔采样的采样间隔计算方式如下述公式所...

【专利技术属性】
技术研发人员：郑伟诗，胡康，朱智慧，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44