基于多视角间共性特性挖掘的多任务动作识别方法技术

本发明专利技术公开了一种基于多视角间共性特性挖掘的多任务动作识别方法，实现了对基于多视角动作识别的不同视角间内在共性和特性的挖掘。具体包含以下步骤：(1)视频预处理及特征提取和融合，(2)数据的构建及视角间相似度矩阵的构建，(3)多视角间共性特性挖掘的多任务学习正则项制定及模型构建，(4)基于视角间共性特性挖掘的多任务动作识别模型构建，(5)基于特征投影的多任务动作识别。本发明专利技术的优点是通过将视角看作任务，充分挖掘任务(视角)间内在的共有特征和特有特征，使得从一个任务学习到的信息被其余任务所利用，实现人体动作的高效识别。

Multitask action recognition method based on mining common features among multiple perspectives

The invention discloses a multitask action recognition method based on the mining of common features among multiple perspectives, and realizes the mining of internal common features and features among different perspectives based on the multi perspective action recognition. Specifically, it includes the following steps: (1) video preprocessing, feature extraction and fusion, (2) data construction and similarity matrix construction between perspectives, (3) regular item formulation and model construction of multi task learning based on common feature mining between perspectives, (4) multi task action recognition model construction based on common feature mining between perspectives, (5) multi task action recognition based on feature projection. The invention has the advantages of fully mining the internal common features and unique features between tasks (Perspectives) by regarding the perspective as a task, making the information learned from one task be used by other tasks, and realizing the efficient recognition of human actions.

【技术实现步骤摘要】
基于多视角间共性特性挖掘的多任务动作识别方法
本专利技术属于计算机视觉和模式识别
，涉及一种基于多视角间共性特性挖掘的多任务动作识别方法，将视角看作任务，用于挖掘不同视角间潜在的共性和特性关联，在人体动作识别领域，验证了视角共性特性学习以及线性多任务学习的有效性。
技术介绍
人体动作识别是计算机视觉和模式识别领域的一个极具挑战性的研究热点，并因其在智能监控、便捷的人机交互等领域的广泛应用受到学术界和工业界的密切关注。近些年来，许多人体动作识别方法也被广泛的讨论，早期的很多研究提出了许多不同的算法，它们大体可以分为两类：1)特征层，早期的研究通常认为获得一个好的人体动作特征再表示是有效的提高人体动作识别性能的关键，因此，许多人体动作描述方法被提出，例如，运动历史直方图、运动能量图像、STIP特征、MoSIFT、DSTIP、3D-SIFT和GIST等不同特征；2)分类器层，早期有许多研究者针对动作本身所具有的特性，设计出了许多不同的分类器，例如，支持向量机，条件随机场，稀疏化分类器和深度神经网络等。尽管许多令人满意的动作描述符和分类器被相继提出，由于在当前真实系统应用中往往存在严重的遮挡、被关注对象位置变化、视角变化等多种外因带来的影响，单视角动作识别仍然是一个具有挑战性的研究课题。因此，近些年来，多视角人体动作识别方法被广泛的提出，在多视角问题中，通过从多个视角观察人体动作，可以有效的解决单视角自遮挡问题，且每个视角将会提供其余视角没有的互补信息，因此，来自于多个视角的信息可以用于更加准确的描述人体动作，从而提高人体动作识别的准确率。在计算机视觉和模式识别相关研究领域中，多任务学习一直是最活跃的研究领域之一。在许多真实世界的应用中，往往会包括一些相关联的分类、回归、聚类任务，一个简单的解决这些任务的方法就是忽略任务之间的相关性，利用单任务学习方法独立的解决每一个任务，而多任务学习方法则是通过提取和利用相关任务间共享的信息来共同的学习一组任务，从而有效的提高单个任务的预测性能。现如今，虽然多任务学习已经被应用在了众多领域，但是将多任务学习应用在多视角人体动作识别方面的研究还很少，其次，大多数多任务动作识别问题都只考虑了任务间的相关性，并没有对多任务间的共有特征以及单个任务的特有特征同时进行学习，且也未能考虑到任务间的依赖性以及不同任务间动作的相似性，无法充分挖掘任务间的内在关联特性，从而不能为高效的人体动作识别提供帮助。
技术实现思路
本专利技术目的是解决基于多视角的多任务动作识别中，常用方法无法充分挖掘并利用不同视角间内在共性和特性的问题，提供一种高效的基于多视角间共性特性挖掘的多任务动作识别方法，用于充分地挖掘多视角的内在关联，并在人体动作识别中进行了验证。本专利技术提供的基于多视角间共性特性挖掘的多任务动作识别方法，用于将视角看作任务，充分挖掘多视角间内在的共性和特性关联，从而为高效的人体动作识别提供帮助。该方法具体包含以下步骤：第1步、视频预处理及特征提取和融合第1.1步、由于从设备中采集的深度数据包括许多空洞，所以需要使用修补算法修补空洞；且连续的数据需要手动的标记单个动作的开始点和结束点来分割数据，消除了不相关的插入帧后，完整的动作实例将会被提取出来。第1.2步、由于彩色数据提供的是动作的视觉外观信息，而深度数据提供的是结构信息，因此共同使用两种异质的模态将会更加有益于数据信息的提取，因此为彩色图像和深度图像分别提取HOGHOF特征和CCD特征，对两种特征进行融合并保存对应的结果；第2步、数据的构建和视角间相似度矩阵的构建第2.1步、定义和概念考虑一组用以描述动作的R个相关视角，将每个视角看作一个任务，每一个任务都是一个具有C个动作类别的多类别分类问题，对于每一个任务t＝1，2，...，R，给定一个训练集其中，Nt表示第t个任务的总样本数，是一个表示第t个任务中第n个动作样本的d维特征向量，是指示第t个任务中第n个动作样本的类别成员的标签，对于每一个任务t，定义一个特征矩阵xt∈IRNt×d，以及标签矩阵yt定义如下：连接所有R个任务的特征矩阵xt和标签矩阵yt得到特征矩阵X＝[x1′,...,xR′]′，X∈IRN×d和标签矩阵Y＝[y1′,...yR′]′，Y∈IRN×CR，其中表示R个任务的总样本数；以上各式中，x1′表示矩阵x1的转置，[x1′,...,xR′]′表示矩阵[x1′,...,xR′]的转置，其它含义类似。第2.2步、视角间相似度由于从相邻视角间观察到的动作的相似度要高于相隔较远的视角间动作的相似度，且为了保证从一个任务中学习到的知识能被其余任务所利用，因此，通过指定一个矩阵来定义一个模拟不同视角即任务间动作相似度的图形结构即相似度矩阵，其具体的定义公式如下：其中其中，v、w和h指代的是视角即任务，c指代的是第c个动作类别，p、q分别表示的是在第v和第w个视角即任务中属于第c个动作类别的样本数。表示的是第v个任务中属于第c个动作类别的第i个动作样本的特征向量，表示的是第w个任务中属于第c个动作类别的第j个动作样本的特征向量，γvw∈IR1×C是一个向量，表示的是第v和第w个视角间各个动作的相似度，其中越大的值代表不同视角即任务间指定动作拥有越大的相似度，γvw(1,c)表示的是第v和第w个视角间第c个动作类别之间的相似度；第3、多视角间共性特性挖掘的多任务学习正则项制定及模型构建为了充分挖掘视角间的内在关系以及每个视角间的共性和特性，将权重矩阵分解为两项之和的形式，即C和S，矩阵C模拟任务即视角之间的共同特征，矩阵S模拟各个任务即视角的特有特征，因此，构建模型如下：其中，λc、λs和λ是标量常数，用于控制其对应项的贡献程度，Y表示训练集标签，X表示训练集提取完特征的矩阵，矩阵C＝[c1′,...cR′]′∈IRd×CR是通过学习任务(视角)间的共有特征得到的变换矩阵，矩阵S＝[s1′,...sR′]′∈IRd×CR是通过学习各个任务(视角)的特有特征得到的变换矩阵，M是从第2.2步中得到的视角间相似度矩阵；第4、基于视角间共性特性挖掘的多任务动作识别模型构建在第3步获得的变换矩阵C和S的基础上，对单个任务训练和测试样本进行表征，其具体的模型如下：其中，表示的是第t个任务即视角的原始训练样本，表示的是第t个任务的原始训练样本经由变换矩阵(ct+st)投影到C维输出空间后的训练样本，表示的是第t个任务即视角的原始测试样本，表示的是第t个任务的原始测试样本经由变换矩阵(ct+st)投影到C维输出空间后的测试样本，ct和st分别表示的第t个任务即视角的变换矩阵，C表示动作类别数；第5、基于特征投影的多任务动作识别根据将第4步中获得的通过变换矩阵投影表征后位于同一空间的每个任务测试、训练样本共同送进k最近邻分类算法，并设置合适的参数k，进行分类，将最后得到的结果判断为该测试样本对应的动作类别。本专利技术的优点本文档来自技高网...

【技术保护点】
1.一种基于多视角间共性特性挖掘的多任务动作识别方法，用于充分挖掘多视角间的内在共性和特性关联，以实现高效率的动作识别，其特征在于该方法具体包含以下步骤：/n第1步、视频预处理及特征提取和融合/n第1.1步、由于从设备中采集的深度数据包括许多空洞，所以需要使用修补算法修补空洞；且连续的数据需要手动的标记单个动作的开始点与结束点来分割数据，消除了不相关的插入帧后，完整的动作实例将会被提取出来；/n第1.2步、为彩色图像和深度图像分别提取HOGHOF特征和CCD特征，对两种特征进行融合并保存对应的结果；/n第2步、数据的构建和视角间相似度矩阵的构建/n第2.1步、定义和概念/n考虑一组用以描述动作的R个相关视角，将每个视角看作一个任务，每一个任务都是一个具有C个动作类别的多类别分类问题，对于每一个任务t＝1,2,...,R，给定一个训练集

【技术特征摘要】
1.一种基于多视角间共性特性挖掘的多任务动作识别方法，用于充分挖掘多视角间的内在共性和特性关联，以实现高效率的动作识别，其特征在于该方法具体包含以下步骤：
第1步、视频预处理及特征提取和融合
第1.1步、由于从设备中采集的深度数据包括许多空洞，所以需要使用修补算法修补空洞；且连续的数据需要手动的标记单个动作的开始点与结束点来分割数据，消除了不相关的插入帧后，完整的动作实例将会被提取出来；
第1.2步、为彩色图像和深度图像分别提取HOGHOF特征和CCD特征，对两种特征进行融合并保存对应的结果；
第2步、数据的构建和视角间相似度矩阵的构建
第2.1步、定义和概念
考虑一组用以描述动作的R个相关视角，将每个视角看作一个任务，每一个任务都是一个具有C个动作类别的多类别分类问题，对于每一个任务t＝1,2,...,R，给定一个训练集其中，Nt表示第t个任务的总样本数，是一个表示第t个任务中第n个动作样本的d维特征向量，是指示第t个任务中第n个动作样本的类别成员的标签，对于每一个任务t，定义一个特征矩阵xt∈IRNt×d，以及标签矩阵yt定义如下：



连接所有R个任务的特征矩阵xt和标签矩阵yt得到特征矩阵X＝[x1′,...,xR′]′，X∈IRN×d和标签矩阵Y＝[y1′,...yR′]′，Y∈IRN×CR，其中表示R个任务的总样本数；以上各式中，x1′表示矩阵x1的转置，[x1′,...,xR′]′表示矩阵[x1′,...,xR′]的转置，其它含义类似；
第2.2步、视角间相似度
由于从相邻视角间观察到的动作的相似度要高于相隔较远的视角间动作的相似度，且为了保证从一个任务中学习到的知识能被其余任务所利用，因此，通过指定一个矩阵来定义一个模拟不同视角即任务间动作相似度的图形结构即相似度矩阵，其具体的定义公式如下：



其中



其中，v、w和h指代的是视角即任务，c指代的是第c个动作类别，p、q分别表示的是在第v和第w个视角...

【专利技术属性】
技术研发人员：高赞，轩海珍，张桦，王志岗，薛彦兵，徐光平，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：天津;12