一种基于帧间自相似的动作识别方法技术

本发明专利技术公开了一种基于帧间自相似的动作识别方法，所述动作识别方法包括以下步骤：对处理后的动作样本提取全局光流特征，并用特征矩阵来表示每一个动作样本；根据动作样本特征矩阵计算各帧特征之间的自相似性得到自相似矩阵；从自相似矩阵中提取出每一个动作样本的新的特征向量；根据新的特征向量通过支持向量机学习分类模型，用学习得到的模型对测试样本的新的特征向量进行动作分类，完成在未知视角下的动作识别任务。本发明专利技术实施例通过提取动作样本的帧间自相似特征，利用已知视角的动作样本学习得到一个具有较强鲁棒性的动作识别模型，实现在未知视角下进行动作识别。

A method of motion recognition based on inter frame self similarity

The invention discloses a self similar action recognition method based on inter frame, the action recognition method comprises the following steps: extracting features of the global optical flow after the treatment action samples, and the characteristic matrix to represent each action sample; according to the action characteristics of sample matrix calculation between each frame feature obtained from self similarity from the self similarity matrix; similar matrix to extract the feature vector of each sample according to the action; the new feature vector by support vector machine learning classification model, by learning the model of test samples of the new characteristics of the action to complete the classification, action recognition task in unknown perspective. The embodiment of the invention by extracting sample inter action self similarity features, get a more robust action recognition model of learning from the perspective of action by using the known samples, implementation of action recognition in unknown perspective.

【技术实现步骤摘要】
一种基于帧间自相似的动作识别方法
本专利技术涉及动作识别领域，尤其涉及一种基于帧间自相似的动作识别方法。
技术介绍
人体的动作识别在计算机视觉领域中是一个十分重要的课题，是计算机视觉研究中的热点与难点。它的应用十分广泛与人们的生活息息相关，例如：数字娱乐、智能家具、视频监控、以及预防犯罪事件发生等。但是，由于人与人之间存在巨大的差异，动作的灵活性和多样性，摄像机的运动，环境的不可控性，人与人之间相互遮挡，人与物体之间的相互遮挡，以及复杂背景等问题的存在，人体动作行为识别依旧是一个十分复杂并且具有挑战性的问题。早期的动作识别主要集中研究如何在可控环境的单视角下进行动作识别。为了研究此问题，研究人员提出了提取视频中局部特征将视觉信息转换成可量化的信息，进行动作识别。早期这种方法只考虑从视频的彩色信息中提取出动作的空间信息，因此识别效果并不理想。接着研究人员提出了可以将局部的空间信息和时间信息相结合，提出了时空感兴趣点和尺度不变换等特征，从而从视频中提取出更多的动作信息。此类方法的动作识别准确率能较之前有所提升，但是由于只利用了局部的时空信息，而忽略了动作的全局信息，这种类型的动作识别方法的鲁棒性并不理想。近年来基于深度学习的动作识别算法受到许多研究人员的重视。由于此方法是基于复杂的神经网络构建的学习模型，它能通过训练得到一个鲁棒性较好的分类模型。目前这些方法主要应对于单视角的动作识别，但由于在此类动作识别任务中许多环境因素受到人为控制较为简单，大量的动作识别算法已经能在这种动作识别问题中取得理想的效果。近年来人体动作识别问题更加专注于如何在复杂的环境中和不同的视角下进行动作识别。不同于单视角下的动作识别，不同视角下的同一类型的动作样本具有不同的特点。直接利用已知视角下动作样本学习动作识别模型，很难在另一个视角下的动作识别中取得理想的效果。同时要从所有视角下收集动作样本来训练一个通用的动作识别模型是不现实的。首先需要训练的动作样本数量十分庞大，很难学习得到一个具有很好鲁棒性的分类模型。其次不同视角下的动作类别不一定一样，很难保证每个动作类别都有充足的训练样本。为了解决此问题，研究人员提出了跨视角学习和跨域学习等方法，通过学习两个视角下对应动作样本的特征，实现将一个视角下的动作样本映射到另外一个视角下。此类方法在跨视角动作识别中能取得较为不错的效果，但在训练过程中还是需要用到测试视角下的动作样本。在现实中，当需要在一个未知视角下进行动作识别时，一般不具有此视角下的动作样本。
技术实现思路
本专利技术提供了一种基于帧间自相似的动作识别方法，本专利技术通过学习动作本身不同阶段的自相似特点实现在未知的视角下进行动作识别的目的，详见下文描述：一种基于帧间自相似的动作识别方法，所述动作识别方法包括以下步骤：对处理后的动作样本提取全局光流特征，并用特征矩阵来表示每一个动作样本；根据动作样本特征矩阵计算各帧特征之间的自相似性得到自相似矩阵；从自相似矩阵中提取出每一个动作样本的新的特征向量；根据新的特征向量通过支持向量机学习分类模型，用学习得到的模型对测试样本的新的特征向量进行动作分类，完成在未知视角下的动作识别任务。所述动作识别方法还包括以下步骤：收集录制不同视角下人体的运动信息，建立多视角的动作数据库；提取出训练视角下、以及测试视角下的动作样本；对提取的动作样本进行帧长度的统一，使得每个样本具有相同的视频帧数。所述对提取的动作样本进行帧长度的统一的步骤具体为：计算出所有动作样本的视频的平均帧数j，接着对每一个动作样本视频按照图像序列的时间顺序等间隔抽取m＝j/2帧，并重组为视频作为处理后的动作样本视频。所述对处理后的动作样本提取全局光流特征，并用特征矩阵来表示每一个动作样本的步骤具体为：在得到每一点的光流后将每一帧图像中所有像素点的光流串联得到每一帧图像的光流特征向量；将每一帧的光流特征向量按时间顺序组合得到动作视频样本的特征矩阵。本专利技术提供的技术方案的有益效果是：1、通过学习动作本身内在的自相似特点，利用全局光流特征就能提取得到与视角无关的动作信息，便于在未知视角下进行动作识别；2、无需进行复杂的词典学习和特征编码即可得到动作样本的特征向量，节省了完成动作识别的时间；3、提出的帧间自相似的动作识别算法流程简单，易被推广到现实使用中。附图说明图1为一种基于帧间自相似的动作识别方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。为了更好的解决
技术介绍
中存在的问题，本专利技术实施例提出了一种基于帧间自相似的动作识别方法。虽然不同的动作在不同的视角下具有不同的表现形式，但是动作自身的帧间自相似特性不会因为视角的改变而改变。通过提取动作样本的帧间自相似特征，仅仅利用已知视角的动作样本就能学习得到一个具有较强鲁棒性的动作识别模型，此模型可以实现在未知视角下进行动作识别。实施例1一种基于帧间自相似的动作识别方法，参见图1，该动作识别方法包括以下步骤：101：对处理后的动作样本提取全局光流特征，并用特征矩阵来表示每一个动作样本；102：根据动作样本特征矩阵计算各帧特征之间的自相似性得到自相似矩阵；从自相似矩阵中提取出每一个动作样本的新的特征向量；103：根据新的特征向量通过支持向量机学习分类模型，用学习得到的模型对测试样本的新的特征向量进行动作分类，完成在未知视角下的动作识别任务。其中，该动作识别方法还包括以下步骤：收集录制不同视角下人体的运动信息，建立多视角的动作数据库；提取出训练视角下、以及测试视角下的动作样本；对提取的动作样本进行帧长度的统一，使得每个样本具有相同的视频帧数。其中，上述对提取的动作样本进行帧长度的统一的步骤具体为：计算出所有动作样本的视频的平均帧数j，接着对每一个动作样本视频按照图像序列的时间顺序等间隔抽取m＝j/2帧，并重组为视频作为处理后的动作样本视频。其中，步骤101中的对处理后的动作样本提取全局光流特征，并用特征矩阵来表示每一个动作样本的步骤具体为：在得到每一点的光流后将每一帧图像中所有像素点的光流串联得到每一帧图像的光流特征向量；将每一帧的光流特征向量按时间顺序组合得到动作视频样本的特征矩阵。综上所述，本专利技术实施例通过提取动作样本的帧间自相似特征，利用已知视角的动作样本学习得到一个具有较强鲁棒性的动作识别模型，实现在未知视角下进行动作识别。实施例2下面结合图1、表1以及具体的计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：201：收集录制不同视角下人体的运动信息，建立多视角的动作数据库；录制时在每个视角下进行单独的动作录制，保证所有视角下的动作样本不具有时间和空间上的直接的关联性，表1给出了建立的数据库的动作列表。表1动作列表具体实现时，本专利技术实施例对上述具体的动作不做限制，也可以为其他的动作，根据实际应用中的需要进行设定。202：分别提取训练视角下、以及测试视角下的动作样本；其中，训练视角的动作样本主要用于进行动作分类模型的训练，测试视角的动作样本用于动作识别测试。203：对上述动作样本进行帧长度的统一，使得每个动作样本具有相同的视频帧数；首先计算出所有动作样本的视频的平均帧数j，接着对每一个动作样本视频按照图像序列的时间顺序等间隔抽取m＝j本文档来自技高网...

【技术保护点】
一种基于帧间自相似的动作识别方法，其特征在于，所述动作识别方法包括以下步骤：对处理后的动作样本提取全局光流特征，并用特征矩阵来表示每一个动作样本；根据动作样本特征矩阵计算各帧特征之间的自相似性得到自相似矩阵；从自相似矩阵中提取出每一个动作样本的新的特征向量；根据新的特征向量通过支持向量机学习分类模型，用学习得到的模型对测试样本的新的特征向量进行动作分类，完成在未知视角下的动作识别任务。

【技术特征摘要】
1.一种基于帧间自相似的动作识别方法，其特征在于，所述动作识别方法包括以下步骤：对处理后的动作样本提取全局光流特征，并用特征矩阵来表示每一个动作样本；根据动作样本特征矩阵计算各帧特征之间的自相似性得到自相似矩阵；从自相似矩阵中提取出每一个动作样本的新的特征向量；根据新的特征向量通过支持向量机学习分类模型，用学习得到的模型对测试样本的新的特征向量进行动作分类，完成在未知视角下的动作识别任务。2.根据权利要求1所述的一种基于帧间自相似的动作识别方法，其特征在于，所述动作识别方法还包括以下步骤：收集录制不同视角下人体的运动信息，建立多视角的动作数据库；提取出训练视角下、以及测试视角下的动作样本；对提取的动作样本进行...

【专利技术属性】
技术研发人员：苏育挺，李阳，刘安安，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12