本说明书实施例提供动作识别方法以及装置，其中所述动作识别方法包括：将待处理视频输入动作识别模型，并通过所述动作识别模型中的二维卷积网络，对所述待处理视频进行卷积处理，生成对应的第一卷积向量，其中，所述待处理视频中包含目标对象的待识别动作，通过所述动作识别模型中的三维卷积网络，对所述待处理视频及所述第一卷积向量进行卷积处理，生成对应的第二卷积向量，通过所述动作识别模型的分类网络对所述第二卷积向量进行处理，以对所述待识别动作进行识别，生成对应的动作识别结果并输出。输出。输出。
【技术实现步骤摘要】
动作识别方法以及装置
[0001]本说明书实施例涉及计算机
，特别涉及一种动作识别方法。本说明书一个或者多个实施例同时涉及一种动作识别装置，一种计算设备，以及一种计算机可读存储介质。
技术介绍
[0002]目前在很多场景下，都需要对视频中目标对象(例如人物)的动作进行识别，以确定人物动作的动作类型。例如，在公共场所中，为了避免翻爬、斗殴、违规操作等危害个人及公共安全的恶性事件发生，需要对公共场所获取的视频中的人物动作进行识别。例如，在人机交互系统中，为了对人的行为进行理解，需要对人机交互系统获取的视频中的人物动作进行识别。
[0003]为了实现对视频中的人物动作的识别，目前多是基于二维姿态估计的动作识别和基于三维姿态估计的动作识别。在基于二维姿态估计的动作识别过程中，由于缺乏人物姿态的深度信息，使得该方法得到的动作识别准确性较低；而在基于三维姿态估计的动作识别过程中，考虑了人物姿态的深度信息，但该方法对计算资源有限及对实时性要求较高的动作识别场景，其在保证姿态估计及动作识别准确性的条件下，无法有效应用。因此，亟需一种有效的方法以解决此类问题。
技术实现思路
[0004]有鉴于此，本说明书实施例提供了一种动作识别方法。本说明书一个或者多个实施例同时涉及一种动作识别装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
[0005]根据本说明书实施例的第一方面，提供了一种动作识别方法，包括：
[0006]将待处理视频输入动作识别模型，并通过所述动作识别模型中的二维卷积网络，对所述待处理视频进行卷积处理，生成对应的第一卷积向量，其中，所述待处理视频中包含目标对象的待识别动作；
[0007]通过所述动作识别模型中的三维卷积网络，对所述待处理视频及所述第一卷积向量进行卷积处理，生成对应的第二卷积向量；
[0008]通过所述动作识别模型的分类网络对所述第二卷积向量进行处理，以对所述待识别动作进行识别，生成对应的动作识别结果并输出。
[0009]根据本说明书实施例的第二方面，提供了一种动作识别装置，包括：
[0010]输入模块，被配置为将待处理视频输入动作识别模型，并通过所述动作识别模型中的二维卷积网络，对所述待处理视频进行卷积处理，生成对应的第一卷积向量，其中，所述待处理视频中包含目标对象的待识别动作；
[0011]处理模块，被配置为通过所述动作识别模型中的三维卷积网络，对所述待处理视频及所述第一卷积向量进行卷积处理，生成对应的第二卷积向量；
[0012]输出模块，被配置为通过所述动作识别模型的分类网络对所述第二卷积向量进行处理，以对所述待识别动作进行识别，生成对应的动作识别结果并输出。
[0013]根据本说明书实施例的第三方面，提供了一种计算设备，包括：
[0014]存储器和处理器；
[0015]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令实现所述动作识别方法的步骤。
[0016]根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述动作识别方法的步骤。
[0017]本说明书一个实施例通过将待处理视频输入动作识别模型，并通过所述动作识别模型中的二维卷积网络，对所述待处理视频进行卷积处理，生成对应的第一卷积向量，其中，所述待处理视频中包含目标对象的待识别动作，通过所述动作识别模型中的三维卷积网络，对所述待处理视频及所述第一卷积向量进行卷积处理，生成对应的第二卷积向量，通过所述动作识别模型的分类网络对所述第二卷积向量进行处理，以对所述待识别动作进行识别，生成对应的动作识别结果并输出。
[0018]本说明书实施例将二维卷积网络和三维卷积网络组合得到动作识别模型，在保证与三维卷积相似的特征提取效果的同时大幅度化简了计算复杂度，即通过二维卷积网络和三维卷积网络混合的网络结构，在低计算复杂度的前提下能够更好的提取待处理视频的时空特征，有利于实现更好的视频动作识别效果，从而有利于提高动作识别结果的准确率和识别效率。
附图说明
[0019]图1是本说明书一个实施例提供的一种动作识别过程的示意图；
[0020]图2是本说明书一个实施例提供的一种动作识别方法的处理流程图；
[0021]图3a是本说明书一个实施例提供的一种动作识别方法的处理流程图；
[0022]图3b是本说明书一个实施例提供的一种动作识别方法的处理流程图；
[0023]图3c是本说明书一个实施例提供的一种动作识别方法的处理流程图；
[0024]图4是本说明书一个实施例提供的一种动作识别方法的处理过程流程图；
[0025]图5是本说明书一个实施例提供的一种动作识别装置的示意图；
[0026]图6是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0027]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0028]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0029]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0030]首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
[0031]视频动作识别：指通过视频提取时间和空间的三维特征，来判断视频中人体的动作类别，通常动作类别会规定在一定的范围内。
[0032]3d卷积网络：即三维卷积网络，可同时对图像或视频帧在空间维度进行卷积，同时也在时间维度进行卷积操作，因此3d卷积通常用在视频相关任务中，用来同时提取时序特征及空间特征。
[0033]在本说明书中，提供了一种动作识别方法，本说明书同时涉及一种动作识别装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
[0034]图1示出了根据本说明书一个实施例提供的一种动作识别过程的示意图。
[0035]随着面部识别系统的不断发展，面部识别系统中的识别环本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种动作识别方法，包括：将待处理视频输入动作识别模型，并通过所述动作识别模型中的二维卷积网络，对所述待处理视频进行卷积处理，生成对应的第一卷积向量，其中，所述待处理视频中包含目标对象的待识别动作；通过所述动作识别模型中的三维卷积网络，对所述待处理视频及所述第一卷积向量进行卷积处理，生成对应的第二卷积向量；通过所述动作识别模型的分类网络对所述第二卷积向量进行处理，以对所述待识别动作进行识别，生成对应的动作识别结果并输出。2.根据权利要求1所述的动作识别方法，所述二维卷积网络包括第一二维卷积层和第二二维卷积层；相应地，所述通过所述动作识别模型中的二维卷积网络，对所述待处理视频进行卷积处理，生成对应的第一卷积向量，包括：通过所述第一二维卷积层，对所述待处理视频进行时序卷积处理，生成第一时序向量，并通过所述第一二维卷积层，对所述待处理视频进行空间卷积处理，生成第一空间向量；将所述第一空间向量及所述第一时序向量进行融合，生成对应的融合结果；通过所述第二二维卷积层对所述融合结果进行卷积处理，生成对应的第一卷积向量。3.根据权利要求2所述的动作识别方法，所述待处理视频包含至少两帧视频帧；相应地，所述通过所述第一二维卷积层，对所述待处理视频进行时序卷积处理，生成第一时序向量，包括：确定所述至少两帧视频帧中任意两帧相邻视频帧对应的光流图像，通过所述第一二维卷积层，对所述光流图像进行时序特征提取，并对特征提取结果进行卷积处理，生成第一时序向量。4.根据权利要求2所述的动作识别方法，所述通过所述第一二维卷积层，对所述待处理视频进行空间卷积处理，生成第一空间向量，包括：通过所述第一二维卷积层，对所述至少两帧视频帧中的目标视频帧进行空间特征提取，并对特征提取结果进行卷积处理，生成第一空间向量。5.根据权利要求4所述的动作识别方法，所述通过所述第一二维卷积层，对所述至少两帧视频帧中的目标视频帧进行空间特征提取，并对特征提取结果进行卷积处理，包括：通过所述第一二维卷积层，对每帧视频帧进行空间特征提取，并根据提取结果确定所述至少两帧视频帧中的目标视频帧；通过所述第一二维卷积层，对所述目标视频帧的空间特征进行卷积处理，生成第一空间向量。6.根据权利要求4所述的动作识别方法，所述通过所述第一二维卷积层，对所述待处理视频进行时序卷积处理，包括：确定所述至少两帧视频帧中、与所述目标视频帧相邻的、预设数量的待处理视频帧，并根据所述目标视频帧与所述待处理视频帧中包含的、所述目标对象的运动信息，确定对应的光流图像；通过所述第一二维卷积层...
【专利技术属性】
技术研发人员：武文琦，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。