一种实时动作识别方法、装置及电子设备制造方法及图纸

本申请提供了一种实时动作识别方法，属于生物特征识别领域，解决现有技术中实时动作识别方法识别速度慢的问题。本申请提供的实时动作识别方法包括：确定待识别动作发生过程中的当前动作节点对应的实时动作图像；将所述实时动作图像输入至预先训练的单帧图像动作识别模型，确定与所述实时动作图像对应的单帧图像识别结果；根据与所述实时动作图像对应的单帧图像识别结果，和/或,与所述实时动作图像关联的图像序列对应的图像序列识别结果，确定所述待识别动作的识别结果；其中，所述实时动作图像关联的图像序列由所述实时动作图像关联的动作图像依序排列而成，有助于解决现有技术中进行动作识别时，识别速度慢的问题。

A Real-time Action Recognition Method, Device and Electronic Equipment

The application provides a real-time action recognition method, which belongs to the field of biometric recognition, and solves the problem of slow recognition speed of the real-time action recognition method in the existing technology. The real-time action recognition method provided in this application includes: determining the real-time action image corresponding to the current action node during the occurrence of the action to be identified; inputting the real-time action image into the pre-trained single-frame image action recognition model to determine the recognition result of the single-frame image corresponding to the real-time action image; and recognizing the single-frame image corresponding to the real-time action image according to the single-frame image corresponding to the real-time action image. The recognition result of the action to be recognized is determined by the recognition result of the image sequence corresponding to the image sequence associated with the real-time action image, in which the image sequence associated with the real-time action image is arranged sequentially by the action image associated with the real-time action image, which is helpful to solve the problem of slow recognition speed when the action recognition is carried out in the prior art. Question.

【技术实现步骤摘要】
一种实时动作识别方法、装置及电子设备
本申请涉及生物特征识别领域，尤其涉及一种实时动作识别方法、装置及电子设备。
技术介绍
行为识别近年来一直是计算机视觉领域的研究热点，动作识别是行为识别的一种，其在智能监控、人机交互、虚拟现实等领域方面均有广泛应用。人类动作有着多种模态，例如外观、深度、光流和身体骨骼等特点，现有技术中，动作识别涉及如下几类研究方法：基于全局特征的方法，包括帧差法及光流法等，此类方法对于提取运动特征较为有效，但对运动时间间隔变化比较敏感；基于局部特征的方法有SIFT算法、Harris算法，这类算法要求纹理足够多，其中纹理和识别率成线性关系，即图像纹理越少，出现误匹配的概率就越大；基于人体模型的方法，将人体模型表现为骨骼节点及节点间连线来表示人体姿势，这种方法对视频中的光线明暗程度、衣着复杂程度、背景杂乱等干扰因素有较强的抗干扰作用，而且简明直观。然而，由于通过提取骨骼节点信息进行动作识别时，获取的信息量较少，因此现有技术中基于人体骨骼节点的动作识别方法的识别准确率仍有待提高。并且，现有技术中的基于骨骼节点的动作识别方法需要采集众多的动作图像并从中萃取关键帧，存在识别速度慢的问题。可见，现有技术中的动作识别方法仍存在识别速度慢和识别准确率不高的问题。
技术实现思路
本申请实施例提供一种实时动作识别方法及装置，以至少解决现有的实时动作识别方法识别速度慢的问题。第一方面，本申请实施例提供了一种实时动作识别方法，包括：确定待识别动作发生过程中的当前动作节点对应的实时动作图像；将所述实时动作图像输入至预先训练的单帧图像动作识别模型，确定与所述实时动作图像对应的单帧图像识别结果；根据与所述实时动作图像对应的单帧图像识别结果，和/或,与所述实时动作图像关联的图像序列对应的图像序列识别结果，确定所述待识别动作的识别结果；其中，所述实时动作图像关联的图像序列由所述实时动作图像对应的当前动作节点之前预设数量的动作节点各自对应的实时动作图像和所述当前动作节点对应的实时动作图像，按照所述动作节点发生时间先后顺序排列而成。可选的，所述将所述实时动作图像输入至预先训练的单帧图像动作识别模型，确定与所述实时动作图像对应的单帧图像识别结果的步骤之前，还包括：获取每个预设动作发生过程中的至少一个标志性动作节点对应的若干动作图像构成的样本图像集；根据所述样本图像集进行深度卷积神经网络训练，得到单帧图像动作识别模型。可选的，所述与所述实时动作图像关联的图像序列对应的图像序列识别结果为：基于所述图像序列中每帧动作图像的骨骼节点信息，通过预先训练的图像序列动作识别模型对所述图像序列进行识别所得到的图像序列识别结果。可选的，所述根据与所述实时动作图像对应的单帧图像识别结果，和/或,与所述实时动作图像关联的图像序列对应的图像序列识别结果，确定所述待识别动作的识别结果的步骤，包括：判断与所述实时动作图像对应的单帧图像识别结果是否满足第一预设准确度条件；若与所述实时动作图像对应的单帧图像识别结果满足第一预设准确度条件，则将所述单帧图像识别结果作为所述待识别动作的识别结果。可选的，所述根据与所述实时动作图像对应的单帧图像识别结果，和/或,与所述实时动作图像关联的图像序列对应的图像序列识别结果，确定所述待识别动作的识别结果的步骤，还包括：在与所述实时动作图像对应的单帧图像识别结果不满足第一预设准确度条件的情况下，执行以下步骤：基于所述图像序列中每帧动作图像的骨骼节点信息，确定与所述图像序列对应的图像序列识别结果；判断与所述实时动作图像对应的单帧图像识别结果是否满足第二预设准确度条件；若满足第二预设准确度条件，则根据所述图像序列识别结果与所述实时动作图像对应的单帧图像识别结果的融合结果，确定所述待识别动作的识别结果；否则，根据所述图像序列识别结果，确定所述待识别动作的识别结果。可选的，所述基于所述图像序列中每帧动作图像的骨骼节点信息，确定与所述图像序列对应的图像序列识别结果的步骤，包括：分别根据所述图像序列中每帧动作图像的骨骼节点信息，确定所述每帧动作图像对应的骨骼节点图像；将所述骨骼节点图像组成的图像序列输入至预先训练的图像序列动作识别模型，确定待识别动作的图像序列识别结果。可选的，所述将所述骨骼节点图像组成的图像序列输入至预先训练的图像序列动作识别模型，确定待识别动作的图像序列识别结果的步骤之前，还包括：获取预设动作发生过程中的若干顺序发生的动作节点对应的动作图像构成的样本图像序列；确定所述样本图像序列中每帧动作图像中的骨骼节点信息，确定所述每帧动作图像对应的骨骼节点样本图像；将所述骨骼节点样本图像依序排列，构成骨骼节点样本图像序列；根据所述骨骼节点样本图像序列进行时空图卷积网络训练，得到图像序列动作识别模型。第二方面，本申请实施例还提供了一种实时动作识别装置，包括：实时动作图像确定模块，用于确定待识别动作发生过程中的当前动作节点对应的实时动作图像；单帧图像识别模块，用于将所述实时动作图像输入至预先训练的单帧图像动作识别模型，确定与所述实时动作图像对应的单帧图像识别结果；待识别动作识别结果确定模块，用于根据与所述实时动作图像对应的单帧图像识别结果，和/或,与所述实时动作图像关联的图像序列对应的图像序列识别结果，确定所述待识别动作的识别结果；其中，所述实时动作图像关联的图像序列由所述实时动作图像对应的当前动作节点之前预设数量的动作节点各自对应的实时动作图像和所述当前动作节点对应的实时动作图像，按照所述动作节点发生时间先后顺序排列而成。可选的，在将所述实时动作图像输入至预先训练的单帧图像动作识别模型，确定与所述实时动作图像对应的单帧图像识别结果之前，所述装置还包括：样本图像集获取模块，用于获取每个预设动作发生过程中的至少一个标志性动作节点对应的若干动作图像构成的样本图像集；单帧图像动作识别模型训练模块，用于根据所述样本图像集进行深度卷积神经网络训练，得到单帧图像动作识别模型。可选的，所述与所述实时动作图像关联的图像序列对应的图像序列识别结果为：基于所述图像序列中每帧动作图像的骨骼节点信息，通过预先训练的图像序列动作识别模型对所述图像序列进行识别所得到的图像序列识别结果。可选的，所述待识别动作识别结果确定模块，进一步包括：第一判断子模块，用于判断与所述实时动作图像对应的单帧图像识别结果是否满足第一预设准确度条件；第一识别结果确定子模块，用于若与所述实时动作图像对应的单帧图像识别结果满足第一预设准确度条件，则将所述单帧图像识别结果作为所述待识别动作的识别结果。可选的，在与所述实时动作图像对应的单帧图像识别结果不满足第一预设准确度条件的情况下，所述待识别动作识别结果确定模块，还包括：图像序列识别结果确定子模块，用于基于所述图像序列中每帧动作图像的骨骼节点信息，确定与所述图像序列对应的图像序列识别结果；第二判断子模块，用于判断与所述实时动作图像对应的单帧图像识别结果是否满足第二预设准确度条件；第二识别结果确定子模块，用于若满足第二预设准确度条件，则根据所述图像序列识别结果与所述实时动作图像对应的单帧图像识别结果的融合结果，确定所述待识别动作的识别结果；以及，第三识别结果确定子模块，用于若与所述实时动作图像对应的单帧图像识别结果不满足第二本文档来自技高网...

【技术保护点】
1.一种实时动作识别方法，其特征在于，所述方法包括：确定待识别动作发生过程中的当前动作节点对应的实时动作图像；将所述实时动作图像输入至预先训练的单帧图像动作识别模型，确定与所述实时动作图像对应的单帧图像识别结果；根据与所述实时动作图像对应的单帧图像识别结果，和/或,与所述实时动作图像关联的图像序列对应的图像序列识别结果，确定所述待识别动作的识别结果；其中，所述实时动作图像关联的图像序列由所述实时动作图像对应的当前动作节点之前预设数量的动作节点各自对应的实时动作图像和所述当前动作节点对应的实时动作图像，按照所述动作节点发生时间先后顺序排列而成。

【技术特征摘要】
1.一种实时动作识别方法，其特征在于，所述方法包括：确定待识别动作发生过程中的当前动作节点对应的实时动作图像；将所述实时动作图像输入至预先训练的单帧图像动作识别模型，确定与所述实时动作图像对应的单帧图像识别结果；根据与所述实时动作图像对应的单帧图像识别结果，和/或,与所述实时动作图像关联的图像序列对应的图像序列识别结果，确定所述待识别动作的识别结果；其中，所述实时动作图像关联的图像序列由所述实时动作图像对应的当前动作节点之前预设数量的动作节点各自对应的实时动作图像和所述当前动作节点对应的实时动作图像，按照所述动作节点发生时间先后顺序排列而成。2.根据权利要求1所述的方法，其特征在于，所述将所述实时动作图像输入至预先训练的单帧图像动作识别模型，确定与所述实时动作图像对应的单帧图像识别结果的步骤之前，还包括：获取每个预设动作发生过程中的至少一个标志性动作节点对应的若干动作图像构成的样本图像集；根据所述样本图像集进行深度卷积神经网络训练，得到单帧图像动作识别模型。3.根据权利要求1或2所述的方法，其特征在于，所述与所述实时动作图像关联的图像序列对应的图像序列识别结果为：基于所述图像序列中每帧动作图像的骨骼节点信息，通过预先训练的图像序列动作识别模型对所述图像序列进行识别所得到的图像序列识别结果。4.根据权利要求3所述的方法，其特征在于，所述根据与所述实时动作图像对应的单帧图像识别结果，和/或,与所述实时动作图像关联的图像序列对应的图像序列识别结果，确定所述待识别动作的识别结果的步骤，包括：判断与所述实时动作图像对应的单帧图像识别结果是否满足第一预设准确度条件；若与所述实时动作图像对应的单帧图像识别结果满足第一预设准确度条件，则将所述单帧图像识别结果作为所述待识别动作的识别结果。5.根据权利要求4所述的方法，其特征在于，所述根据与所述实时动作图像对应的单帧图像识别结果，和/或,与所述实时动作图像关联的图像序列对应的图像序列识别结果，确定所述待识别动作的识别结果的步骤，还包括：在与所述实时动作图像对应的单帧图像识别结果不满足第一预设准确度条件的情况下，执行以下步骤：基于所述图像序列中每帧动作图像的骨骼节点信息，确定与所述图像序列对应的图像序列识别结果；判断与所述实时动作图像对应的单帧图像识别结果是否满足第二预设准确度条件；若满足第二预设准确度条件，则根据所述图像序列识别结果与所述实时动作图像对应的单帧图像识别结果的融合结果，确定所述待识别动作的识别结果；否则，根据所述图像序列识别结果，确定所述待识别动作的识别结果。6.根据权利要求5所述的方法，其特征在于，所述基于所述图像序列中每帧动作图像的骨骼节点信息，确定与所述图像序列对应的图像序列识别结果的步骤，包括：分别根据所述图像序列中每帧动作图像的骨骼节点信息，确定所述每帧动作图像对应的骨骼节点图像；将所述骨骼节点图像组成的图像序列输入至预先训练的图像序列动作识别模型，确定待识别动作的图像序列识别结果。7.根据权利要求6所述的方法，其特征在于，所述将所述骨骼节点图像组成的图像序列输入至预先训练的图像序列动作识别模型，确定待识别动作的图像序列识别结果的步骤之前，还包括：获取预设动作发生过程中的若干顺序发生的动作节点对应的动作图像构成的样本图像序列；确定所述样本图像序列中每帧动作图像中的骨骼节点信息，确定所述每帧动作图像对应的骨骼节点样本图像；将所述骨骼节点样本图像依序排列，构成骨骼节点样本图像序列；根据所述骨骼节点样本图像序列进行时空图卷积网络训练，得到图像序列动作识别模型。8.一种实时动作识别装置，其特征在于，包括：实时动作图像确定模块，用于确定待识别动作发生过程中的当前动作节点对应的实时动作图像；单帧图像识别模块，用于将所述实时动作图像输入至预先训练的单帧图像动作识别模型，确定与所述实时动作图像对应的单帧图像识别结果；待...

【专利技术属性】
技术研发人员：白帆，彭菲，黄磊，张健，
申请(专利权)人：北京汉王智远科技有限公司，
类型：发明
国别省市：北京,11