生物体动作识别方法、装置、服务器及存储介质制造方法及图纸

本公开涉及一种生物体动作识别方法、装置、服务器及存储介质。方法包括：获得时间连续的多帧图像分别对应的生物体的肢体特征信息；创建特征信息序列，所述特征信息序列包括按照多帧图像中的各帧图像的时间顺序排列的肢体特征信息；将所述特征信息序列输入已训练的循环神经网络模型，并根据所述循环神经网络模型的输出确定所述特征信息序列对应的生物体的动作。本公开实施例对动作识别的适用性较好。

Biological Action Recognition Method, Device, Server and Storage Medium

The present disclosure relates to an organism action recognition method, device, server and storage medium. The method includes: obtaining the limb feature information of the corresponding organism in the multi-frame image with continuous time; creating the feature information sequence, which includes the limb feature information arranged in the time sequence of each frame image in the multi-frame image; inputting the feature information sequence into the trained cyclic neural network model, and according to the cyclic neural network model. The output determines the action of the organism corresponding to the sequence of characteristic information. The embodiment of the present disclosure has good applicability for motion recognition.

【技术实现步骤摘要】
生物体动作识别方法、装置、服务器及存储介质
本公开涉及生物特征识别领域，尤其涉及一种生物体动作识别方法、装置、服务器及存储介质。
技术介绍
随着模式识别技术的发展，人们希望计算机能够自主识别和理解人类的日常动作，从而通过计算机为人类提供服务，因此人体姿态及动作识别等已经成为目前计算机视觉领域的研究热点。目前的动作识别主要应用在人机交互、医疗保健、智能安防、家居智能等领域。在一些相关技术中，人体姿态检测主要针对于静态图像的人体肢体关键点进行训练标注，并进行肢体关键点的连接标注。在另一些相关技术中，人体动作检测采用加速度传感器以及陀螺仪等元件进行数据输入，或者利用速度、距离等标量进行分析来搭建模型。
技术实现思路
在本公开的一个方面，提供一种生物体动作识别方法，包括：获得时间连续的多帧图像分别对应的生物体的身体特征信息；创建特征信息序列，所述特征信息序列包括按照所述多帧图像中的各帧图像的时间顺序排列的身体特征信息；将所述特征信息序列输入已训练的循环神经网络模型，并根据所述循环神经网络模型的输出确定所述特征信息序列对应的生物体的动作。在一些实施例中，获得身体特征信息的操作包括：获得所述多帧图像中的每帧图像内的生物体的身体列向量，所述身体列向量用于表征所述多帧图像中的每帧图像内所述生物体的不同身体部位之间的至少一组连接关系。在一些实施例中，获得身体列向量的操作包括：获取所述图像中生物体的至少一对身体部位对应的身体向量，所述身体向量通过二维置信图表示的单位向量矩阵图进行存储；对所述单位向量矩阵图进行积分运算，确定所述身体向量对应的连接向量；根据所述连接向量的起点位置和终点位置计算所述连接向量在图像坐标系中相对于预设坐标轴的偏转角度；根据各个身体向量对应的偏转角度创建所述生物体的身体列向量。在一些实施例中，获取身体向量的操作包括：将所述图像输入已训练的卷积神经网络模型，并根据所述卷积神经网络模型确定所述身体向量在一些实施例中，所述方法还包括：创建生物体的图片数据集，所述图片数据集包括至少一个生物体的图像、所述生物体在所述图像内的身体部位的标识信息和所述生物体在所述图像内的至少一对身体部位的身体向量的标识信息；将所述图片数据集输入未训练的卷积神经网络模型进行训练，获得所述生物体对应的已训练的卷积神经网络模型。在一些实施例中，所述方法还包括：采用神经网络推理引擎对所述卷积神经网络模型的训练进行加速。在一些实施例中，所述方法还包括：创建生物体的动作数据集，所述动作数据集包括至少一种预设场景下的已定义动作的至少一组时间连续的多帧图像对应的特征信息序列，所述特征信息序列包含按照各帧图像的时间顺序排列的身体特征信息；将所述动作数据集输入未训练的循环神经网络模型进行训练，获得训练后的至少一种预设场景下的已定义动作对应的循环神经网络模型。在一些实施例中，所述方法还包括：采用可编程推理加速引擎对所述循环神经网络模型的训练进行加速。在一些实施例中，所述循环神经网络模型为双向循环神经网络模型。在一些实施例中，所述生物体包括人体。在本公开的一个方面，提供一种生物体动作识别装置，包括：信息获得模块，用于获得时间连续的多帧图像分别对应的生物体的身体特征信息；序列创建模块，用于创建特征信息序列，所述特征信息序列包括按照所述多帧图像中的各帧图像的时间顺序排列的身体特征信息；动作确定模块，用于将所述特征信息序列输入已训练的循环神经网络模型，并根据所述循环神经网络模型的输出确定所述特征信息序列对应的生物体的动作。在一些实施例中，所述信息获得模块包括：身体向量获取单元，用于获取所述图像中生物体的至少一对身体部位对应的身体向量，所述身体向量通过二维置信图表示的单位向量矩阵图进行存储；积分运算单元，用于对所述单位向量矩阵图进行积分运算，确定所述身体向量对应的连接向量；偏转角度计算单元，用于根据所述连接向量的起点位置和终点位置计算所述连接向量在图像坐标系中相对于预设坐标轴的偏转角度；列向量创建单元，用于根据各个身体向量对应的偏转角度创建所述生物体的身体列向量。在本公开的一个方面，提供一种服务器，包括：存储器和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述的生物体动作识别方法。在本公开的一个方面，提供一种存储介质，在其上存储有计算机指令，其中，所述计算机指令被处理器运行时执行前述的生物体动作识别方法。附图说明构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：图1是根据本公开生物体动作识别方法的一个实施例的流程示意图；图2是根据本公开生物体动作识别方法的一个实施例所应用的双向循环神经网络模型的原理图；图3是根据本公开生物体动作识别方法的一个实施例中多帧图像内通过线条标识优选连接向量的示意图；图4是根据本公开生物体动作识别方法的一个实施例中获得身体特征信息的流程示意图；图5是根据本公开生物体动作识别方法的一个实施例中卷积神经网络模型输出的存储身体向量的二维置信图；图6是根据本公开生物体动作识别装置的一个实施例的方框示意图；图7是根据本公开生物体动作识别装置的另一个实施例的方框示意图；图8是根据本公开服务器的一个实施例的方框示意图。应当明白，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外，相同或类似的参考标号表示相同或类似的构件。具体实施方式现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、材料的组分、数字表达式和数值应被解释为仅仅是示例性的，而不是作为限制。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。在本公开中，当描述到特定器件位于第一器件和第二器件之间时，在该特定器件与第一器件或第二器件之间可以存在居间器件，也可以不存在居间器件。当描述到特定器件连接其它器件时，该特定器件可以与所述其它器件直接连接而不具有居间器件，也可以不与所述其它器件直接连接而具有居间器件。本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在一些相关技术中，人体姿态检测主要针对于静态图像的人体身体关键点进行训练标注，并进行本文档来自技高网...

【技术保护点】
1.一种生物体动作识别方法，包括：获得时间连续的多帧图像分别对应的生物体的身体特征信息；创建特征信息序列，所述特征信息序列包括按照所述多帧图像中的各帧图像的时间顺序排列的身体特征信息；将所述特征信息序列输入已训练的循环神经网络模型，并根据所述循环神经网络模型的输出确定所述特征信息序列对应的生物体的动作。

【技术特征摘要】
1.一种生物体动作识别方法，包括：获得时间连续的多帧图像分别对应的生物体的身体特征信息；创建特征信息序列，所述特征信息序列包括按照所述多帧图像中的各帧图像的时间顺序排列的身体特征信息；将所述特征信息序列输入已训练的循环神经网络模型，并根据所述循环神经网络模型的输出确定所述特征信息序列对应的生物体的动作。2.根据权利要求1所述的方法，其中，获得身体特征信息的操作包括：获得所述多帧图像中的每帧图像内的生物体的身体列向量，所述身体列向量用于表征所述多帧图像中的每帧图像内所述生物体的不同身体部位之间的至少一组连接关系。3.根据权利要求2所述的方法，其中，获得身体列向量的操作包括：获取所述图像中生物体的至少一对身体部位对应的身体向量，所述身体向量为通过以二维置信图表示的单位向量矩阵图进行存储；对所述单位向量矩阵图进行积分运算，确定所述身体向量对应的连接向量；根据所述连接向量的起点位置和终点位置，计算所述连接向量在图像坐标系中相对于预设坐标轴的偏转角度；根据各个身体向量对应的偏转角度创建所述生物体的身体列向量。4.根据权利要求3所述的方法，其中，获取身体向量的操作包括：将所述图像输入已训练的卷积神经网络模型，并根据所述卷积神经网络模型确定所述身体向量。5.根据权利要求4所述的方法，还包括：创建生物体的图片数据集，所述图片数据集包括至少一个生物体的图像、所述生物体在所述图像内的身体部位的标识信息和所述生物体在所述图像内的至少一对身体部位的身体向量的标识信息；将所述图片数据集输入未训练的卷积神经网络模型进行训练，获得所述生物体对应的已训练的卷积神经网络模型。6.根据权利要求5所述的方法，还包括：采用神经网络推理引擎对所述卷积神经网络模型的训练进行加速。7.根据权利要求1所述的方法，还包括：创建生物体的动作数据集，所述动作数据集包括至少...

【专利技术属性】
技术研发人员：林航东，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11