基于时空交互网络的群体猴子动作识别方法技术

本申请公开了基于时空交互网络的群体猴子动作识别方法，包括：搭建三层依次为位置和类别识别层、特征图处理层以及动作推理层的群猴动作识别模型，位置和类别识别层中的残差网络通过第一区域生成网络连接于特征图处理层的第二接口，特征图处理层将当前帧中不同动作主体的位置和类别信息转化为多维张量，以动作主体的位置信息作为索引，从第一区域生成网络中选取感兴趣区域，与多维张量进行叠加，动作推理层按照时间顺序，将叠加结果组成三维数据组，进行移位操作生成动作推理张量，输出动作主体位置对应的动作类别；利用猴群动作数据对群猴动作识别模型进行训练，直至模型收敛。通过本申请中的技术方案，解决了笼子中群体猴子动作识别的问题。动作识别的问题。动作识别的问题。

【技术实现步骤摘要】
基于时空交互网络的群体猴子动作识别方法


[0001]本申请涉及数据处理的
，具体而言，涉及基于时空交互网络的群体猴子动作识别方法。

技术介绍

[0002]在计算机视频动作识别领域，深度神经网络经过良好的训练后，能够分辨出不同类别的动作，并展现出极好的动作识别性能。
[0003]随着卷积神经网络的发展越来越快和许多大规模数据集被公开，基于深度学习，通过使用2D
‑
CNN或3D
‑
CNN或同时使用二者的数据处理方法，在视频动作识别领域广为应用。其中，2D
‑
CNN主要用于进行空间特征提取，而3D
‑
CNN则通过3D卷积在提取时间信息上有优秀的表现，但是3D卷积计算量相较于2D卷积会增加许多。
[0004]在人类疾病诊断和药物评估中，灵长类动物(如恒河猴、食蟹猕猴)是必不可少的实验动物，对灵长类动物进行药物评估是药物临床试验前重要的一环，通过使用人工智能的方法对灵长类动物进行行为识别和健康监测可以节省很大的人力物力，有助于为药物评估提供依据。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时空交互网络的群体猴子动作识别方法，其特征在于，所述方法包括：搭建群猴动作识别模型，其中，所述群猴动作识别模型至少包括三层，依次为位置和类别识别层、特征图处理层以及动作推理层，所述位置和类别识别层中的残差网络ResNet通过第一区域生成网络RPN连接于所述特征图处理层的第二接口，所述位置和类别识别层用于识别当前帧中动作主体的位置和类别信息，所述特征图处理层用于将所述当前帧中不同动作主体的位置和类别信息转化为多维张量，并以所述位置和类别识别层确定的动作主体的位置信息作为索引，从所述第一区域生成网络RPN中选取对应位置的感兴趣区域RoI，并将所述感兴趣区域RoI与所述多维张量进行叠加，所述动作推理层用于按照时间顺序，将所述特征图处理层输出的叠加结果组成三维数据组，并对所述三维数据组在时间维度上进行上下双向移位操作，生成动作推理张量，以输出所述位置和类别识别层确定的动作主体位置对应的动作类别；利用猴群动作数据对所述群猴动作识别模型进行训练，直至所述群猴动作识别模型收敛，其中，收敛后的群猴动作识别模型用于对群体猴子进行动作识别。2.如权利要求1所述的基于时空交互网络的群体猴子动作识别方法，其特征在于，所述位置和类别识别层的输出结果至少包括边界框bounding box的位置信息以及对应动作主体的类别信息，所述特征图处理层中将所述感兴趣区域RoI与所述多维张量进行叠加，具体包括：将边界框bounding box的位置信息和对应动作主体的类别信息串联，组成输入信息，输入至多层感知器，由所述多层感知器输出所述当前帧中不同动作主体的位置和类别信息；根据设定的动作主体数量，将所述多层感知器的输出数据拼接组成多维张量，所述动作主体数量为所述多维张量的列数；以所述位置和类别识别层确定的动作主体的位置信息作为索引，从所述第一区域生成网络RPN中选取对应位置的感兴趣区域RoI；调整所述感兴趣区域RoI的维度调整为所述多维张量的维度；采用相加的方式，将调整维度后的感兴趣区域RoI与所述多维张量进行叠加。3.如权利要求1所述的基于时空交互网络的群体猴子动作识别方法，其特征在于，所述群猴动作识别模型...

【专利技术属性】
技术研发人员：朱磊，杨森，
申请(专利权)人：北京信智文科技有限公司，
类型：发明
国别省市：