一种面向多任务的大鼠机器人行为分析方法技术

本发明专利技术公开了一种面向多任务的大鼠机器人行为分析方法，包括行为识别任务模块、运动质量评估任务模块。行为识别任务包括输入层、Transformer编码模块、基础网络模块、全连接层、输出层，通过在基础网络模块前置Transformer编码模块来提升行为识别的性能。运动质量评估任务基于全局和局部的融合特征实现，包括低维映射度量、基于quasi

【技术实现步骤摘要】
一种面向多任务的大鼠机器人行为分析方法


[0001]本专利技术属于运动质量评估技术、Transformer技术、行为识别
，具体涉及一种面向多任务的大鼠机器人行为分析方法。

技术介绍

[0002]大鼠机器人是一种新型的生物机器人，其在生物医学研究、军事侦查和康复治疗等领域有着广泛的应用前景。运动质量的高低直接影响着大鼠机器人在实际应用中的效果和性能。在应用中，大鼠机器人序列控制和状态切换不流畅时，行为运动会变得笨拙和危险，导致工作效率低甚至任务失败。因此，对大鼠机器人的运动质量进行评估是十分必要的，这可以帮助研究人员了解大鼠机器人的性能和限制，并为其进一步的改进和优化提供科学依据。
[0003]现有的运动质量评估方法在定性和定量描述上均有局限性。如只考虑行为识别结果且准确率难以进一步提高、评估方法缺乏可解释性等。
[0004]具体的，在大鼠机器人运动质量评估方面，流畅度的定义缺乏明确的标准，单纯考虑一维数据定义“流畅”相对简单，实际上，大鼠机器人的运动具有速度、姿态等多个属性，很可能在一个属性上流畅运动，而在另外一个属性上却是异常的，因此定义一个覆盖所有可能的正常行为的“流畅”范围是非常困难的。挑战二是流畅运动与异常运动之间的界限往往不够精确，靠近界限的异常行为实际上也可能是流畅的，反之亦然。第三个挑战是大鼠运动数据分布不平衡，自然运动比例较大，异常运动较少。这是因为自然运动的行为比较容易获得，而痉挛、急奔等异常数据比较难获取。因此，从有限的异常行为序列中评估运动的流畅性、和识别异常行为是一项具有挑战性的任务。
[0005]行为识别是计算机视觉和模式识别领域中的重要研究方向，与人体行为识别相比，动物行为识别面临更多的挑战，例如不同种类的动物行为差异较大，摄像头的视野有限，光照和天气条件等影响因素较多。动物的行为对动物机器人的智能控制及辅助构建动物的特定行为和神经系统活动之间的对应关系有着关键的作用，因此准确识别动物行为是重要的研究内容。传统动作识别方法先通过聚类算法将3D骨骼点聚类为k个姿态序列，再通过HMM模型对聚类后的姿态序列做行为识别。深度学习方法有双流法(Two
‑
stream)、3D convolution(C3D)、CNN+RNN、图卷积等主流方法。其中，双流法认为视频是由连续的图片帧组成的，所以在时间上是连续的，且每张图片都有空间信息，记录了目标的运动信息以及场景信息，因此视频数据拥有时空特性。
[0006]Two
‑
stream网络利用两个分支分别提取时空特征来处理行为识别任务，一个分支是时间流，通过密集的相邻帧之间的光流来提取运动特征。另外一支是空间流，则是从输入视频中抽取的一张RGB图像来提取物体和场景外观特征。对两个特征图进行融合，最终由输出层输出行为结果。但是双流网络在分析较长的视频时，其精度下降较多。
[0007]C3D法认为三维卷积神经网络不仅能学习空间上的特征，相比于2D，增加的一维，还可以对应到视频中的时间维度。三维卷积神经网络处理视频时无需其他预处理步骤，因
此在视频分类任务上具备普适性。与双流法相比，C3D法没有采用将时空特征先分离后融合的操作，所以能同时捕捉时空的特征。然而，由于三维卷积神经网络的参数量远远大于二维卷积神经网络，训练时不仅容易出现在小数据量上过拟合现象，还增加了整体训练时间。
[0008]由于行为是在时间上连续的，于是考虑结合CNN和LSTM设计新型行为识别架构。这种搭建模型的方式充分利用了CNN的视觉特征提取优势以及RNN的时序建模优势，在行为识别任务中取得了不错的结果。基于关键点的行为识别目前主要有两种策略，直接利用基础模型搭建分类网络和利用关键点构建图模型进行时空学习得到行为类别。然而，直接利用基础模型的方法精度无法达到要求，而构建图模型的方法在研究对象或关键点数量变化时需要重新设计骨骼图结构，无法复用之前的图结构。因此基于关键点的行为识别仍然存在着较大的挑战。

技术实现思路

[0009]本专利技术的目的在于提出一种面向多任务的大鼠机器人行为分析方法，以解决行为识别和运动质量评估的多任务问题。
[0010]为解决上述技术问题，本专利技术具体提供下述技术方案：一种面向多任务的大鼠机器人行为分析方法，主要包括行为识别任务模块、运动质量评估任务模块。
[0011]所述行为识别任务基于Transformer编码模块实现，包括输入层、Transformer编码模块、基础网络模块、全连接层、输出层，基于姿态估计方法得到的关键点序列，通过在基础网络模块前置Transformer编码模块来提升行为识别的性能。
[0012]所述运动质量评估任务基于全局和局部的融合特征实现，包括低维映射度量、基于quasi
‑
GW距离的姿态差异度量、身体抖动程度度量。其中，低维映射度量得到全局特征信息，基于quasi
‑
GW距离的姿态差异度量和身体抖动程度度量分别得到局部特征信息，最终通过融合特征度量得到运动流畅度分数。
[0013]其中基于Transformer编码模块的行为识别模型具有串行结构，模块的顺序从先到后依次为输入层、Transformer编码模块、基础网络模块、全连接层、输出层，所述基础网络模块可以采用多种神经网络结构，如一维卷积神经网络(1DCNN)、多层感知机(MLP)、循环神经网络(RNN)、长短时记忆网络(LSTM)、门控循环单元(GRU)、双向长短时记忆网络(BiLSTM)、双向门控循环单元(BiGRU)等方法。
[0014]其中用于行为识别任务的整体数据处理流程包括：首先将连续帧数据输入到输入层，经过Transformer编码模块提取特征，然后送入基础网络模块，随后经全连接层进行特征筛选，最终由输出层生成分类结果。所述输入层用于接收原始数据，所述原始数据为大鼠机器人的坐标点信息，其可为一维x/y/z坐标点信息，也可为二维x,y/y,z/x,z坐标点信息，或三维x,y,z坐标点信息。所述Transformer编码模块用于接收和处理输入层传递来的数据，通过特征编码提取原始数据中的时空特征，并可被神经网络高效学习。所述基础网络模块是模型架构的学习部分，能够对Transformer编码模块处理后的特征进行学习，进一步提取更高层次的抽象特征，以更好地支持行为识别任务的完成。所述全连接层的作用是将基础网络模块输出的每一个结点都与上一层的所有结点相连，用来把基础网络模块提取到的特征进行综合，并将学到的“分布式特征表示”映射到样本标记空间。所述输出层是对全连接层输出的特征数据进行最后的分类，以得到最终的行为分类结果。
[0015]一种面向多任务的大鼠机器人行为分析方法，运动质量评估任务基于全局和局部的融合特征实现，包括：输入层，低维映射度量、基于quasi
‑
GW距离的姿态差异度量、身体抖动程度度量，输出层。其中，所述输入层用于接收大鼠机器人的坐标点信息，所述低维映射度量得到全局特征，利用降维技术将高维采样数据映射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向多任务的大鼠机器人行为分析方法，其特征在于，包括行为识别任务模块、运动质量评估任务模块，其中行为识别任务基于Transformer编码模块实现，包括输入层、Transformer编码模块、基础网络模块、全连接层、输出层，基于姿态估计方法得到的关键点序列，通过在基础网络模块前置Transformer编码模块来提升行为识别的性能，其中运动质量评估任务基于全局和局部的融合特征实现，包括低维映射度量、基于quasi
‑
GW距离的姿态差异度量、身体抖动程度度量，通过融合特征度量得到运动流畅度分数。2.根据权利要求1所述的一种面向多任务的大鼠机器人行为分析方法，其特征在于，基于Transformer编码模块的行为识别模型具有串行结构，模块的顺序从先到后依次为输入层、Transformer编码模块、基础网络模块、全连接层、输出层，所述基础网络模块采用多种神经网络结构，选用一维卷积神经网络、多层感知机、循环神经网络、长短时记忆网络、门控循环单元、双向长短时记忆网络或双向门控循环单元中的一种方法。3.根据权利要求1所述的一种面向多任务的大鼠机器人行为分析方法，其特征在于，用于行为识别任务的整体数据处理流程包括：首先将连续帧数据输入到输入层，经过Transformer编码模块提取特征，然后送入基础网络模块，随后经全连接层进行特征筛选，最终由输出层生成分类结果；所述输入层用于接收原始数据，所述原始数据为大鼠机器人的坐标点信息，其可为一维x/y/z坐标点信息，也可为二维x,y/y,z/x,z坐标点信息，或三维x,y,z坐标点信息。所述Transformer编码模块用于接收和处理输入层传递来的数据，通过特征编码提取原始数据中的时空特征，并可被神经网络高效学习。所述基础网络模块是模型架构的学习部分，能够对Transform...

【专利技术属性】
技术研发人员：郑能干，杨宇克，李琦琦，韩乐，张焓，
申请(专利权)人：浙江大学，
类型：发明
国别省市：