基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法技术

一种基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法，步骤包括2个部分：第一部分，针对复杂野外环境下的野生哺乳动物图像利用Outline Mask R

【技术实现步骤摘要】
基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法


[0001]本专利技术涉及一种姿态识别方法，尤其是一种将动物身体轮廓和腿部关节夹角变化相结合的动物姿态识别方法。

技术介绍

[0002]现有技术中，姿态识别是指通过静态图像或视频信息，利用运动目标检测、特征信息提取和行为分析等关键技术，自动辨别研究对象的姿态信息。
[0003]动物的姿态识别能够对其生活动态和身体状况起到预判的作用，被广泛运用于动物福利、疾病预防和仿生学研究中。动物姿态的分类是指设计特定的特征描述符(如颜色、纹理、形状、边缘、空间等)，进而构成特征向量作为输入，通过机器学习的方法训练一个分类器，将需要识别的特征向量输入这个分类器中进行训练，从而得到不同动物姿态类别的分类结果。姿态特征描述符是姿态识别的关键性部分，直接影响最终的识别效果。
[0004]有研究者尝试采用背景减除法、轮廓剪影法、帧差法等来检测目标姿态区域，然后对整个区域提取轮廓特征作为姿态表征。这种方法描述能力强，包含信息多，在简单背景下容易提取感兴趣区域。但是对噪声、视角和相互遮挡特别敏感，在复杂背景下难以得到动物运动区域的信息，难以提取到准确地轮廓特征，存在较大的局限性。

技术实现思路

[0005]一个好的特征描述符是实现分类的关键性因素。骨架序列描述符，具备平移不变性、尺度不变性，常被用于人体的姿态识别中，并卓有成效。深度学习模型算法的泛化能力强大，自动学习行为特征用于分类，因此常被用于姿态估计、图像分类等领域。
[0006]本专利技术要解决的问题是，现有的动物姿态识别的研究对象大多为温顺的家养型动物或实验室动物，所采用的方法对于不同复杂场景中存在的光照、遮挡、视角变化等问题无法很好地解决，需要大量数据集且不具有普遍性。
[0007]本方案的技术方案为：一种基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法，步骤包括：1)首先采集野外环境下的哺乳动物视频；2)基于动物外围轮廓来识别哺乳动物的姿态；3)基于动物腿部关节变化来识别哺乳动物的姿态；4)基于步骤2)和3)的结果共同决策，来识别动物的不同姿态；
[0008]所述步骤2)中：
[0009]2.1)对于步骤1)采集到的动物视频，挑选出具有代表性的动物姿态图像；
[0010]2.2)对步骤2.1)选出的图像，构建Outline Mask R-CNN模型来提取动物的外围轮廓，步骤包括：
[0011]2.2.1)利用迁移学习在COCO数据集合上训练模型权重；
[0012]2.2.2)采用残差网络ResNet98来构建Outline Mask R-CNN卷积网络，提取野生哺乳动物图像的基础特征，实现动物图像的目标检测；
[0013]2.2.3)在生成实例分割时，利用python的matplotlib图像库中的ploy函数对掩膜
提取边缘信息，实现动物轮廓提取；
[0014]2.3)以步骤2.2)得到的动物轮廓图为输入，构建Tiny VGG轻型卷积神经网络对轮廓特征进行分类，来识别野生哺乳动物的姿态，步骤包括：
[0015]2.3.1)结合数据集的特点采用类似VGG网络的单结构直筒型网络结构，构造出一个多卷积层的网络；
[0016]2.3.2)在网络中使用了和VGG网络一样的3
×
3的小型卷积核，每个卷积网络层采用最大池化；
[0017]2.3.3)采用两层全连接层加Softmax来构造分类器：
[0018][0019]其中，x为输入，y为预测值，预测类别n的概率为p，M为类别，w为分数；
[0020]所述步骤3)中：
[0021]3.1)对于步骤1)采集到的动物视频，跟踪动物的腿部关节点位置，构建动物骨架图，步骤包括：
[0022]3.1.1)手动标记少数帧动物图像的腿部关节点位置；
[0023]3.1.2)利用深度神经网络迭代训练，预测所有视频帧动物腿部关节点位置；
[0024]3.1.3)计算步骤3.1.1)中手动标记的关节点位置与步骤3.1.2)网络预测结果的均方误差，来衡量网络的有效性；
[0025]3.2)先计算腿部关节点位置所形成的夹角；然后，以腿部最小角的变化序列为特征向量，送入LSTM分类器训练，来识别野生哺乳动物的姿态；
[0026]所述步骤4)中，将步骤2)中构建的基于轮廓的Tiny VGG轻型卷积神经网络模型和步骤3)中基于动物腿部骨架运动的LSTM神经网络模型进行融合，2个独立模型的预测分数共同决策，获得最终的分类结果。
[0027]步骤2.2.1)中，使用在COCO数据集合上训练好的模型权重，通过迁移学习的方式来学习野生哺乳动物的姿态特征，以便进行分割；
[0028]步骤2.2.2)中，动物图像经过训练好的ResNet98，产生特征图像，通过非极大值抑制的方法，从若干张推荐框中提取出最合适的候选框，网络针对每一块固定大小的特征，生成互不干扰的掩膜和哺乳动物的目标检测框；
[0029]步骤2.2.3)中，在掩膜生成后，利用python的matplotlib图像库中的ploy函数对掩膜提取边缘信息；在生成图像时，动物轮廓所示只保留边缘信息，不产生具体掩膜区域和目标检测框。
[0030]进一步：
[0031]所述步骤3.1)中，利用动物姿态估计LEAP算法跟踪动物视频中的标记关节点位置变化；
[0032]3.1.1)手动标记动物姿态视频中具有代表性的少数关键帧动物图像的腿部关节点位置；
[0033]3.1.2)以动物的单个图像作为输入，经由3
×
3大小的卷积块、2
×
2大小的最大池
化层和转置卷积层构成的15层深度卷积神经网络来迭代训练，产生一组描述输入中每个腿部关节点位置的置信度图(二维概率分布)作为输出；
[0034]每个置信度图中的全局最大值代表网络对该关节点位置的预测，从而预测所有视频帧动物腿部关节点的位置；
[0035]3.1.3)计算步骤3.1.1)中手动标记的关节点位置y与步骤3.1.2)中卷积神经网络预测结果的均方误差通过均方误差MSE构建损失函数进行比较，经过迭代训练，使损失函数降到最低。
[0036]所述步骤3.2)中，计算腿部关节点位置所形成的夹角的方法为：
[0037]设跟踪的上肢关节点A的位置坐标为(x1,y1)，下肢关节点C的位置坐标为(x3,y3)，连接上下肢的膝盖关节点B的位置坐标为(x2,y2)，则其所形成的夹角∠ABC公式为
[0038][0039][0040][0041][0042]所述述步骤4)中，将步骤1)的基于轮廓特征的Tiny VGG网络模型的最终得分p1，以及步骤2)的基于骨架特征的LSTM模型的最终得分p2进行分数融合，来共同表决动物视频x所展示的姿态预测值y的可能性：p(y＝n|x)＝0.5
×
p1+0.5
×
p2。
...

【技术保护点】

【技术特征摘要】
1.一种基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法，步骤包括：1)首先采集野外环境下的哺乳动物视频；其特征在于，还包括步骤：2)基于动物外围轮廓来识别哺乳动物的姿态；3)基于动物腿部关节变化来识别哺乳动物的姿态；4)基于步骤2)和3)的结果共同决策，来识别动物的不同姿态；所述步骤2)中：2.1)对于步骤1)采集到的动物视频，挑选出具有代表性的动物姿态图像；2.2)对步骤2.1)选出的图像，构建Outline Mask R-CNN模型来提取动物的外围轮廓，步骤包括：2.2.1)利用迁移学习在COCO数据集合上训练模型权重；2.2.2)采用残差网络ResNet98来构建Outline Mask R-CNN卷积网络，提取野生哺乳动物图像的基础特征，实现动物图像的目标检测；2.2.3)在生成实例分割时，利用python的matplotlib图像库中的ploy函数对掩膜提取边缘信息，实现动物轮廓提取；2.3)以步骤2.2)得到的动物轮廓图为输入，构建Tiny VGG轻型卷积神经网络对轮廓特征进行分类，来识别野生哺乳动物的姿态，步骤包括：2.3.1)结合数据集的特点采用类似VGG网络的单结构直筒型网络结构，构造出一个多卷积层的网络；2.3.2)在网络中使用了和VGG网络一样的3
×
3的小型卷积核，每个卷积网络层采用最大池化；2.3.3)采用两层全连接层加Softmax来构造分类器：其中，x为输入，y为预测值，预测类别n的概率为p，M为类别，w为分数；所述步骤3)中：3.1)对于步骤1)采集到的动物视频，跟踪动物的腿部关节点位置，构建动物骨架图，步骤包括：3.1.1)手动标记少数帧动物图像的腿部关节点位置；3.1.2)利用深度神经网络迭代训练，预测所有视频帧动物腿部关节点位置：以动物的单个图像作为输入，经由3
×
3大小的卷积块、2
×
2大小的最大池化层和转置卷积层构成的15层深度卷积神经网络来迭代训练，产生一组描述输入中每个腿部关节点位置的置信度图即二维概率分布作为输出；3.1.3)计算步骤3.1.1)中手动标记的关节点位置与步骤3.1.2)网络预测结果的均方误差，来衡量网络的有效性；3.2)先计算腿部关节点位置所形成的夹角；然后，以腿部最小角的变化序列为特征向量，送入LSTM分类器训练，来识别野生哺乳动物的姿态；所述步骤4)中，将步骤2)中构建的基于轮廓的Tiny VGG轻型卷积神经网络模...

【专利技术属性】
技术研发人员：冯丽琦，赵亚琴，唐佳希，赵文轩，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：