动物骨骼关键点检测、动物姿态识别方法及系统技术方案

本发明专利技术涉及动物姿态识别技术领域，具体公开了一种动物骨骼关键点检测、动物姿态识别方法及系统，其构建了动态多尺度骨骼关键点检测网络模型用于动物骨骼关键点检测，该模型总体架构与高分辨率网络一致，但新嵌入了两个动态轻量化模块，用于提取动态全局上下文信息以及多尺度上下文信息，以充分表征高分辨率信息，有助于提高动物姿态识别的准确率；构建了动物姿态识别网络模型，将输入的动物骨骼关键点信息进行特征分组，然后通过动态可学习的系数矩阵进行分组空间建模，来融合不同关节的特征，再使用不同的感受野进行时间建模，并定义可学习权重动态融合关节级和骨架级的运动特征，将多级运动特征进行完整耦合，实现了动物姿态的高准确率识别。高准确率识别。高准确率识别。

【技术实现步骤摘要】
动物骨骼关键点检测、动物姿态识别方法及系统


[0001]本专利技术涉及动物姿态识别
，尤其涉及一种动物骨骼关键点检测方法、动物骨骼关键点检测系统、动物姿态识别方法和动物姿态识别系统。

技术介绍

[0002]现有的动物行为监测方面的技术已从人工观察转向自动化，并以图像处理技术与机器视觉技术为主。目前，有两种类型的自动动物行为检测方法：接触和非接触方法。接触方法通常需要使用配备有传感器的可穿戴设备来检测动物行为，并且通过传感器数据处理和分析来识别特定行为。这种接触式侵入性方法，可能会给动物造成压力。此外，传感器在动物运动过程中不可避免地会碰撞或振动，从而产生噪音，影响数据准确性。并且加速度传感器的应用需要更换电池，对长期检测造成了一定的限制。
[0003]基于深度学习识别猪采食行为、姿势等非接触式方法往往使用图像、视频、3D数据来训练模型。在基于图像数据的方法方面，Xue等人提出了具有更深层次和两个残差学习框架的ZF模型来实现对哺乳母猪行为的有效识别，识别哺乳母猪的五种姿势(例如：分别为站立、坐下、躺下、俯卧和侧卧)。而针对同一研究对象，Zheng等人基于猪的RGB
‑
D图像，训练改进的Fast R
‑
CNN架构作为母猪帧级姿势检测器，其对四种姿势(站立、坐着、腹卧和侧卧)的检测达到92.70％mAP。实验结果表明，该方法能够真实地监测猪的姿态，为养殖业提供有效的参考信息，但数据质量要求高，泛化性能低，且模型规模较大，难以移植和部署到嵌入式系统中实现实际应用。
[0004]Riekert等人将猪的躺卧姿势视为一个目标检测问题，使用NASNet和Faster R
‑
CNN检测猪的位置和姿势，以达到80.20％mAP。Li等人从视频数据的角度出发，提出了一种基于slowfast
‑
two路径结构和3D ResNet(R3D)模型的猪多行为识别时空卷积网络。实验结果表明，该模型在后续的生猪检测任务中仍具有显著的泛化能力。同样，考虑到视频数据中猪行为的运动信息，提出了基于深度学习的双流卷积网络模型来识别猪行为。同年，Alameer等人将乳房区域映射到哺乳行为对应的光流框架，并提取母猪运动强度和占有指数的时间特征，以提取区分哺乳和类似行为的时间和空间特征。2021年，Gan等人通过母猪检测器和关键点检测器组成的空间定位网络定位母猪泌乳区域，并利用母猪的时空特征信息识别母猪泌乳行为。以往的姿态识别方法受人工标注的影响具有一定局限性，并缺少对骨架级运动模式的研究。
[0005]综上所述，各项研究表明，通过提取动物的时空特征信息自动识别动物行为已经有了一定的基础。现有动物行为监测算法高分辨率信息表征差、多级运动特征耦合的完整性差，导致识别准确率低，无法满足当下养殖业规模化动物姿态识别对高表征信息、模型识别准确率及识别精度的高要求。

技术实现思路

[0006]本专利技术提供一种动物骨骼关键点检测、动物姿态识别方法及系统，解决的技术问
题在于：现有动物行为监测算法高分辨率信息表征差、多级运动特征耦合的完整性差，导致识别准确率低。
[0007]为解决以上技术问题，本专利技术提供一种动物骨骼关键点检测方法，其关键在于，包括步骤：
[0008]S1、采用工业摄像头拍摄动物养殖场获取动物养殖视频序列，并且对所述动物养殖视频序列逐个取帧，得到动物预处理图像；
[0009]S2、构建动物骨骼关键点检测网络模型，并采用所述动物预处理图像对所述动物骨骼关键点检测网络模型进行训练；
[0010]S3、实时生成动物预处理图像并输入至训练完成的动物骨骼关键点检测网络模型，得到对应的动物骨骼关键点信息；
[0011]在训练过程中或训练完成后的应用过程中，所述动物骨骼关键点检测网络模型生成动物骨骼关键点信息具体包括步骤：
[0012]S21、将输入图像依次进行1
×
1卷积、下采样、第一类型动态轻量化得到一阶段特征图；
[0013]S22、将所述一阶段特征图也即二阶段第一特征图进行下采样得到二阶段第二特征图，将所述二阶段第一特征图和所述二阶段第二特征图分别进行两次第二类型动态轻量化得到对应的二阶段第三特征图和二阶段第四特征图，将所述二阶段第三特征图经过卷积、一倍下采样、2倍下采样得到三个二阶段第五特征图，将所述二阶段第四特征图经过上采样、卷积、下采样得到的三个二阶段第六特征图，对三个二阶段第五特征图与三个二阶段第六特征图进行融合，得到三个二阶段输出特征图；
[0014]S23、采用与步骤S22相似的过程每次增加一倍下采样作为新的卷积分支，最后生成M+1个M阶段输出特征图，M≥3；
[0015]S24、对M+1个M阶段输出特征图进行卷积和两次第二类型动态轻量化得到M+1个M+1阶段特征图，再对M+1个M+1阶段特征图进行交叉采样然后融合，得到M+1个M+1阶段输出特征图；
[0016]S25、对M+1个M+1阶段输出特征图依次进行ReLU和卷积操作，得到动物骨骼关键点信息。
[0017]进一步地，所述第一类型动态轻量化具体包括步骤：
[0018]A1、对第一类型输入特征图进行通道分割，得到第一类型第一通道输入特征图和第一类型第二通道输入特征图；
[0019]A2、对所述第一类型第一通道输入特征图依次进行卷积核大小为3、步长为2的动态分割卷积，自适应上下文建模，卷积核大小为1的动态分割卷积以及ReLU激活函数激活，得到第一类型第一通道输出特征图；对所述第一类型第二通道输入特征图依次进行卷积核大小为3、步长为2的动态分割卷积，自适应上下文建模，卷积核大小为1的动态分割卷积以及ReLU激活函数激活，卷积核大小为1的动态分割卷积，卷积核大小为3、步长为2的动态分割卷积以及ReLU激活函数激活，得到第一类型第二通道输出特征图；
[0020]A3、将所述第一类型第一通道输出特征图与所述第一类型第二通道输出特征图进行连接，再进行通道融合，得到第一类型输出特征图。
[0021]进一步地，所述第二类型动态轻量化具体包括步骤：
[0022]B1、对第二类型输入特征图进行通道分割，得到第二类型第一通道输入特征图和第二类型第二通道输入特征图；
[0023]B2、对所述第二类型第一通道输入特征图依次进行所述自适应上下文建模和所述第一类型动态轻量化，得到第二类型第一通道输出特征图；
[0024]B3、将所述第二类型第一通道输出特征图与所述第二类型第二通道输入特征图进行连接，再进行通道融合，得到第二类型输出特征图。
[0025]进一步地，所述动态分割卷积包括步骤：
[0026]D1、将C个通道的输入均分成G个组，每组C/G个通道；
[0027]D2、动态地为不同的输入生成不同的卷积核，其中为第j组通道上输入X
j
生成的卷积核大小K
j
＝2j+1,j∈[1,G]；
[0028]D3、并行地对每组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.动物骨骼关键点检测方法，其特征在于，包括步骤：S1、采用工业摄像头拍摄动物养殖场获取动物养殖视频序列，并且对所述动物养殖视频序列逐个取帧，得到动物预处理图像；S2、构建动物骨骼关键点检测网络模型，并采用所述动物预处理图像对所述动物骨骼关键点检测网络模型进行训练；S3、实时生成动物预处理图像并输入至训练完成的动物骨骼关键点检测网络模型，得到对应的动物骨骼关键点信息；在训练过程中或训练完成后的应用过程中，所述动物骨骼关键点检测网络模型生成动物骨骼关键点信息具体包括步骤：S21、将输入图像依次进行1
×
1卷积、下采样、第一类型动态轻量化得到一阶段特征图；S22、将所述一阶段特征图也即二阶段第一特征图进行下采样得到二阶段第二特征图，将所述二阶段第一特征图和所述二阶段第二特征图分别进行两次第二类型动态轻量化得到对应的二阶段第三特征图和二阶段第四特征图，将所述二阶段第三特征图经过卷积、一倍下采样、2倍下采样得到三个二阶段第五特征图，将所述二阶段第四特征图经过上采样、卷积、下采样得到的三个二阶段第六特征图，对三个二阶段第五特征图与三个二阶段第六特征图进行融合，得到三个二阶段输出特征图；S23、采用与步骤S22相似的过程每次增加一倍下采样作为新的卷积分支，最后生成M+1个M阶段输出特征图，M≥3；S24、对M+1个M阶段输出特征图进行卷积和两次第二类型动态轻量化得到M+1个M+1阶段特征图，再对M+1个M+1阶段特征图进行交叉采样然后融合，得到M+1个M+1阶段输出特征图；S25、对M+1个M+1阶段输出特征图依次进行ReLU和卷积操作，得到动物骨骼关键点信息。2.根据权利要求1所述的动物骨骼关键点检测方法，其特征在于，所述第一类型动态轻量化具体包括步骤：A1、对第一类型输入特征图进行通道分割，得到第一类型第一通道输入特征图和第一类型第二通道输入特征图；A2、对所述第一类型第一通道输入特征图依次进行卷积核大小为3、步长为2的动态分割卷积，自适应上下文建模，卷积核大小为1的动态分割卷积以及ReLU激活函数激活，得到第一类型第一通道输出特征图；对所述第一类型第二通道输入特征图依次进行卷积核大小为3、步长为2的动态分割卷积，自适应上下文建模，卷积核大小为1的动态分割卷积以及ReLU激活函数激活，卷积核大小为1的动态分割卷积，卷积核大小为3、步长为2的动态分割卷积以及ReLU激活函数激活，得到第一类型第二通道输出特征图；A3、将所述第一类型第一通道输出特征图与所述第一类型第二通道输出特征图进行连接，再进行通道融合，得到第一类型输出特征图。3.根据权利要求2所述的动物骨骼关键点检测方法，其特征在于，所述第二类型动态轻量化具体包括步骤：B1、对第二类型输入特征图进行通道分割，得到第二类型第一通道输入特征图和第二类型第二通道输入特征图；
B2、对所述第二类型第一通道输入特征图依次进行所述自适应上下文建模和所述第一类型动态轻量化，得到第二类型第一通道输出特征图；B3、将所述第二类型第一通道输出特征图与所述第二类型第二通道输入特征图进行连接，再进行通道融合，得到第二类型输出特征图。4.根据权利要求3所述的动物骨骼关键点检测方法，其特征在于，所述动态分割卷积包括步骤：D1、将C个通道的输入均分成G个组，每组C/G个通道；D2、动态地为不同的输入生成不同的卷积核，其中为第j组通道上输入X
j
生成的卷积核大小K
j
＝2j+1，j∈[1，G]；D3、并行地对每组通道进行不同卷积核大小的逐深度卷积，得到输出Y
j
：DWConv()表示深度卷积；D4、基于每组的输入X
j
计算该组卷积核上的注意力权重a
j
(X)，将G个组的注意力权重与卷积核权重进行聚合得到一个总的聚合权重w
j
表示第j个卷积核的权重，j∈[1，G]，a
j
(X)由下式计算：a
j
(X)＝Sigmoid(FC(ReLU(FC(GAP(X
j
)))))，GAP()表示全局平均池化，FC()表示全连接层，Sigmoid()和ReLU()表示非线性激活函数Sigmoid和ReLU；D5、将G组输出Y
j
连接在一起作为输入Q，与得到的聚合权重进行下式运算，得到输出特征图Y：Y＝W
T
(X)Q。5.根据权利要求3所述的动物骨骼关键点检测方法，其特征在于，所述自适应上下文建模包括步骤：Z1、对输入的特征图进行自适应上下文池化，得到池化特征图；该步骤具体包括步骤：Z11、将特征图x输入到一个1

【专利技术属性】
技术研发人员：利节，秦毅，黄晓薇，任春萍，涂宇，唐辉荣，罗军，
申请(专利权)人：重庆科技学院，
类型：发明
国别省市：