跛行检测方法、设备及存储介质技术

本发明专利技术公开一种跛行检测方法、设备及存储介质，涉及安全养殖信息化技术领域，方法包括：获取待测动物视频，待测动物视频包括多帧动物图像；提取各动物图像中目标待测动物的骨骼关键点，得到关键点帧；基于所有关键点帧，绘制目标待测动物的姿态热图；基于姿态热图进行跛行检测，得到跛行检测结果。本发明专利技术通过检测目标待测动物的骨骼关键点，绘制目标待测动物移动过程的姿态热图。基于目标待测动物移动过程的姿态热图，体现了目标待测动物的骨骼关键点在移动过程中多种变化状态，使得跛行检测的姿态特征数据更加丰富，解决了现有跛行检测方法依赖局部特征，准确性低的技术问题，提高了跛行检测的准确性。检测的准确性。检测的准确性。

【技术实现步骤摘要】
跛行检测方法、设备及存储介质


[0001]本专利技术涉及安全养殖信息化
，尤其涉及一种跛行检测方法、设备及存储介质。

技术介绍

[0002]由于蹄或腿部的疾病引发的家畜跛行，对养殖者来说是一个非常严峻问题。相关技术中，通常基于人工标注家畜的局部特征，结合深度学习或计算机视觉，判断家畜运动视频中家畜是否跛行。但是，现有跛行检测方法依赖局部特征，通常会导致跛行检测不准确。

技术实现思路

[0003]本专利技术的主要目的在于：提供一种跛行检测方法、设备及存储介质，旨在解决现有跛行检测方法依赖局部特征，准确性低的技术问题。
[0004]为实现上述目的，本专利技术采用如下技术方案：第一方面，本专利技术提供一种跛行检测方法，方法包括：获取待测动物视频，待测动物视频包括多帧动物图像；提取各动物图像中目标待测动物的骨骼关键点，得到关键点帧；基于所有关键点帧，绘制目标待测动物的姿态热图；基于姿态热图进行跛行检测，得到跛行检测结果。
[0005]可选地，关键点帧为全局姿态图或局部姿态图，全局姿态图包括局部姿态图对应的多个姿态分区；基于所有关键点帧，绘制待测动物的姿态热图，包括：确定局部姿态图对应的姿态分区，得到局部姿态分区；根据局部姿态分区，将所有局部姿态图和/或所有全局姿态图进行堆叠，得到姿态热图。
[0006]可选地，根据局部姿态分区，将所有局部姿态图和/或所有全局姿态图进行堆叠，得到姿态热图，包括：根据局部姿态分区，将局部姿态图拼接为与全局姿态图尺寸相同的姿态拼接图；将所有姿态拼接图和/或所有全局姿态图进行堆叠，得到姿态热图。
[0007]可选地，基于姿态热图进行跛行检测，得到跛行检测结果之前，方法还包括：检测各动物图像中目标待测动物，得到多帧RGB特征图；基于姿态热图进行跛行检测，得到跛行检测结果，包括：从RGB特征图提取得到姿态空间特征；从姿态热图提取得到姿态时间特征；基于姿态空间特征和姿态时间特征进行跛行检测，得到跛行检测结果。
[0008]可选地，基于姿态空间特征和姿态时间特征进行跛行检测，得到跛行检测结果，包括：
将姿态空间特征和姿态时间特征融合，得到融合姿态特征；基于融合姿态特征进行跛行检测，得到跛行检测结果。
[0009]可选地，将姿态空间特征和姿态时间特征融合，得到融合姿态特征，包括：将姿态空间特征和姿态时间特征作为正样本；将动物图像中目标待测动物之外的其他待测动物的其他姿态空间特征和其他姿态时间特征作为负样本；根据正样本和负样本，融合姿态空间特征和姿态时间特征，得到融合姿态特征。
[0010]可选地，获取待测动物视频的步骤之前，方法还包括：构建训练样本集，训练样本集包括第一目标动物数据集和第一其他动物数据集，第一目标动物数据集具有目标动物的跛行特征标注，第一其他动物数据集具有多种其他动物的跛行特征标注；基于训练样本集，对时空动作检测网络进行小样本训练；根据时空动作检测网络输出的支持特征和查询特征之间的余弦相似度，对时空动作检测网络进行调整，得到跛行检测模型；基于姿态热图进行跛行检测，得到跛行检测结果，包括：利用跛行检测模型对姿态热图进行跛行检测，得到跛行检测结果。
[0011]可选地，构建训练样本集的步骤之前，方法还包括：构建第一预训练样本集和第二预训练样本集，第一预训练样本集包括第二其他动物数据集，第二其他动物数据集包括多种其他动物图像，第二预训练样本集包括第二目标动物数据集，第二目标动物数据集具有目标动物的姿态特征标注；利用第一预训练样本集对初始时空动作检测网络的光流分支进行训练，得到光流特征和光流帧；利用第二预训练样本集对初始时空动作检测网络的姿态流分支进行训练，得到姿态特征；利用姿态流分支对光流帧进行检测，得到姿态分类特征；根据光流特征与姿态特征之间的余弦距离和姿态分类特征，对初始时空动作检测网络进行调整，得到时空动作检测网络。
[0012]第二方面，本专利技术还提供一种跛行检测设备，设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的跛行检测程序，通过跛行检测程序配置为实现如上述任一项跛行检测方法的步骤。
[0013]第三方面，本专利技术还提供一种计算机可读存储介质，计算机可读存储介质上存储有跛行检测程序，跛行检测程序被处理器执行时实现如上述任一项的跛行检测方法的步骤。
[0014]本专利技术提供一种跛行检测方法，通过获取待测动物视频，待测动物视频包括多帧动物图像；提取各动物图像中目标待测动物的骨骼关键点，得到关键点帧；基于所有关键点帧，绘制目标待测动物的姿态热图；基于姿态热图进行跛行检测，得到跛行检测结果。
[0015]由此，本专利技术通过检测目标待测动物的骨骼关键点，绘制目标待测动物移动过程的姿态热图。基于目标待测动物移动过程的姿态热图，体现了目标待测动物的骨骼关键点在移动过程中多种变化状态，使得跛行检测的姿态特征数据更加丰富，解决了现有跛行检
测方法依赖局部特征，准确性低的技术问题，提高了跛行检测的准确性。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0017]图1为本专利技术跛行检测设备的结构示意图；图2为本专利技术跛行检测方法第一实施例的流程示意图；图3为图2中步骤S300的细化流程示意图；图4为本专利技术一实施方式中训练跛行检测模型的流程示意图；图5为本专利技术跛行检测方法第二实施例的流程示意图；图6为图5中步骤S430的细化流程示意图。
[0018]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0019]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0021]在本专利技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的装置或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种装置或者系统所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括该要素的装置或者系统中还存在另外的相同要素。
[0022]由于蹄或腿部的疾病引发的家畜跛行问题对养殖者来说是一个非常严峻的成本问题，也是一个重要的家畜福利问题。而传统的基于人工观察来判断家畜是否跛行，存在劳动强度高、效率低下、专业门槛高等问题。为了解决当前家畜跛行检测方案存在的不足，智能化的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跛行检测方法，其特征在于，所述方法包括：获取待测动物视频，所述待测动物视频包括多帧动物图像；提取各所述动物图像中目标待测动物的骨骼关键点，得到关键点帧；基于所有所述关键点帧，绘制所述目标待测动物的姿态热图；基于所述姿态热图进行跛行检测，得到跛行检测结果。2.如权利要求1所述的方法，其特征在于，所述关键点帧为全局姿态图或局部姿态图，所述全局姿态图包括所述局部姿态图对应的多个姿态分区；所述基于所有所述关键点帧，绘制所述目标待测动物的姿态热图，包括：确定所述局部姿态图对应的所述姿态分区，得到局部姿态分区；根据所述局部姿态分区，将所有所述局部姿态图和/或所有所述全局姿态图进行堆叠，得到所述姿态热图。3.如权利要求2所述的方法，其特征在于，所述根据所述局部姿态分区，将所有所述局部姿态图和/或所有所述全局姿态图进行堆叠，得到所述姿态热图，包括：根据所述局部姿态分区，将所述局部姿态图拼接为与所述全局姿态图尺寸相同的姿态拼接图；将所有所述姿态拼接图和/或所有所述全局姿态图进行堆叠，得到所述姿态热图。4.如权利要求1所述的方法，其特征在于，所述基于所述姿态热图进行跛行检测，得到跛行检测结果之前，所述方法还包括：检测各所述动物图像中所述目标待测动物，得到多帧RGB特征图；所述基于所述姿态热图进行跛行检测，得到跛行检测结果，包括：从所述RGB特征图提取得到姿态空间特征；从所述姿态热图提取得到姿态时间特征；基于所述姿态空间特征和所述姿态时间特征进行跛行检测，得到所述跛行检测结果。5.如权利要求4所述的方法，其特征在于，所述基于所述姿态空间特征和所述姿态时间特征进行跛行检测，得到所述跛行检测结果，包括：将所述姿态空间特征和所述姿态时间特征融合，得到融合姿态特征；基于所述融合姿态特征进行跛行检测，得到所述跛行检测结果。6.如权利要求5所述的方法，其特征在于，所述将所述姿态空间特征和所述姿态时间特征融合，得到融合姿态特征，包括：将所述姿态空间特征和所述姿态时间特征作为正样本；将所述动物图像中所述目标待测动物之外的其他待测动物的其...

【专利技术属性】
技术研发人员：王子磊，左宇晨，张燚鑫，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：