一种动物群体轨迹追踪的方法及其系统技术方案

本发明专利技术涉及一种动物群体轨迹追踪的方法及其系统，所述方法包括以下步骤：S1：将动物群体饲养在适合动物群体生存、活动和社交的环境平台；S2：通过摄像头采集动物群体社交互动行为的监测视频；S3：基于深度学习的目标检测模型，得到视频中所有目标动物信息；S4：通过轨迹追踪，得到动物群体中单个个体的轨迹；S5：对轨迹进行滑动平均滤波处理；S6：生成动物群体中单个个体的轨迹，生成标注有动物群体身份标识的追踪视频。该方法对环境噪声的鲁棒性强，可应用于多动物群体的追踪，抗干扰能力强，能解决动物群体中的个体相互触碰，运动路径相互交叉等复杂的互动模式。

【技术实现步骤摘要】
一种动物群体轨迹追踪的方法及其系统
本专利技术涉及动物行为学
，具体涉及一种动物群体轨迹追踪的方法及其系统。
技术介绍
在社交行为过程中，动物会做出很多大量而迅速的行为变化，表现出丰富的行为学模式，整合来自其自身的动机和情感，以及当前环境的各种信息。动物行为学、及其社交互动研究可用以搭建正常和疾病动物的认知和情感模型，在学习和记忆研究、疾病模型的生理机制研究、以及药物评估试验等研究中具有广泛的应用，如用以观察自闭症和老年痴呆症中的认识和社交缺陷。开展多动物群体长期社交实验的一个关键挑战是获得可靠动物轨迹的能力，因此如何从动物群体社交互动行为监测视频中提取详尽的行为信息是动物行为学领域中的一个重要问题。由于动物的社交关系的形成和演化通常需要数天甚至更长时间，因此需要建立深入的、定量的、长期的动物群体行为监测。然而目前广泛应用的实验大多采用少量动物的短时间社交，会遗漏很多重要的动物社交行为模式，且现有的通过人为标注监测视频不现实，不仅单调乏味、花费代价大，而且主观性强，难以重复，在视频序列中保持多动物的自动追踪与身份识别非常困难。此外，动物群体中的个体相互触碰，运动路径相互交叉，会有非常复杂的互动模式，如蜷缩在一起、爬到另外一只动物的背上等，目前的社交实验中通常假设动物一直保持可视、不重叠、运动速度不很快。或是采用其他特征来标记动物身份，如不同的颜色、大小、受限的环境(如某只动物被限制在一个特定区域活动)等，但颜色标记在动物理毛时易被清理掉，不同的颜色模式标记还存在重复性不够高，使用不同动物实验需要重新训练模型等问题；其他如RFID类的标记通常是侵入式的，会影响甚至改变动物的行为；而受限的环境难以观察到全面的动物社交行为模式。此外，在不同的实验设置中，动物的颜色、实验环境、光照均匀程度、摄像头成像质量等原因，都会影响动物群体自动轨迹追踪的可靠性，而传统的动物行为学计算机视觉系统对各种不同情况的自适应程度较低，用户友好型不强，往往有很多参数需要调整，有些关键参数需要根据经验，费时费力，使用不够方便可靠；且现有的追踪方法对环境噪声较为敏感，特别是对比度低、光照不均匀、光照动态变化、环境动态变化的实验设置，对动物群体中的个体相互触碰，运动路径相互交叉、互动(如蜷缩在一起，爬到另外一只动物的背上等)也较为敏感。公布号为CN109377517A的中国专利技术专利《一种基于视频追踪技术的动物个体识别系统》，将深度学习中的Faster-RCNN多目标检测模型与传统追踪算法卡尔曼滤波器结合，可以解决多目标追踪应用中经常出现的遮挡，轨迹交叉，实时性差等难点问题，但是其目标检测模型无法根据视频分析难度、计算复杂度以及分析时间成本做出调整，其方案根据动物目标检测模型所检测出的各动物位置之间的欧式距离作为判定身份的评价标准，小于阈值的检测目标位置为有效位置，该方法在动物出现接触和交叉时，极容易出现动物个体的身份错误，且在同一目标动物被遮挡后又重新出现的情况下，该目标动物消失前后会被分配不同的身份。由于现有方法和系统在轨迹追踪上仍难以获得满意的结果，因此有必要建立一种新的追踪动物群体轨迹的方法。
技术实现思路
本专利技术所要解决的第一个技术问题为针对现有技术的缺陷而提供一种高准确率、高鲁棒性、且稳定可靠的动物群体轨迹追踪的方法。本专利技术所要解决的第二个技术问题为针对现有技术的现状而提供一种高准确率、高鲁棒性、且稳定可靠的动物群体轨迹追踪系统。本专利技术解决第一个技术问题所采用的技术方案为提供一种动物群体轨迹追踪方法，包括以下步骤：S1：将动物群体饲养在适合动物群体生存、活动和社交的环境平台；S2：通过摄像头采集动物群体社交互动行为的监测视频；S3：基于深度学习的目标检测模型，得到视频中所有目标动物信息；S4：通过轨迹追踪，得到动物群体中单个个体的轨迹；S5：对轨迹进行滑动平均滤波处理；S6：生成动物群体中单个个体的轨迹，生成标注有动物群体身份标识的追踪视频。进一步地，步骤S2中，所述摄像头的采样频率与动物的运动速度适配并能进行自适应调节，动物运动速度越快，所对应的摄像头采样频率越高，所述摄像头的采样频率为15～50帧/s。如树鼩的运动速度远高于小鼠，对小鼠进行视频录制的采样频率优选为15～20Hz，对树鼩进行视频录制时需要更高的采样频率，优选为45～60Hz，在保证采样图像成像质量和不出现运动模糊的前提下，尽量降低视频数据的大小，以便于保存和分析。作为优选，步骤S3中，所述目标检测模型包括以Alexnet、VGG19、或Google-Net为基础的Faster-RCNN模型，以及RCNN、Fast-RCNN、SPP-Net、YOYO中的任意一种。考虑到视频分析的难易程度、计算的复杂程度、以及分析的时间成本，在分析对比度和信噪比高的单动物视频时，采用复杂度低的模型，如以Alexnet为基础的Faster-RCNN网络；在分析对比度和信噪比低的多动物视频时，采用复杂度高的模型，如以VGG19和Google-Net为基础的Faster-RCNN网络。进一步地，步骤S3中，所述目标检测方法包括以下步骤：S3.1：提取监测视频中感兴趣区域，并删除无关区域；S3.2：对视频进行空间分辨率的变换；S3.3：对视频进行时间采样频率的变换；S3.4：基于深度目标学习的目标检测模型对视频中的每一帧图像进行目标检测，得到目标动物的包围框。进一步地，步骤S3.4中，所述目标检测包括以下步骤：S3.4.1：训练样本视频：对训练视频采样并对每一帧图像中的目标动物进行矩形框标注，并生成大量训练样本图像；S3.4.2：对样本进行数据增广与整理；S3.4.3：得到训练的基于深度学习的目标检测模型，并输出目标动物的包围框，包括包围框位置信息和包围框大小信息；S3.4.4：对目标进行检测：输入目标检测视频；S3.4.5：读取目标检测视频中的每一帧图像；S3.4.6：加载步骤S3.4.3中训练后的基于深度学习的目标检测模型；S3.4.7：得到目标动物的矩形包围框。进一步地，步骤S3.4.1中，训练样本的图像的具体数量，需要根据实际情况确定，如针对背景与前景对比度大的情况，需要大约2000～3000张训练图像，对于背景与前景对比度小、识别难度大的情况，需要大约3000～4000张训练图像；步骤S3.4.2中，对样本的增广采用基于旋转和镜像的扩展8倍的增广方式、和/或图像平移及缩放，其中，所述扩展8倍的增广方式包括：旋转0度不镜像、旋转-90度不镜像、旋转-180度不镜像、旋转-270度不镜像、旋转0度且Y轴镜像、旋转-90度且X轴镜像、旋转-180度且Y轴镜像、旋转-270度且X轴镜像。进一步地，步骤S4中，轨迹追踪包括以下步骤：S4.1：对视频内动物群体中每个个体轨迹初始化处理，确认目标数量及位置；S4.2：提取当前帧图像中所有检测得到的目标动物及其位置；S本文档来自技高网...

【技术保护点】
1.一种动物群体轨迹追踪方法，其特征在于包括以下步骤：/nS1：将动物群体饲养在适合动物群体生存、活动和社交的环境平台；/nS2：通过摄像头采集动物群体社交互动行为的监测视频；/nS3：基于深度学习的目标检测模型，得到视频中所有目标动物信息；/nS4：通过轨迹追踪，得到动物群体中单个个体的轨迹；/nS5：对轨迹进行滑动平均滤波处理；/nS6：生成动物群体中单个个体的轨迹，生成标注有动物群体身份标识的追踪视频。/n

【技术特征摘要】
1.一种动物群体轨迹追踪方法，其特征在于包括以下步骤：
S1：将动物群体饲养在适合动物群体生存、活动和社交的环境平台；
S2：通过摄像头采集动物群体社交互动行为的监测视频；
S3：基于深度学习的目标检测模型，得到视频中所有目标动物信息；
S4：通过轨迹追踪，得到动物群体中单个个体的轨迹；
S5：对轨迹进行滑动平均滤波处理；
S6：生成动物群体中单个个体的轨迹，生成标注有动物群体身份标识的追踪视频。


2.根据权利要求1所述的动物群体轨迹追踪方法，其特征在于：
步骤S2中，所述摄像头的采样频率与动物的运动速度适配并能进行自适应调节，动物运动速度越快，所对应的摄像头采样频率越高，所述摄像头的采样频率为15～50帧/s。


3.根据权利要求1所述的动物群体轨迹追踪方法，其特征在于：
步骤S3中，所述目标检测模型包括以Alexnet、VGG19、或Google-Net为基础的Faster-RCNN模型，以及RCNN、Fast-RCNN、SPP-Net、YOYO中的任意一种。


4.根据权利要求3所述的动物群体轨迹追踪方法，其特征在于步骤S3中，所述目标检测方法包括以下步骤：
S3.1：提取监测视频中感兴趣区域，并删除无关区域；
S3.2：对视频进行空间分辨率的变换；
S3.3：对视频进行时间采样频率的变换；
S3.4：基于深度目标学习的目标检测模型对视频中的每一帧图像进行目标检测，得到目标动物的包围框。


5.根据权利要求4所述的动物群体轨迹追踪方法，其特征在于步骤S3.4中，所述目标检测包括以下步骤：
S3.4.1：训练样本视频：对训练视频采样并对每一帧图像中的目标动物进行矩形框标注，并生成大量训练样本图像；
S3.4.2：对样本进行数据增广与整理；
S3.4.3：得到训练的基于深度学习的目标检测模型，并输出目标动物的包围框，包括包围框位置信息和包围框大小信息；
S3.4.4：对目标进行检测：输入目标检测视频；
S3.4.5：读取目标检测视频中的每一帧图像；
S3.4.6：加载步骤S3.4.3中训练后的基于深度学习的目标检测模型；
S3.4.7：得到目标动物的矩形包围框。


6.根据权利要求5所述的动物群体轨迹追踪方法，其特征在于：
步骤S3.4.2中，对样本的增广采用基于旋转和镜像的扩展8倍的增广方式、和/或图像平移及缩放，其中，所述扩展8倍的增广方式包括：旋转0度不镜像、旋转-90度不镜像、旋转-180度不镜像、旋转-270度不镜像、旋转0度且Y轴镜像、旋转-90度且X轴镜像、旋转-180度且Y轴镜像、旋转-270度且X轴镜...

【专利技术属性】
技术研发人员：张晨，苏峰，王仰真，刘梦娜，刘小榕，袁培江，郑沪生，张先良，
申请(专利权)人：舟山诚创电子科技有限责任公司，
类型：发明
国别省市：浙江;33