一种简单通用的鱼群视频图像轨迹追踪方法技术

一种简单通用的鱼群视频图像轨迹追踪方法，涉及视频图像轨迹追踪领域。利用大部分的鱼体在二维平面游动时，俯视角的面积几乎保持不变，以及鱼体游动方向短时间内不可能发生突变这两个特征，结合最近邻法进行鱼群追踪；在追踪某条鱼时，首先根据这条鱼的历史信息排除面积差别较大的鱼体，而后采用连续两帧的鱼体质心连线作为鱼体的游动方向，排除方向角差别过大的目标；最后采用最邻近法对鱼体坐标位置进行前后帧间关联完成追踪；并且采用图像腐蚀的方法，解决鱼体相互遮挡的问题。追踪结果更加精确。易于泛化推广，具有广泛应用前景。可用于各类实验室鱼类行为学的研究，以获取生物群体精确的行动轨迹，构建生物活动模型，或者辅助验证假说。

【技术实现步骤摘要】
一种简单通用的鱼群视频图像轨迹追踪方法
本专利技术涉及视频图像轨迹追踪领域，尤其是涉及一种简单通用的鱼群视频图像轨迹追踪方法。
技术介绍
研究鱼类正常环境下的游泳轨迹，以及干扰条件下(如声刺激)的行为变化轨迹，常常需要测量其行为参数，如移动距离、方向和距离速度等，以评价干扰大小对其行为的影响，而这些参数的获取需要建立在准确追踪鱼群运动轨迹的基础之上。早期的鱼群追踪仅依靠观察者肉眼观察手动记录，其追踪结果往往粗糙且带有观察者的主观性，鱼群行为可能会受到来自于观察者的影响。随着科技的进步，计算机视觉技术受到了很多生物行为研究者的青睐，其原理是借助摄像机的帮助获取被观察群体的视频图像，而后在计算机上进行量化的分析，从而提取生物群体精确的行动轨迹，以构建生物活动模型，或者辅助验证假说。这种生物自自动行为监视系统的主要优点是观察过程中不需要人为干预，不受气候等客观条件影响且可进行长期监视。荷兰的Noldus公司2001年最早开发出了EthoVision系统，用于观察单条鱼的行为轨迹，Kato(KatoS,NakagawaT,OhkawaM,etal.Acomputerimageprocessingsystemforquantificationofzebrafishbehavior[J].JournalofNeuroscienceMethods,2004,134(1):1-7)于2004年在日本提出的观察系统则可以用于两条鱼的行为测量，并且提出了腐蚀方法以分离鱼体，而后比利时列日大学的Delcourt(DelcourtJ,MathieuYlieffM,etal.Videomultitrackingoffishbehaviour:Asynthesisandfutureperspectives[J].FishandFisheries,2013,14(2):186-204)于2006年开发出了一个多轨系统来记录多达100条鱼的运动轨迹，认为鱼在较短时间内的运动为匀速运动，据此预测每条个体鱼的理论位置，并与预测位置最邻近的位置相匹配来完成跟踪，但是作者未处理遮挡时的鱼体，而是直接将发生遮挡的多个鱼体身份赋予给遮挡形成的单个粒子，因此最终的追踪准确率99.9％有些虚高。2016年我国的XiaChunlei等(XiaC,ChonTS,LiuY,etal.Posturetrackingofmultipleindividualfishforbehavioralmonitoringwithvisualsensors[J].EcologicalInformatics,2016,36(Complete):S1574954116300887)利用鱼体图像的灰度特征，区分出鱼头鱼尾以确定鱼体的方向，追踪时利用鱼体的方向寻找候选对象，在这些候选对象中使用找到最近的个体完成追踪。法国生物物理学家Pérez-Escudero(Pérez-Escudero,Alfonso,Vicente-Page,Julián,HinzRC,etal.idTracker:trackingindividualsinagroupbyautomaticidentificationofunmarkedanimals[J].NatureMethods,2014,11(7):743-748)在2014年开发的指纹系统，为每条鱼创建了独立的指纹库用于识别个体鱼，可同时跟踪20条个体。随着对轨迹追踪精度要求的不断提高，后续有学者利用卷积神经网络的强大学习能力，开发出了各种精度更高的追踪系统，但这些轨迹追踪系统由于采用逐帧逐条连通域进行灰度特征计算区分头尾以获取方向，在精确度较高的同时也具有计算量大的缺陷，同时对硬件(如摄像头和计算机)的要求也较高等问题。且对于上面介绍的这些追踪系统，所以每个系统都需要特定的使用实验环境和面对特定的监视对象，在具体追踪时需要根据被追踪种类的特征，选择特定的追踪方式。而对于不同的实验场景及不同种类的实验对象，很难达到满意的追踪效果。
技术实现思路
本专利技术的目的在于提供采用图像腐蚀方法解决鱼体相互遮挡的问题，追踪结果更加精确，具有普适性，易于泛化推广的一种简单通用的鱼群视频图像轨迹追踪方法。本专利技术包括以下步骤：1)导入欲追踪的鱼群视频，对于每一帧原始图像进行灰度化处理得到原始灰度图像；2)获取背景图像，选取连续的n帧画面，对每一个像素点取中位数值，并且假设背景图像在一段时间内是不变的；3)将步骤1)中获得的原始灰度图像，减去步骤2)中获取的背景图像，即可得到待处理灰度图像；4)将步骤3)中得到的待处理灰度图像二值化，得到待处理的二值图像1；5)对于步骤4)中得到的待处理的二值图像1，使用中值滤波、闭运算处理使其平滑，得到待处理的二值图像2，可直接用于后续分析；6)初始化如下参数，包括图像总帧数、当前帧数、鱼体总数、当前帧连通域数目，调整帧间最大方向角度变化、最大鱼体面积变化率；7)选定未发生遮挡的一帧图像作为第一帧，给所有鱼体编号，记录鱼体俯视面积和质心坐标，第2帧时开始记录每条鱼体的方向；8)帧数N≥3时，判断当前帧连通域数目是否等于预设鱼体数，若等于，则说明未发生遮挡，可进行追踪；若当前帧的连通域数目小于预设鱼体数时，则说明发生了遮挡，将面积较大的粒子(粒子即连通域)进行图像腐蚀，直至发生遮挡的粒子成功分离，将分离成功的粒子质心坐标替换发生遮挡的粒子坐标后，可进行追踪；9)对所有帧所要追踪的鱼体追踪结束后，输出所有鱼体的轨迹并绘图。在步骤1)中，所述鱼群视频应以俯视角拍摄获取，无多余视觉干扰(如水质不清澈，水面反光)，以保持鱼体的表面特征在追踪过程中在摄像头下尽量不变，从而获取更好的追踪效果，所述无多余视觉干扰选择水质不清澈、水面反光等；所述鱼群视频，推荐帧率30Hz，视频像素大于576×720，以确保每一条鱼在视频中的长度大于等于15像素，推荐鱼体数目不超过20条。在步骤2)中，所述获取背景图像的具体方法可使用时域中值滤波方法获取背景图像B，B＝median{Pt-n,Pt-n+1,Pt-n+2,…Pt}，其中Pt为图像中的每一个像素点。在步骤4)中，所述二值化可采用最大类间方差法(Ostu法)来确定最佳的自适应分割阈值，以保证更好的分割效果。在步骤5)中，所述中值滤波方式是以3×3或5×5为单元块进行的，即用像素点3×3或5×5的邻域灰度值中值来代替该像素点的灰度值，让周围的像素值接近真实的值从而消除孤立的噪声点，以5×5为单元块进行中值滤波会有更好的去噪效果，但会丢失一些细节，使用时根据需要自行选择。在步骤6)中，所述帧间最大方向角度变化为0～2π，通常小于优选45°；所述最大鱼体面积变化率可为0～100％，通常小于15％，优选0.15；最大帧间方向变化值和最大鱼体面积变化率可根据不同鱼种游动的实际情况进行适当调整，直至获取到满意的跟踪效果。在步骤7)中，所述选定未发生遮挡的一帧图像作为第一帧，给所有鱼体编号，记录鱼体俯视面积和质本文档来自技高网...

【技术保护点】
1.一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于包括以下步骤：/n1)导入欲追踪的鱼群视频，对于每一帧原始图像进行灰度化处理得到原始灰度图像；/n2)获取背景图像，选取连续的n帧画面，对每一个像素点取中位数值，并且假设背景图像在一段时间内是不变的；/n3)将步骤1)中获得的原始灰度图像，减去步骤2)中获取的背景图像，即可得到待处理灰度图像；/n4)将步骤3)中得到的待处理灰度图像二值化，得到待处理的二值图像1；/n5)对于步骤4)中得到的待处理的二值图像1，使用中值滤波、闭运算处理使其平滑，得到待处理的二值图像2，可直接用于后续分析；/n6)初始化如下参数，包括图像总帧数、当前帧数、鱼体总数、当前帧连通域数目，调整帧间最大方向角度变化、最大鱼体面积变化率；/n7)选定未发生遮挡的一帧图像作为第一帧，给所有鱼体编号，记录鱼体俯视面积和质心坐标，第2帧时开始记录每条鱼体的方向；/n8)帧数N≥3时，判断当前帧连通域数目是否等于预设鱼体数，若等于，则说明未发生遮挡，可进行追踪；若当前帧的连通域数目小于预设鱼体数时，则说明发生了遮挡，将面积较大的粒子进行图像腐蚀，直至发生遮挡的粒子成功分离，将分离成功的粒子质心坐标替换发生遮挡的粒子坐标后，可进行追踪；/n9)对所有帧所要追踪的鱼体追踪结束后，输出所有鱼体的轨迹并绘图。/n...

【技术特征摘要】
1.一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于包括以下步骤：
1)导入欲追踪的鱼群视频，对于每一帧原始图像进行灰度化处理得到原始灰度图像；
2)获取背景图像，选取连续的n帧画面，对每一个像素点取中位数值，并且假设背景图像在一段时间内是不变的；
3)将步骤1)中获得的原始灰度图像，减去步骤2)中获取的背景图像，即可得到待处理灰度图像；
4)将步骤3)中得到的待处理灰度图像二值化，得到待处理的二值图像1；
5)对于步骤4)中得到的待处理的二值图像1，使用中值滤波、闭运算处理使其平滑，得到待处理的二值图像2，可直接用于后续分析；
6)初始化如下参数，包括图像总帧数、当前帧数、鱼体总数、当前帧连通域数目，调整帧间最大方向角度变化、最大鱼体面积变化率；
7)选定未发生遮挡的一帧图像作为第一帧，给所有鱼体编号，记录鱼体俯视面积和质心坐标，第2帧时开始记录每条鱼体的方向；
8)帧数N≥3时，判断当前帧连通域数目是否等于预设鱼体数，若等于，则说明未发生遮挡，可进行追踪；若当前帧的连通域数目小于预设鱼体数时，则说明发生了遮挡，将面积较大的粒子进行图像腐蚀，直至发生遮挡的粒子成功分离，将分离成功的粒子质心坐标替换发生遮挡的粒子坐标后，可进行追踪；
9)对所有帧所要追踪的鱼体追踪结束后，输出所有鱼体的轨迹并绘图。


2.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤1)中，所述鱼群视频是以俯视角拍摄获取，无多余视觉干扰，如水质不清澈或水面反光，以保持鱼体的表面特征在追踪过程中在摄像头下尽量不变，从而获取更好的追踪效果。


3.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤1)中，所述鱼群视频，采用帧率30Hz，视频像素大于576×720，以确保每一条鱼在视频中的长度大于等于15像素，鱼体数目不超过20条。


4.如权利要求1所述一种简单通用的鱼群视频图像轨迹追踪方法，其特征在于在步骤2)中，所述获取背景图像是使用时域中值滤波方法获取背景图像B；
B＝median{Pt-n,Pt-n+1,Pt-n+2,…Pt}
其中，Pt为图像中...

【专利技术属性】
技术研发人员：丁剑勇，许肖梅，周阳亮，涂星滨，王荣鑫，陶毅，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35