鱼群三维跟踪方法及系统技术方案

本发明专利技术提供了一种鱼群三维跟踪方法，包括：对顶视方向和第v侧视方向的目标分别进行主骨架提取，其中，主骨架包括多个骨架点，v＝1或2；在从主骨架中筛选三个骨架点作为特征点后，根据目标表观的复杂度使用双特征点模型表示顶视方向的目标及使用三特征点模型表示第v侧视方向的目标；通过极线约束对不同视角方向的目标进行特征点匹配，和/或通过轨迹一致性对不同视角方向的目标进行特征点匹配；根据主骨架的长度或端点数量区分匹配后的目标为遮挡目标和非遮挡目标，对非遮挡目标进行运动关联，并对遮挡目标进行匹配关联。本发明专利技术还提供了一种鱼群三维跟踪系统。该鱼群三维跟踪方法及系统大大提高目标跟踪效率与准确性。

Three dimensional tracking method and system for fish stocks

The present invention provides a three-dimensional fish tracking method, including: the top view and side view direction V direction of the target were the main skeleton extraction, the main frame comprises a plurality of skeleton points, v = 1 or 2; in the three screening from the main framework of skeleton points as feature points, based on the target table the concept of complexity using a double feature point model to represent the top view direction of the target and the use of three feature points of the model represents the V side direction of the target; feature point matching by epipolar constraint on different perspective direction, and / or by the trajectory consistency of different perspectives to the target feature point matching; according to the the number or length of the skeleton endpoints matched target occlusion to distinguish target and non target occlusion target, movement related to non occlusion and occlusion, object matching correlation. The invention also provides a fish school three-dimensional tracking system. The fish swarm 3D tracking method and system greatly improve the efficiency and accuracy of target tracking.

【技术实现步骤摘要】
鱼群三维跟踪方法及系统
本专利技术涉及计算机视觉
，具体而言，涉及鱼群三维跟踪方法及系统。
技术介绍
鱼类行为指鱼对环境变化所表现出的外在反应，包括鱼在自然条件或实验条件下的各种个体和群体行为。鱼类行为的研究对动物行为进化和渔业生产发展均具有重要意义。在各种研究鱼类行为的模式中，基于视频的模式由于简单易行，适用性广等特点，逐渐成为鱼类行为研究的一种重要模式。采用基于视频的模式对鱼类行为进行分析，首先要用视频获取设备对鱼的运动状态进行记录，然后对视频图像中的每条鱼进行量化分析，得到它们的运动轨迹。传统方法一般通过在每帧图像中手动标注来得到这些轨迹信息，这种方式不但效率低，而且精度不高。近年来，随着计算机技术的发展，基于计算机视觉的鱼跟踪为研究者提供了新的有效途径，并逐渐成为研究的热点。根据鱼所处环境的不同，基于计算机视觉的鱼跟踪可以分为二维跟踪和三维跟踪两种方式。二维跟踪将鱼限制在装有浅水的容器中，则鱼的运动可以近似为平面运动。这种方式虽然能够对鱼的行为进行分析，但跟踪仅限在二维空间中进行，难以全面描述鱼的运动行为。三维跟踪模拟鱼在自然环境中的运动方式，得到的轨迹数据更能反映鱼的本文档来自技高网...

【技术保护点】
一种鱼群三维跟踪方法，其特征在于，包括：对顶视方向和第v侧视方向的目标分别进行主骨架提取，其中，所述主骨架包括多个骨架点，v＝1或2；在从所述主骨架中筛选三个骨架点作为特征点后，根据目标表观的复杂度使用双特征点模型表示顶视方向的目标及使用三特征点模型表示第v侧视方向的目标；通过极线约束对不同视角方向的目标进行特征点匹配，和/或通过轨迹一致性对不同视角方向的目标进行特征点匹配；根据所述主骨架的长度或端点数量区分匹配后的目标为遮挡目标和非遮挡目标，对所述非遮挡目标进行运动关联，并对所述遮挡目标进行匹配关联。

【技术特征摘要】
1.一种鱼群三维跟踪方法，其特征在于，包括：对顶视方向和第v侧视方向的目标分别进行主骨架提取，其中，所述主骨架包括多个骨架点，v＝1或2；在从所述主骨架中筛选三个骨架点作为特征点后，根据目标表观的复杂度使用双特征点模型表示顶视方向的目标及使用三特征点模型表示第v侧视方向的目标；通过极线约束对不同视角方向的目标进行特征点匹配，和/或通过轨迹一致性对不同视角方向的目标进行特征点匹配；根据所述主骨架的长度或端点数量区分匹配后的目标为遮挡目标和非遮挡目标，对所述非遮挡目标进行运动关联，并对所述遮挡目标进行匹配关联。2.根据权利要求1所述的鱼群三维跟踪方法，其特征在于，所述“对顶视方向和第v侧视方向的目标分别进行主骨架提取”包括：分别获取目标在顶视方向和第v侧视方向的图像；基于背景差分法从所获取的目标在不同视角方向的图像分割出目标的运动区域，其中，所述运动区域包括多个像点；基于快速行进算法从目标在不同视角方向的图像提取目标的主骨架。3.根据权利要求2所述的鱼群三维跟踪方法，其特征在于，所述特征点包括：中心特征点、头部特征点和尾部特征点；所述“在从所述主骨架中筛选三个骨架点作为特征点后，根据目标表观的复杂度使用双特征点模型表示顶视方向的目标及使用三特征点模型表示两个侧视方向的目标”包括：从所述主骨架中筛选最能代表目标形状特征的骨架点作为中心特征点；在第v侧视方向上，使用所述主骨架的两个端点和中心特征点组成的三特征点模型表示第v侧视方向的目标；在顶视方向上，根据骨架点到所述运动区域边缘的最短距离获取各骨架点的宽度；计算所述中心特征点分别到所述主骨架两个端点之间的所有骨架点的宽度的平均值，分别记作第一平均宽度和第二平均宽度；比较所述第一平均宽度和所述第二平均宽度，根据比较结果区分所述主骨架为刚性区域和非刚性区域，分别标定所述主骨架在所述刚性区域和非刚性区域内的端点为头部特征点和尾部特征点；使用头部特征点和中心特征点组成的双特征点模型表示顶视方向的目标。4.根据权利要求2所述的鱼群三维跟踪方法，其特征在于，所述“通过极线约束对不同视角方向的目标进行特征点匹配，和/或通过轨迹一致性对不同视角方向的目标进行特征点匹配”包括：分别于目标在顶视方向的图像和第v侧视方向的图像中相同位置选择八个匹配点，基于八点法计算基础矩阵；根据所述基础矩阵获取顶视方向的目标的中心特征点在第v侧视方向对应的极线，并利用该极线对顶视方向的目标和第v侧视方向的目标进行中心特征点匹配；当第v侧视方向的目标的中心特征点到所述极线的距离低于设定的立体匹配阈值时，极线约束条件下的立体匹配成功，反之，极线约束条件下的立体匹配失败；当极线约束条件下的立体匹配失败时，利用轨迹一致性对顶视方向的目标和第v侧视方向的目标进行立体匹配。5.根据权利要求1所述的鱼群三维跟踪方法，其特征在于，所述“根据所述主骨架的长度或端点数量区分匹配后的目标为遮挡目标和非遮挡目标，对所述非遮挡目标进行运动关联，并对所述遮挡目标进行匹配关联”包括：判断一目标的骨架点数量是否大于存储的主骨架中骨架点数量最大值，并判断该目标的主骨架端点数量是否大于2；当任一判定结果为是时，标定该目标为遮挡目标，反之，标定该目标为非遮挡目标；当一目标为非遮挡目标时，根据当前帧的目标it相对前一帧的目标it-1发生的位置变化pc(it-1,it)与方向变化dc(it-1,it)，构建目标it的关联代价函数：其中，dcmax和pcmax分别为相邻帧间的最大方向变化和最大位置变化，w和1-w分别为方向变化和位置变化在所述关联代价函数中所占权重，并根据所述关联代价函数，基于贪心算法对所述非遮挡目标进行局部最优化关联；当一目标为遮挡目标时，给在顶视方向的每个目标it建立状态标志：当当前帧的目标it的状态标识为+1时，根据第v侧视方向离当前帧最近的n帧图像对遮挡前后所有状态标识为-1的目标it进行匹配关联，以保证顶视方向的目标在遮...

【专利技术属性】
技术研发人员：钱志明，寸天睿，秦海菲，刘晓青，王春林，
申请(专利权)人：楚雄师范学院，
类型：发明
国别省市：云南,53