多视点动物群体跟踪方法及装置制造方法及图纸

本发明专利技术公开了一种多视点动物群体跟踪方法及装置，其中，方法包括：获取相机内部参数和外部参数；根据内部参数和外部参数求解基础矩阵并计算不同视点对极约束；根据不同视点对极约束去除单视点检测错误区域，并且检测动物骨架特征，以估计动物运动方向；根据动物姿态特征区分不同的运动动物身份ID，得到跟踪结果。根据本申请的跟踪方法，可以有效提高跟踪的准确性和可靠性，具有较强的鲁棒性，简单易实现。

【技术实现步骤摘要】
多视点动物群体跟踪方法及装置
本专利技术涉及视觉目标跟踪
，特别涉及一种多视点动物群体跟踪方法及装置。
技术介绍
动物群体在运动交互过程中，存在严重的、频繁的相互遮挡情况，因为观测视角局限，单视点跟踪方法会丢失动物区域，无法保持动物连续运动轨迹。相关技术，基于检测框跟踪方法没有考虑跟踪目标的姿态信息，导致预测运动信息不够精确，只是通过扩大检索区域进行搜索，一旦当表观相似的动物相邻较近运动过程中，在区分动物身份ID(Identitydocument，身份证标识号)时，仅根据动物表观特征无法进行区分，无法保证跟踪的准确性和可靠性，亟待解决。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种多视点动物群体跟踪方法，该方法可以有效提高跟踪的准确性和可靠性。本专利技术的另一个目的在于提出一种多视点动物群体跟踪装置。为达到上述目的，本专利技术一方面实施例提出了一种多视点动物群体跟踪方法，包括以下步骤：获取相机内部参数和外部参数；根据所述内部参数和外部参数求解基础矩阵并计算不同视点对极约束；根据所述不同视点对极约束去除单视点检测错误区域，并且检测动物骨架特征，以估计动物运动方向；根据动物姿态特征区分不同的运动动物身份ID，得到跟踪结果。本专利技术实施例的多视点动物群体跟踪方法，基于多视点对极约束去除单视点检测错误区域，基于动物骨架特征估计动物运动方向，基于动物姿态特征用于区分不同运动动物身份ID，从而有效提高跟踪的准确性和可靠性，简单易实现。另外，根据本专利技术上述实施例的多视点动物群体跟踪方法还可以具有以下附加的技术特征：可选地，在本专利技术的一个实施例中，所述基础矩阵的计算公式为：E～[T]×R，其中，所述外部参数表示[RT]；所述不同视点对极约束的计算公式为：F～K-1TEK′-1，其中，E表示所述基本矩阵，K表示所述内部参数。进一步地，在本专利技术的一个实施例中，所述根据所述不同视点对极约束去除单视点检测错误区域，包括：通过FasterRCNN网络进行单视点动物区域检测，得到对应视点下的动物矩形框候选区域；根据所述不同视点对极约束将其他视点检测的矩形框候选区域中心点投影到所述对应视点下，并通过最小欧式距离匹配；去除距离超过预设阈值的矩形框区域。进一步地，在本专利技术的一个实施例中，所述检测动物骨架特征，以估计动物运动方向，包括：通过HRNet网路在当前矩形框候选区域进行对应视点下关键点检测，得到动物2D关键点；根据所述2D关键点进行连接，得到所述骨架特征，并根据所述骨架特征的头部和尾部的相对角度确定动物运动方向。进一步地，在本专利技术的一个实施例中，所述根据动物姿态特征区分不同的运动动物身份ID，包括：通过ST-GCN网络提取对应视点下姿态特征；根据所述姿态特征与当前矩形框区域的FasterRCNN网络输出的表观特征级联组合成多维特征进行动物身份ID区分；根据视频序列时间连续特性，基于马氏距离采用卡尔曼滤波器进行预测动物状态，并保持跟踪身份ID一致性。为达到上述目的，本专利技术另一方面实施例提出了一种多视点动物群体跟踪装置，包括：获取模块，用于获取相机内部参数和外部参数；计算模块，用于根据所述内部参数和外部参数求解基础矩阵并计算不同视点对极约束；处理模块，用于根据所述不同视点对极约束去除单视点检测错误区域，并且检测动物骨架特征，以估计动物运动方向；跟踪模块，用于根据动物姿态特征区分不同的运动动物身份ID，得到跟踪结果。本专利技术实施例的多视点动物群体跟踪装置，基于多视点对极约束去除单视点检测错误区域，基于动物骨架特征估计动物运动方向，基于动物姿态特征用于区分不同运动动物身份ID，从而有效提高跟踪的准确性和可靠性，简单易实现。另外，根据本专利技术上述实施例的多视点动物群体跟踪装置还可以具有以下附加的技术特征：可选地，在本专利技术的一个实施例中，所述基础矩阵的计算公式为：E～[T]×R，其中，所述外部参数表示[RT]；所述不同视点对极约束的计算公式为：F～K-1TEK′-1，其中，E表示所述基本矩阵，K表示所述内部参数。进一步地，在本专利技术的一个实施例中，所述处理模块包括：第一检测单元，用于通过FasterRCNN网络进行单视点动物区域检测，得到对应视点下的动物矩形框候选区域；匹配单元，用于根据所述不同视点对极约束将其他视点检测的矩形框候选区域中心点投影到所述对应视点下，并通过最小欧式距离匹配；去除单元，用于去除距离超过预设阈值的矩形框区域。进一步地，在本专利技术的一个实施例中，所述处理模块还包括：第二检测单元，用于通过HRNet网路在当前矩形框候选区域进行对应视点下关键点检测，得到动物2D关键点；估计单元，用于根据所述2D关键点进行连接，得到所述骨架特征，并根据所述骨架特征的头部和尾部的相对角度确定动物运动方向。进一步地，在本专利技术的一个实施例中，所述跟踪模块包括：提取单元，用于通过ST-GCN网络提取对应视点下姿态特征；组合单元，用于根据所述姿态特征与当前矩形框区域的FasterRCNN网络输出的表观特征级联组合成多维特征进行动物身份ID区分；跟踪单元，用于根据视频序列时间连续特性，基于马氏距离采用卡尔曼滤波器进行预测动物状态，并保持跟踪身份ID一致性。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的多视点动物群体跟踪方法的流程图；图2为根据本专利技术一个实施例的多视点相机系统的部署位置示意图；图3为根据本专利技术一个实施例的多相机标定示意图；图4为根据本专利技术一个实施例的选取视点的对极线示意图；图5为根据本专利技术一个实施例的基于对极约束多视点动物目标检测示意图；图6为根据本专利技术一个实施例的基于对极约束对于多检测的目标矩形区域根据其他视点检测结果进行去除示意图；图7为根据本专利技术一个实施例的动物关键点注解示意图；图8为根据本专利技术一个实施例的基于动物骨架预测运动方向示意图；图9为根据本专利技术一个实施例的多视点动物群体跟踪装置的方框示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的多视点动物群体跟踪方法及装置，首先将参照附图描述根据本专利技术实施例提出的多视点动物群体跟踪方法。图1是本专利技术一个实施例的多视点动物群体跟踪方法的流程图。如图1所示，该多视点动物群体跟踪方法包括以下步骤：...

【技术保护点】
1.一种多视点动物群体跟踪方法，其特征在于，包括以下步骤：/n获取相机内部参数和外部参数；/n根据所述内部参数和外部参数求解基础矩阵并计算不同视点对极约束；/n根据所述不同视点对极约束去除单视点检测错误区域，并且检测动物骨架特征，以估计动物运动方向；以及/n根据动物姿态特征区分不同的运动动物身份ID，得到跟踪结果。/n

【技术特征摘要】
1.一种多视点动物群体跟踪方法，其特征在于，包括以下步骤：
获取相机内部参数和外部参数；
根据所述内部参数和外部参数求解基础矩阵并计算不同视点对极约束；
根据所述不同视点对极约束去除单视点检测错误区域，并且检测动物骨架特征，以估计动物运动方向；以及
根据动物姿态特征区分不同的运动动物身份ID，得到跟踪结果。


2.根据权利要求1所述的方法，其特征在于，所述基础矩阵的计算公式为：
E～[T]×R，
其中，所述外部参数表示[RT]；
所述不同视点对极约束的计算公式为：
F～K-1TEK′-1，
其中，E表示所述基本矩阵，K表示所述内部参数。


3.根据权利要求1所述的方法，其特征在于，所述根据所述不同视点对极约束去除单视点检测错误区域，包括：
通过FasterRCNN网络进行单视点动物区域检测，得到对应视点下的动物矩形框候选区域；
根据所述不同视点对极约束将其他视点检测的矩形框候选区域中心点投影到所述对应视点下，并通过最小欧式距离匹配；
去除距离超过预设阈值的矩形框区域。


4.根据权利要求1所述的方法，其特征在于，所述检测动物骨架特征，以估计动物运动方向，包括：
通过HRNet网路在当前矩形框候选区域进行对应视点下关键点检测，得到动物2D关键点；
根据所述2D关键点进行连接，得到所述骨架特征，并根据所述骨架特征的头部和尾部的相对角度确定动物运动方向。


5.根据权利要求1所述的方法，其特征在于，所述根据动物姿态特征区分不同的运动动物身份ID，包括：
通过ST-GCN网络提取对应视点下姿态特征；
根据所述姿态特征与当前矩形框区域的FasterRCNN网络输出的表观特征级联组合成多维特征进行动物身份ID区分；
根据视频序列时间连续特性，基于马氏距离采用卡尔曼滤波器进行预测动物状态，并保持跟踪身份ID一致性。


6.一种多视点动物群...

【专利技术属性】
技术研发人员：刘烨斌，王松涛，安亮，张宇翔，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11