一种基于泊松多伯努利滤波的三维多目标追踪算法制造技术

本发明专利技术中提出的一种基于泊松多伯努利滤波的三维多目标追踪算法，其主要内容包括目标公式化、目标检测和目标追踪，其过程为，首先将目标图像用参数特征向量表示出来；然后，运用深度学习网络处理目标图像以输出检测结果(深度学习网络由特征提取器和三个平行的输出头信息组成)；最后，在追踪模块通过泊松多伯努利滤波器(包括两个随机有限集合)来处理检测集合序列，处理完成后提取并输出一个真实目标组的预估序列。本发明专利技术相比已有的目标追踪算法的优势在于能够同时对多个目标进行追踪，并且追踪结果更为精确；在数据处理方面，本发明专利技术处理效率更高，并且能够处理关联数据甚至是重叠数据。

A three-dimensional and multi-dimensional target tracking algorithm based on Poisson Dobernoulli filter

A three-dimensional and multi-dimensional target tracking algorithm based on Poisson Dobernoulli filter is proposed in the present invention. Its main contents include target formulation, target detection and target tracking. The process is that the target image is first represented by parameter eigenvectors, and then the target image is processed by depth learning network to output detection. Results (The deep learning network consists of feature extractor and three parallel output headers); Finally, in the tracking module, the detection set sequence is processed by Poisson Dobernoulli filter (including two random finite sets), and after processing, the prediction sequence of a real target group is extracted and output. Compared with the existing target tracking algorithm, the invention has the advantages of being able to track multiple targets at the same time, and the tracking result is more accurate; in data processing, the invention has higher processing efficiency, and can process associated data or even overlapping data.

【技术实现步骤摘要】
一种基于泊松多伯努利滤波的三维多目标追踪算法
本专利技术涉及图像处理领域，尤其是涉及了一种基于泊松多伯努利滤波的三维多目标追踪算法。
技术介绍
随着计算机技术和视觉图像处理技术的发展，目标追踪技术日渐成为国内外学者热衷研究的一门课题。目标追踪技术主要研究视频图像序列中运动目标的检测、提取、识别和追踪，涉及到机器视觉，图像处理和模式识别等专业领域，有着广阔的应用前景。在人机交互中，目标追踪技术可用于追踪人的姿态、动作、手势等以理解人的意图；在虚拟现实技术中，通过目标追踪技术可对人体动作进行追踪分析以实现在虚拟环境中的3D交互和虚拟角色动作模拟；在医学诊断中，目标追踪技术可用于超声波和核磁序列图像变化的追踪，从而进行内部器官的病情分析；另外，目标追踪技术还广泛应用于无人飞行器、精确制导、空中预警、战场监视、移动机器人和智能视频监控等方面。然而，现有的目标追踪算法存在对数据的处理效率不高，追踪结果不精确等问题。本专利技术中提出的一种基于泊松多伯努利滤波的三维多目标追踪算法，先将目标图像用参数特征向量表示出来；然后，运用深度学习网络处理目标图像以输出检测结果(深度学习网络由特征提取器和三个平行的输出头信息组成)；最后，在追踪模块通过泊松多伯努利滤波器(包括两个随机有限集合)来处理检测集合序列，处理完成后提取并输出一个真实目标组的预估序列。本专利技术相比已有的目标追踪算法的优势在于能够同时对多个目标进行追踪，并且追踪结果更为精确；在数据处理方面，本专利技术处理效率更高，并且能够处理关联数据甚至是重叠数据。
技术实现思路
针对现有的目标追踪算法存在对数据的处理效率不高，追踪结果不精确等问题，本专利技术的目的在于提供一种基于泊松多伯努利滤波的三维多目标追踪算法，先将目标图像用参数特征向量表示出来；然后，运用深度学习网络处理目标图像以输出检测结果(深度学习网络由特征提取器和三个平行的输出头信息组成)；最后，在追踪模块通过泊松多伯努利滤波器(包括两个随机有限集合)来处理检测集合序列，处理完成后提取并输出一个真实目标组的预估序列。为解决上述问题，本专利技术提供一种基于泊松多伯努利滤波的三维多目标追踪算法，其主要内容包括：(一)目标公式化；(二)目标检测；(三)目标追踪。其中，所述的目标公式化，每一个目标都用一个特征向量x来表示，x中包含了目标的相关信息；对于三维的目标，采用以下特征向量来表示：x＝[xyzvxvyvzwh]T(1)其中，(x，y，z)表示目标在完全坐标系的三维坐标；(vx，vy，vz)表示x，y，z三个方向的速度；(w，h)表示表示目标在相机图像中边界框的宽度和高度。其中，所述的目标检测，运用深度学习网络处理目标图像以输出检测结果每一个检测结果z∈Zt由一个2维边界框和一个相机中心与检测目标中心的距离组成：z＝[xminyminxmaxymaxd]T(2)其中，(xmin，ymin)与(xmax，ymax)分别表示边界框左上角和右下角的像素位置；d表示相机中心与检测目标中心的距离。进一步地，所述的深度学习网络，可被分为两个部分：第一部分被视为特征提取器，第二部由三个平行的输出头信息组成；特征提取器与扩张残差网络相似，区别在于特征提取器去除了最后两个分类层。进一步地，所述的三个平行的输出头信息，分别是分类评分、边界框和距离；网络中的每一个头信息都有两个1×1卷积层和一个子像素卷积层；分类评分头信息有一个额外的Softmax函数，表示用独热编码为每一个级别评分；边界框头信息有4个输出通道，代表边界框的左上角和右下角；距离头信息有一个输出通道，代表相机中心与检测目标中心的距离。其中，所述的目标追踪，追踪模块的目的是处理检测集合序列，提取并输出一个真实目标组的预估序列通常使用泊松多伯努利(PMBM)滤波器来达成；在使用PMBM之前，用随机有限集合(RFS)背景和标准点目标模型来对运动的目标以及检测过程建模。进一步地，所述的RFS背景，主要有两种RFS：泊松点过程和伯努利过程；泊松点过程(PPP)是一种基数为泊松分布，并且所有元素为独立恒等分布的RFS，可用公式D(x)＝μf(x)表示，可用于对目标产生的模拟以及对杂乱目标的测量；伯努利过程是一个与概率r和概率密度函数f(x)有关的RFS，这个过程可以模拟目标的存在概率和状态不确定性。进一步地，所述的标准点目标模型，主要包括测量模型和标准动态模型；对于测量模型，令为第i个目标在第k个时间步骤时的状态；在时间步骤k，对于给定一个目标集合测量集合为其中表示目标集合从第i个目标中生成测量，是一个指数集合，Kk表示杂乱测量集合；对于标准动态模型，表示检测到的与未检测到的目标在时间步骤从k到k+1存在的概率；目标可根据马可夫过程和高斯过度密度独立发展，其中b(·)为匀速运动模型。进一步地，所述的PMBM滤波器，PMBM滤波器是两个RFSs的集合体，用一个PPP来模拟在当前时间步骤现存的目标；目标集合可以被分为两个不相交的子集，其中Xd是检测目标集合，Xu是未检测目标集合；PMBM密度可表达为：其中，fu(·)为对于未检测目标集合Xu的PPP密度，Du(·)为fu(·)的强度；为多伯努利混合元素的指数；fj，i(·)表示伯努利集合密度。进一步地，所述的PMBM密度，这是一个多目标追踪共轭先验，其表达式(3)、(4)和(5)可以被相关参数定义：其中，Du是一个非标准化高斯混合；ωj为在多伯努利混合中每个元素的概率；因此，PMBM滤波器可以通过传播参数集合来传播多目标密度。附图说明图1是本专利技术一种基于泊松多伯努利滤波的三维多目标追踪算法的系统流程图。图2是本专利技术一种基于泊松多伯努利滤波的三维多目标追踪算法的检测和追踪过程图。图3是本专利技术一种基于泊松多伯努利滤波的三维多目标追踪算法的目标追踪效果图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本专利技术作进一步详细说明。图1是本专利技术一种基于泊松多伯努利滤波的三维多目标追踪算法的系统流程图。主要包括目标公式化、目标检测和目标追踪。目标公式化，每一个目标都用一个特征向量x来表示，x中包含了目标的相关信息；对于三维的目标，采用以下特征向量来表示：x＝[xyzvxvyvzwh]T(1)其中，(x，y，z)表示目标在完全坐标系的三维坐标；(vx，vy，vz)表示x，y，z三个方向的速度；(w，h)表示表示目标在相机图像中边界框的宽度和高度。目标检测，运用深度学习网络处理目标图像以输出检测结果每一个检测结果z∈Zt由一个2维边界框和一个相机中心与检测目标中心的距离组成：z＝[xminyminxmaxymaxd]T(2)其中，(xmin，ymin)与(xmax，ymax)分别表示边界框左上角和右下角的像素位置；d表示相机中心与检测目标中心的距离。其中，深度学习网络，可被分为两个部分：第一部分被视为特征提取器，第二部由三个平行的输出头信息组成；特征提取器与扩张残差网络相似，区别在于特征提取器去除了最后两个分类层。其中，三个平行的输出头信息，分别是分类评分、边界框和距离；网络中的每一个头信息都有两个1×1卷积层和一个子像素卷积层；分类评分头信息有一个额外的Softmax函数，表示用独热编码为每一个级本文档来自技高网...

【技术保护点】
1.一种基于泊松多伯努利滤波的三维多目标追踪算法，其特征在于，主要包括目标公式化(一)；目标检测(二)；目标追踪(三)。

【技术特征摘要】
1.一种基于泊松多伯努利滤波的三维多目标追踪算法，其特征在于，主要包括目标公式化(一)；目标检测(二)；目标追踪(三)。2.基于权利要求书1所述的目标公式化(一)，其特征在于，每一个目标都用一个特征向量x来表示，x中包含了目标的相关信息；对于三维的目标，采用以下特征向量来表示：x＝[xyzvxvyvzwh]T(1)其中，(x，y，z)表示目标在完全坐标系的三维坐标；(vx，vy，vz)表示x，y，z三个方向的速度；(w，h)表示表示目标在相机图像中边界框的宽度和高度。3.基于权利要求书1所述的目标检测(二)，其特征在于，运用深度学习网络处理目标图像以输出检测结果每一个检测结果z∈Zt由一个2维边界框和一个相机中心与检测目标中心的距离组成：z＝[xminyminxmaxymaxd]T(2)其中，(xmin，ymin)与(xmax，ymax)分别表示边界框左上角和右下角的像素位置；d表示相机中心与检测目标中心的距离。4.基于权利要求书3所述的深度学习网络，其特征在于，可被分为两个部分：第一部分被视为特征提取器，第二部由三个平行的输出头信息组成；特征提取器与扩张残差网络相似，区别在于特征提取器去除了最后两个分类层。5.基于权利要求书4所述的三个平行的输出头信息，其特征在于，分别是分类评分、边界框和距离；网络中的每一个头信息都有两个1×1卷积层和一个子像素卷积层；分类评分头信息有一个额外的Softmax函数，表示用独热编码为每一个级别评分；边界框头信息有4个输出通道，代表边界框的左上角和右下角；距离头信息有一个输出通道，代表相机中心与检测目标中心的距离。6.基于权利要求书5所述的目标追踪(三)，其特征在于，追踪模块的目的是处理检测集合序列，提取并输出一个真实目标组的预估序列通常使用泊松多伯努利(PMBM)...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44