一种基于机器视觉的海面船只智能跟踪系统及其方法技术方案

本发明专利技术提供了一种基于机器视觉的海面船只智能跟踪系统及其方法。系统包括：图像采集模块、Mean‑shift跟踪模块、Kalman滤波器模块、多级并联检测模块和在线学习模块。本发明专利技术以Haar+AdaBoost组合算法检测海面船只，检测结果作为跟踪器的起始帧，从而初始化跟踪器与检测器，来取代人工圈定目标区域。将Kalman滤波器用于船只检测与跟踪中，缩小了检测范围，减少了计算量，提高了实时性；基于Mean‑shift的跟踪模块有效地发挥了特征稳定、抗遮挡、计算简便以及对目标形变、旋转和背景运动不敏感的特性；采用多级并联检测模块，将基于随机森林的集合分类器、Haar分类器、最近邻分类器集合起来，解决了因遮挡、变形等因素而导致船只跟踪失败的难题，提高了跟踪的实时性、准确性和鲁棒性。

【技术实现步骤摘要】

本专利技术属于计算机视觉和人工智能
，涉及海面船只智能跟踪技术，具体为一种基于机器视觉的海面船只智能跟踪系统及其方法。
技术介绍
海洋对一个国家的经济社会发展具有重大战略意义，尤其是对海域广阔、海岸线漫长的国家更为重要。相比于陆地或天空领域，海面无人航行器在海上执行任务面临着某些独特的挑战。由于海面环境比较复杂，在完成环境探测、目标识别、自主避障的使命中。海上无人航行器不仅必须与陆地保持一定的安全距离，而且必须与航线上的漂浮物和固定物保持安全的距离，这对环境的监测和障碍物的识别提出了较高的要求。在长时间跟踪过程中，被跟踪目标将不可避免地会发生形状、光照条件、尺度等方面的变化，也会产生遮挡等情况。传统的跟踪系统，其前端需要与检测模块相互配合，当检测到被跟踪目标之后，就开始进入跟踪模块，而此后，检测模块就不会介入到跟踪过程中。但这种系统有一个致命缺陷：当被跟踪目标存在形状变化或遮挡时，跟踪就很容易失败；因此，对于长时间跟踪、或者被跟踪目标存在形状变化情况下的跟踪，现有技术采用检测的方法来代替跟踪。该方法虽然在某些情况下可以改进跟踪效果，但它需要一个离线的学习过程。即在检测之前，需要挑选大量的被跟踪目标的样本来进行学习和训练。这也就意味着，训练样本要涵盖被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化的情况。换言之，利用检测的方法虽能达到长时间跟踪的目的，但对其训练样本的选择有很高的要求，否则，难以保证跟踪的鲁棒性。
技术实现思路
本专利技术的目的在于克服现有技术的缺陷，提供一种基于机器视觉的海面船只智能跟踪系统及其方法，结合机器视觉技术和现代计算机技术，可以实现对船只目标长期并且稳定的跟踪，具备较强的适应能力，能解决目标的形变缩放、消失和再现的技术问题，其系统的训练样本能充分保证跟踪的鲁棒性。为解决现有技术的上述技术问题，本专利技术的一种基于机器视觉的海面船只智能跟踪系统，其特征在于，包括：一个图像采集模块，采集所述的海面船只航行图像，通过1394数据线路，将所述的图像信息传递给一个Kalman滤波器模块；所述的Kalman滤波器模块，首先对所述的船只目标的检测进行初始化，然后进行船只航行图像的滤波与船只位置的预估，并将所述的滤波与预估后的信息分别传递给一个Mean-shift跟踪模块和一个多级并联检测模块；所述的Mean-shift跟踪模块，寻找所述的目标船只位置，并将船只位置相关信息传递给在线学习模块；所述的船只位置相关信息包括：船只目标所在每一帧图像中的位置，以及船只目标的特征值。所述的多级并联检测模块，进行船只目标的检测，并传递给一个在线学习模块；所述的在线学习模块，通过对所述图像信息的融合，获得船只准确的位置信息，并将所述船只位置信息分别传递给所述的Mean-shift跟踪模块、Kalman滤波器模块和多级并联检测模块进行跟踪信息的更新。其中，所述的图像采集模块，包括CCD摄像机，图像采集卡。所述的Kalman滤波器模块包括Haar分类器与Kalman滤波器。所述的Mean-shift跟踪模块包括：目标模型计算子模块、候选位置确定子模块、候选模型计算子模块、Mean-shift迭代子模块和目标位置收敛子模块。所述的多级并联检测模块包括：基于随机森林的集合分类器、Haar分类器和最近邻分类器。所述的在线学习模块包括：图像融合子模块和P-N学习子模块。本专利技术的一种基于机器视觉的海面船只智能跟踪方法，其特征在于，包括以下步骤：(1)打开摄像机，采集视频流，并转化为数字图像，经过1394数据线路进行数据传递；(2)通过Haar分类器检测出第一帧数字图像中的船只目标，作为初始船只目标，传递给在线学习模块；(3)运用步骤(2)检测出的初始船只目标，初始化Kalman滤波器，确定船只目标的中心位置，对每一帧图像进行滤波，并预估下一帧船只的位置信息；(4)运用步骤(2)检测出的初始船只目标，首先初始化Mean-shift跟踪模块和多级并联检测模块，然后分别进行船只的目标跟踪与检测；(5)在线学习：运用步骤(2)检测出的初始船只目标初始化，再通过P-N学习来更新基于Mean-shift跟踪模块和多级并联检测模块；(6)图像融合：用确定跟踪目标的位置信息来更新Kalman滤波器，从而提高船只跟踪的效率。所述的步骤(2)的具体过程为：(21)采用Haar-like特征进行检测；(22)使用积分图对Haar-like特征求值进行加速；(23)利用AdaBoost算法训练区分船只和非船只的强分类器；(24)使用筛选式级联把强分类器级联到一起；(25)通过强分类器将目标船只识别出来，并把船只用矩形目标框框出来。在所述步骤(4)中，基于Mean-shift跟踪模块进行船只目标模型计算，其过程为：所述的船只目标模型计算中的核函数固定带宽改为动态变化的带宽，然后对更新后的目标模型进行跟踪；设目标区域的中心为x0，即窗口中心点向量值，若有n个像素，用表示，目标模型共有m个特征值，即像素灰度值,权重分布取决于核函数的带宽向量h，则目标模型的特征值u＝1…m的概率密度估计为：式中，是标准化常量，h为核函数的带宽，k为在核内的像素个数；当目标被遮挡时，像素点在中心点附近的可靠性要远远高于远离中心点的可靠性；δ[b(xi)-u]决定了像素值与第u个特征值的归属关系，b(xi)是灰度值索引函数，若属于该特征值就为1，否则为0；Ch这个常量系数确保了在所述步骤(5)的在线学习中，选取含有船只目标的图片为正样本，不含船只目标的图片为负样本。与现有技术相比,本专利技术包括以下优点和有益效果:1.本专利技术采用haar检测器的方式获取船只目标，无须手动选择跟踪目标，提高了船只跟踪的效率，使得整个跟踪过程更加智能化。2.本专利技术采用Kalman滤波器，以跟踪的船只目标为中心，在图像中选取2倍跟踪目标的面积为滤波空间。一方面，进行图像的滤波，提高图像信息的质量；另一方面，进行图像中的船只目标位置预估，产生相关的跟踪与检测目标图像。3.本专利技术利用Mean-shift具有特征稳定、抗遮挡、计算简便以及对目标形变、旋转和背景运动不敏感的特性，采用Mean-shift跟踪模块，其中船只目标模型计算中的核函数固定带宽改为动态变化的带宽，然后对更新后的目标模型进行跟踪，从而增加了跟踪的可靠性与鲁棒性。4.本专利技术采用Haar+AdaBoost组合算法检测海面船只，检测结果作为跟踪器的起始帧，即初始化跟踪器与检测器，以此来取代人工圈定目标区域。将Kalman滤波器的预测功能用在了船只检测与跟踪中，以此来减小检测范围，大大地较少了计算量，提高了实时性。5.本专利技术采用多级并联检测模块，将基于随机森林的集合分类器，Haar分类器，最近邻分类器集合起来，很大地程度上，解决了因遮挡、变形等因素而导致船只跟踪失败的难题，进一步提高了跟踪的实时性、准确性和鲁棒性。6.本专利技术能够对海上船只长时间实时跟踪，解决了当船只发生变形或者严重遮挡时，跟踪失败的现象，同时，具有很高的跟踪的精度和实时性。附图说明图1是本专利技术基于机器视觉的海面船只智能跟踪系统的一种实施例的结构框图。图2是本专利技术基于机器视觉的海面船只智能跟踪方法的一种实施例的流程图。图3是本专利技术的一种实施例的多级并联检测模块的本文档来自技高网...

【技术保护点】
一种基于机器视觉的海面船只智能跟踪系统，其特征在于，包括：一个图像采集模块，采集所述的海面船只航行图像，通过1394数据线路，将所述的图像信息传递给一个Kalman滤波模块；所述的Kalman滤波器模块，首先对所述的船只目标的检测进行初始化，然后进行船只航行图像的滤波与船只位置的预估，并将所述的滤波与预估后的信息分别传递给一个Mean‑shift跟踪模块和一个多级并联检测模块；所述的Mean‑shift跟踪模块，寻找所述的目标船只位置，并将船只位置相关信息传递给在线学习模块；所述的船只位置相关信息包括：船只目标所在每一帧图像中的位置，以及船只目标的特征值；所述的多级并联检测模块，进行船只目标的检测，并传递给一个在线学习模块；所述的在线学习模块，通过对所述图像信息的融合，获得船只准确的位置信息，并将所述船只位置信息分别传递给所述的Mean‑shift跟踪模块、Kalman滤波器模块和多级并联检测模块进行跟踪信息的更新。

【技术特征摘要】
1.一种基于机器视觉的海面船只智能跟踪系统，其特征在于，包括：一个图像采集模块，采集所述的海面船只航行图像，通过1394数据线路，将所述的图像信息传递给一个Kalman滤波模块；所述的Kalman滤波器模块，首先对所述的船只目标的检测进行初始化，然后进行船只航行图像的滤波与船只位置的预估，并将所述的滤波与预估后的信息分别传递给一个Mean-shift跟踪模块和一个多级并联检测模块；所述的Mean-shift跟踪模块，寻找所述的目标船只位置，并将船只位置相关信息传递给在线学习模块；所述的船只位置相关信息包括：船只目标所在每一帧图像中的位置，以及船只目标的特征值；所述的多级并联检测模块，进行船只目标的检测，并传递给一个在线学习模块；所述的在线学习模块，通过对所述图像信息的融合，获得船只准确的位置信息，并将所述船只位置信息分别传递给所述的Mean-shift跟踪模块、Kalman滤波器模块和多级并联检测模块进行跟踪信息的更新。2.根据权利要求1所述的一种基于机器视觉的海面船只智能跟踪系统，其特征在于：所述的图像采集模块，包括CCD摄像机，图像采集卡。3.根据权利要求1所述的一种基于机器视觉的海面船只智能跟踪系统，其特征在于：所述的Kalman滤波器模块包括Haar分类器与Kalman滤波器。4.根据权利要求1所述的一种基于机器视觉的海面船只智能跟踪系统，其特征在于：所述的Mean-shift跟踪模块包括：目标模型计算子模块、候选位置确定子模块、候选模型计算子模块、Mean-shift迭代子模块和目标位置收敛子模块。5.根据权利要求1所述的一种基于机器视觉的海面船只智能跟踪系统，其特征在于：所述的多级并联检测模块包括：基于随机森林的集合分类器、Haar分类器和最近邻分类器。6.根据权利要求1所述的一种基于机器视觉的海面船只智能跟踪系统，...

【专利技术属性】
技术研发人员：卢道华，吴兵，孙茂芬，王佳，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：江苏;32