一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法技术

本发明专利技术公开了一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法。使用本发明专利技术能够有效提高跟踪算法对光照变化的适应性，提高目标跟踪算法的鲁棒性，且精度高，能应用于水下环境比较复杂的环境。本发明专利技术综合考虑机器鱼的颜色特征和运动情况，将机器鱼的运动信息和边缘信息相结合，通过颜色和运动边缘双特征的融合来构建粒子滤波的观测模型，并通过观测模型来对系统运动模型预测的目标估计结果进行修正，有效降低系统的误差，提高视觉子系统的鲁棒性。

A visual tracking method of biomimetic robotic fish based on feature fusion particle filter

The invention discloses a bionic robot fish visual tracking method based on feature fusion particle filter. The method can effectively improve the adaptability of the tracking algorithm to the illumination change, improve the robustness of the target tracking algorithm, and has high accuracy, and can be applied to the environment with more complicated underwater environment. Color and movement of the invention integrates robotic fish, the robot fish motion information and edge information by combining observation model through the fusion of color and edge features to construct the double movement of particle filter, and through the observation model of the system motion model to predict the target estimation results are revised, to reduce the system error effectively and improve the robustness of the vision subsystem.

【技术实现步骤摘要】
一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
本专利技术涉及视觉跟踪
，具体涉及一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法。
技术介绍
随着对海洋资源开发的不断深入，仿生机器鱼协作控制系统引起关注，而视觉子系统作为仿生机器鱼协作控制系统的重要组成部分，是决策子系统的唯一信息来源，视觉跟踪算法决定了目标跟踪的快速准确性和实时性。机器视觉最早出现于1975年由Winston编辑的论文集中。英国的Marr教授于1973年在麻省理工学院(MIT)，创建了一个新的视觉理论研究小组，在1977年，提出了一种新的计算机视觉理论—Marr视觉理论。该理论在20世纪80年代成为计算机视觉研究领域的一个十分重要的理论框架，陆续用于高级视频安全监控技术，如校园监控、交通监控、道路行人统计系统，另外视觉跟踪技术在导弹成像制导、超声波和核磁序列图像的自动分析、人机交互、虚拟现实、机器人视觉导航等方面有广泛重要应用。每种机器视觉系统集成了很多，比如静止背景和运动背景下的实时目标探测与跟踪、目标的分类识别、目标姿势估计、摄像机的自主控制、视频图像处理系统、人体步法分析等等。国内以中科院自动化所模式识别国家重点实验室为代表的很多高校和研究机构也在机器视觉领域取得了不错的科研成果。但无论是国内还是国外，在机器视觉领域的研究重点都基本在于对所获得图像信息的前期处理(去噪、增强、目标检测等)和在复杂环境中对多个视频运动目标进行稳定、快速和准确地跟踪。其难点在于现在的视觉任务多是由2D图像恢复3D场景，而由于成像过程中存在投影、遮挡、各种场景因素的混合、畸变等，要想通过高度结构化的表示获得3D模型的客观描述是很困难的，这些始终是当前机器视觉研究领域中需要不断提升机器视觉算法改进效果的问题。在机器视觉领域，跟踪算法的主要工作是在连续的视频序列中找到表示目标区域或目标特征的图像结构的连续对应。鲁棒性和实时性是视觉子系统目标跟踪模块的基本要求，也是最大难点。视觉跟踪的目的是要实现目标定位，其实质可归结为目标参数的推导过程。根据推导目标参数的方法，视觉跟踪方法划分为确定性方法和概率估计方法两大类：确定性方法的缺陷在于其鲁棒性不强，不能很好地解决跟踪中常见的光照变化、形变等对目标跟踪的影响；概率估计法中最初发展起来的是卡尔曼滤波(KF)，其改进形式扩展卡尔曼滤波(EKF)和无迹卡尔曼滤波(UKF)，此后出现了更适合非线性非高斯系统的粒子滤波(PF)算法。与确定性方法相比，概率估计方法鲁棒性更好，近年来成为视觉跟踪算法中的研究热点。在硬件设备已定的条件下，影响鲁棒性的因素主要有两点：一个是先验知识的获取，包括目标建模和对环境信息的了解；另一个是跟踪算法，一般地鲁棒性好的算法要更复杂。不同于陆地机器人，机器鱼是在水中运动的，由于机器鱼游动时带来的水面波动和反光，颜色信息容易受到某处光照强度的干扰而发生变化，而基于颜色特征的机器视觉识别技术对光照的要求普遍比较高，不稳定的光照条件会影响目标识别的准确性。因此，需要对现有的视觉跟踪技术进行改进。
技术实现思路
有鉴于此，本专利技术提供了一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法，在粒子滤波算法中融合了目标的颜色特征和运动边缘特征，能够有效提高跟踪算法对光照变化的适应性，提高目标跟踪算法的鲁棒性，且精度高，能应用于水下环境比较复杂的环境。本专利技术的基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法，包括如下步骤：步骤1，初始化：利用矩形框手动选定跟踪目标，提取目标的HSV颜色直方图、运动边缘直方图，组成目标模板；选取目标模板中的粒子数量为N，粒子权重为步骤2，粒子状态估计：k时刻第i个粒子状态估计为：其中，分别表示第i个粒子在k-2、k-1、k时刻的状态，表示k-1时刻所有粒子的状态估计值的均值；wk-1为k-1时刻系统随机过程噪声；A1、A2、B为常量；步骤3，构建以k时刻第i个粒子状态估计的位置为中心的、与目标模板相同大小的候选区域；i＝1,2，…，N；提取当前帧所有N个候选区域的HSV颜色直方图和运动边缘直方图；步骤4，修改粒子权重值：步骤4.1，采用式(1)计算基于颜色直方图的第i个粒子的权值更新值：其中，分别为第k-1、k帧基于颜色直方图的第i个粒子的权值更新值，为颜色信息的观测似然函数；σ为高斯方差；为第i个粒子对应的候选区域与目标模板颜色特征的Bhattacharyya距离，为颜色特征的Bhattacharyya系数，q＝(q(u))u＝1,2,...,NN为目标模板的颜色直方图，为第k帧第i个粒子对应的候选区域的颜色直方图；NN为颜色直方图的颜色子空间数；步骤4.2，采用式(2)计算基于运动边缘直方图的第i个粒子的权值更新值：其中分别为第k-1、k帧基于运动边缘直方图的第i个粒子的权值更新值，为运动边缘信息的观测似然函数；σ1为高斯方差，为第i个粒子对应的候选区域与目标模板运动边缘特征的Bhattacharyya距离，其中为运动边缘特征的Bhattacharyya系数，γ1＝(γ1(u))u＝1,2,...,MM为目标模板的运动边缘直方图，为第k帧第i个粒子对应的候选区域的运动边缘直方图；MM为运动边缘直方图的幅度或方向子空间数；步骤4.3，采用式(3)进行特征融合的粒子权重更新：其中，分别为第k-1、k帧的特征融合的第i个粒子的权重更新值；为联合似然函数：其中，η1,η2为归一化权值，其中d1_min,d2_min分别为颜色特征和运动边缘特征中所有候选区域和目标模板之间的最小Bhattacharyya距离；归一化粒子权重步骤5，利用步骤4获得的粒子权重得到k时刻目标的状态估计为：步骤6，目标模板更新：设定一个Bhattacharyya系数的阈值，若当前帧所有候选区域的颜色特征和运动边缘特征的Bhattacharyya系数中的最大值小于设定的阈值，进行目标模板更新，按照步骤1的方法建立新的目标模板；然后按照下式进行目标模板更新：M_opt＝β×M_old+(1-β)×M_now其中，M_opt为更新后的目标模板，M_old为更新前的目标模板，M_now为新建的目标模板，β表示更新前的目标模板在更新后的目标模板中所占的比例；步骤7，重采样粒子：计算粒子退化程度Neff，并与设定阈值Nth比较，如果Neff＜Nth，则重采样粒子，并令新的粒子具有相等的权重值否则，不重采样粒子；步骤8：读取下一张图像，重复执行步骤2～8。进一步地，所述目标的HSV颜色直方图的提取方法如下：从摄像头采集的视频图像获取矩形框区域RGB颜色模型，接着完成RGB向HSV颜色空间的转换；将HSV颜色空间的每个子空间H、S、V分别分成Nh、Ns、Nv个等级，将整个HSV空间的颜色直方图划分为NN＝Nh×Ns+Nv个颜色子空间；根据目标区域图像像素的(h,s,v)分量所属的等级，得到该像素属于哪个颜色子空间中，从而得到目标的HSV颜色直方图。进一步地，所述运动边缘直方图的提取方法如下：设hk,hk+1为相邻的两帧图像，计算这两帧的绝对差分图像Dk，对差分图像Dk求梯度，得到运动边缘图像Ek，然后利用运动边缘的幅值或方向角获得运动边缘直方图。进一步地，所述运动边缘直方图为运动边缘方向直方图，运动边缘方向直方图求取方法本文档来自技高网...

【技术保护点】
一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法，其特征在于，包括如下步骤：步骤1，初始化：利用矩形框手动选定跟踪目标，提取目标的HSV颜色直方图、运动边缘直方图，组成目标模板；选取目标模板中的粒子数量为N，粒子权重为

【技术特征摘要】
1.一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法，其特征在于，包括如下步骤：步骤1，初始化：利用矩形框手动选定跟踪目标，提取目标的HSV颜色直方图、运动边缘直方图，组成目标模板；选取目标模板中的粒子数量为N，粒子权重为步骤2，粒子状态估计：k时刻第i个粒子状态估计为：其中，分别表示第i个粒子在k-2、k-1、k时刻的状态，表示k-1时刻所有粒子的状态估计值的均值；wk-1为k-1时刻系统随机过程噪声；A1、A2、B为常量；步骤3，构建以k时刻第i个粒子状态估计的位置为中心的、与目标模板相同大小的候选区域；i＝1,2，…，N；提取当前帧所有N个候选区域的HSV颜色直方图和运动边缘直方图；步骤4，修改粒子权重值：步骤4.1，采用式(1)计算基于颜色直方图的第i个粒子的权值更新值：其中，分别为第k-1、k帧基于颜色直方图的第i个粒子的权值更新值，为颜色信息的观测似然函数；σ为高斯方差；为第i个粒子对应的候选区域与目标模板颜色特征的Bhattacharyya距离，为颜色特征的Bhattacharyya系数，q＝(q(u))u＝1,2,...,NN为目标模板的颜色直方图，为第k帧第i个粒子对应的候选区域的颜色直方图；NN为颜色直方图的颜色子空间数；步骤4.2，采用式(2)计算基于运动边缘直方图的第i个粒子的权值更新值：其中分别为第k-1、k帧基于运动边缘直方图的第i个粒子的权值更新值，为运动边缘信息的观测似然函数；σ1为高斯方差，为第i个粒子对应的候选区域与目标模板运动边缘特征的Bhattacharyya距离，其中为运动边缘特征的Bhattacharyya系数，γ1＝(γ1(u))u＝1,2,...,MM为目标模板的运动边缘直方图，为第k帧第i个粒子对应的候选区域的运动边缘直方图；MM为运动边缘直方图的幅度或方向子空间数；步骤4.3，采用式(3)进行特征融合的粒子权重更新：其中，分别为第k-1、k帧的特征融合的第i个粒子的权重更新值；为联合似然函数：其中，η1,η2为归一化权值，其中...

【专利技术属性】
技术研发人员：郭树理，韩丽娜，王稀宾，袁振兵，崔伟群，王春喜，司全金，李铁岭，刘源，黄剑武，郭芙苏，曲大成，
申请(专利权)人：北京理工大学，中国人民解放军总医院，中国计量科学研究院，
类型：发明
国别省市：北京,11