一种自适应融合特征提取的全景视觉跟踪方法技术

本发明专利技术公开了一种自适应融合特征提取的全景视觉跟踪方法，具体按照，读取第一帧全景图象，找出全景图像的中心粒子；以中心粒子为中心，采用自适应目标框提取该全景图象的目标区域；提取目标区域中每个粒子的颜色特征和形状特征；计算每个粒子的的融合特征粒子权值；将所有粒子的权值进行比较，将权值最大的粒子作为下一帧全景图像的中心粒子，取下一帧全景图像，重复步骤2‑步骤5，至最后一帧全景图像。本发明专利技术在全景视觉下，利用球面映射粒子滤波方法将目标颜色特征和形状特征融合并推导融合公式，相对于只利用一个特征去跟踪目标而言，充分的利用目标的可用信息，提高了跟踪效果的鲁棒性。

【技术实现步骤摘要】
一种自适应融合特征提取的全景视觉跟踪方法
本专利技术属于机器视觉处理
，涉及一种自适应融合特征提取的全景视觉跟踪方法。
技术介绍
目标跟踪是机器视觉领域的基本核心问题之一。新的视觉传感以图像扭曲为特点，如全景、鱼眼等，新型视觉传感具有视野宽、对空间结构适应等特点，无疑面对结构空间存在明显优势，但这些优点也使得原有场景中的目标产生形变，不利于鲁棒性的跟踪，研究适合于该成像技术的跟踪方法将极大推动全境视觉技术的进一步应用。基于序贯蒙特卡罗的粒子滤波(ParticleFilter，PF)方法在处理非线性、非高斯、多模态方面更具优势，是当前单视觉传感的主流跟踪方法，所谓粒子滤波是指通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数，用样本均值代替积分运算，进而获得系统状态的最小方差估计的过程。为在粒子滤波框架下进一步克服噪声、遮挡及光线变化问题，国内外学者提出了多种改进方法，如引入目标动态模板、引入主成分分析(PCA)、最优稀疏求解、引入噪声模板等。近些年，出现了以“图像扭曲变形”为特征的新型视觉传感，典型代表有0-360全景、鱼眼等视觉系统。全景成像(PanoramicImaging，PI)是采用折射或反射曲面获得水平方向360°的视场，成像画面周边的直线都会被弯曲，镜头中心部分的信息被压缩至零。新型传感非常适合结构空间的跟踪问题，但由于图像的扭曲失真会引起目标形状轮廓在移动过程中存在较大变化，容易造成目标丢失。这种变形与成像原理有关，Jean-CharlesBazin提出将全景图像坐标系映射到一个单位球面坐标系中，在球面坐标系中进行重要性采样和权值计算，在此基础上Rameau引入测地距离的概念来计算球面上两点之间的距离代替了在球面上并不适用的欧式距离，虽然这些工作有利于保持跟踪的稳定性，但面对角度、光照和遮挡的目标跟踪鲁棒性仍然较差。
技术实现思路
本专利技术的目的是提供一种自适应融合特征提取的全景视觉跟踪方法，能够有效提升跟踪的鲁棒性。本专利技术所采用的技术方案是，一种自适应融合特征提取的全景视觉跟踪方法，具体按照下述步骤进行：步骤1，读取第一帧全景图象，找出全景图像的中心粒子；步骤2，以中心粒子为中心，采用自适应目标框提取该全景图象的目标区域；步骤3，提取目标区域中每个粒子的颜色特征和形状特征；步骤4，计算每个粒子的的融合特征粒子权值；步骤5，将所有粒子的权值进行比较，将权值最大的粒子作为下一帧全景图像的中心粒子，取下一帧全景图像，重复步骤2-步骤5，至最后一帧全景图像。本专利技术的特点还在于：步骤2具体按照下述步骤提取全景图像的目标区域步骤1.1，根据全景图象单位映射模型，将目标区域的轮廓由传统的矩形框近似映射为M个由近到远的梯形轮廓片段，将每个梯形轮廓片段均对应到图像平面；步骤1.2，计算每个梯形轮廓片段的上底、下底和高：L1i＝a·Xi+bi(1)L2i＝c·Xi+d(2)Hi＝e·Xi+f(3)式中，L1i为第i个梯形轮廓片段的上底，X为第i个目标区域距离全景图像中心点的距离，L2i为第i个梯形轮廓片段的下底，Hi为第i梯形轮廓片段的高，a,b,c,d,e,f为参数，由最小二乘拟合方法得到；步骤1.3，将每个梯形轮廓片段用仿射变换的方法换转换为矩形框，得到目标区域。步骤3中目标区域中每个粒子的颜色特征具体按照下述方法提取：步骤3.1，计算目标区域中每个粒子的颜色分量：式中，pj(x)为第j个粒子的颜色分量，k为归一化系数，l为目标区域的粒子数目，N为目标区域的粒子尺度，δ为狄拉克函数，m为每个粒子灰度值与量化特征子空间灰度值的差，xj为第j个粒子的X坐标，uj为每个特征子空间；步骤3.2，建立每个粒子所在区域的候选模型q＝{qj}，采用Bhattacharyya系数分别每个粒子区域与目标区域的相似度：其中，为表示第j个粒子区域与目标区域的相似度，ρ(pj(x),q)为第j个粒子区域与目标区域的Bhattacharyya系数；步骤3.3，计算每个粒子的的颜色特征：式中，σc为为特征分布方差。步骤3.2中第j个粒子区域与目标区域的Bhattacharyya系数为：式中，qu为模板目标直方图分布。步骤3中目标区域中每个粒子的形状特征具体按照下述方法提取：步骤a，建立每个粒子所在区域的候选模型q＝{qj}，对目标区域进行距离变换：式中，T＝{tm}为粒子区域边缘点的集合，E＝{en}表示目标区域边缘点的集合，tn表示T中的第n份点，em表示E中的第m个点，xt表示粒子的横坐标，x表示表示目标边缘粒子坐标；步骤b，计算每个粒子的的形状特征：式中，σs为特征分布方差。步骤4中根据每个粒子的颜色特征和形状特征计算每个粒子的的融合特征粒子权值：pt(Zt|Xt)＝pc(Zt|Xt)·ps(Zt|Xt))(10)。本专利技术的有益效果是本专利技术一种自适应融合特征提取的全景视觉跟踪方法，在全景视觉下，利用球面映射粒子滤波方法将目标颜色特征和形状特征融合并推导融合公式，相对于只利用一个特征去跟踪目标而言，充分的利用目标的可用信息，提高了跟踪效果的鲁棒性；本专利技术一种自适应融合特征提取的全景视觉跟踪方法，通过本文自适应方法，计算该场景下目标大小变化特点，从而能够实时改变特征提取框大小，并且准确表示目标大小。附图说明图1是不同帧数下梯形的目标区域的上底、下底和高的分布图；图2是梯形的目标区域的上底、下底和高的大小随目标与全景图象距离变化时的曲线图图3是第一种场景下四种算法的误差曲线图；图4是第二种场景下四种算法的误差曲线图；图5是第三种场景下四种算法的误差曲线图；图6是第四种场景下四种算法的误差曲线图；图7a为室外场景下目标被遮挡时MPF算法的跟踪结果图；图7b为室外场景下目标被部分遮挡时MPF算法的跟踪结果图；图7c和图7d为室外场景下目标没有被遮挡时MPF算法的跟踪结果图；图8a为室外场景下目标没有被遮挡时AFPF算法的跟踪结果图；图8b为室外场景下目标被部分遮挡时AFPF算法的跟踪结果图；图8c为室外场景下目标被部遮挡时AFPF算法的跟踪结果图图8d为室外场景下目标没有被遮挡时AFPF算法的跟踪结果图；图9a为目标与背景颜色不同时MPF算法的跟踪结果图；图9b为目标与背景颜色部分相同时MPF算法的跟踪结果图；图9c为目标与背景颜色部分相同时MPF算法的跟踪结果图；图9d为目标与背景颜色部分相同时MPF算法的跟踪结果图；图10a为目标与背景颜色部分相同时MPF算法的跟踪结果图；图10b为目标与背景颜色不同时MPF算法的跟踪结果图；图10c为目标与背景颜色不同时MPF算法的跟踪结果图；图10d为目标与背景颜色部分相同时MPF算法的跟踪结果图。具体实施方式下面结合附图和具体实施方式对本专利技术进行详细说明。一种自适应融合特征提取的全景视觉跟踪方法，具体按照下述步骤进行：步骤1，读取第一帧全景图象，找出全景图像的中心粒子；步骤2，以所中心粒子为中心，采用自适应目标框提取该全景图象的目标区域，具体按照下述步骤进行：步骤1.1，根据全景图象单位映射模型，将目标区域的轮廓由传统的矩形框近似映射为M个由近到远的梯形轮廓片段，将每个梯形轮廓片段均对应到图像平面；步骤1.2，计算每个所述梯形轮廓片段的上底、下底和高：L1i＝a·Xi本文档来自技高网...

【技术保护点】
1.一种自适应融合特征提取的全景视觉跟踪方法，其特征在于，具体按照下述步骤进行：步骤1，读取第一帧全景图象，找出全景图像的中心粒子；步骤2，以所述中心粒子为中心，采用自适应目标框提取该全景图象的目标区域；步骤3，提取所述目标区域中每个粒子的颜色特征和形状特征；步骤4，计算每个粒子的的融合特征粒子权值；步骤5，将所有粒子的权值进行比较，将权值最大的粒子作为下一帧全景图像的中心粒子，取下一帧全景图像，重复步骤2‑步骤5，至最后一帧全景图像。

【技术特征摘要】
1.一种自适应融合特征提取的全景视觉跟踪方法，其特征在于，具体按照下述步骤进行：步骤1，读取第一帧全景图象，找出全景图像的中心粒子；步骤2，以所述中心粒子为中心，采用自适应目标框提取该全景图象的目标区域；步骤3，提取所述目标区域中每个粒子的颜色特征和形状特征；步骤4，计算每个粒子的的融合特征粒子权值；步骤5，将所有粒子的权值进行比较，将权值最大的粒子作为下一帧全景图像的中心粒子，取下一帧全景图像，重复步骤2-步骤5，至最后一帧全景图像。2.根据权利要求1所述的一种自适应融合特征提取的全景视觉跟踪方法，其特征在于，所述步骤2具体按照下述步骤提取全景图像的目标区域步骤1.1，根据全景图象单位映射模型，将目标区域的轮廓由传统的矩形框近似映射为M个由近到远的梯形轮廓片段，将每个梯形轮廓片段均对应到图像平面；步骤1.2，计算每个所述梯形轮廓片段的上底、下底和高：L1i＝a·Xi+bi(1)L2i＝c·Xi+d(2)Hi＝e·Xi+f(3)式中，L1i为第i个梯形轮廓片段的上底，X为第i个目标区域距离全景图像中心点的距离，L2i为第i个梯形轮廓片段的下底，Hi为第i梯形轮廓片段的高，a,b,c,d,e,f为参数，由最小二乘拟合方法得到；步骤1.3，将每个所述梯形轮廓片段用仿射变换的方法换转换为矩形框，得到目标区域。3.根据权利要求1所述的一种自适应融合特征提取的全景视觉跟踪方法，其特征在于，步骤3中目标区域中每个粒子的颜色特征具体按照下述方法提取：步骤3.1，计算目标区域中每个粒子的颜色分量：式中，pj(x)为第j个粒子的颜色分量，k...

【专利技术属性】
技术研发人员：刘龙，严子靖，冯宇辰，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61