基于孪生网络的特征点跟踪方法技术

本发明专利技术公开了基于孪生网络的特征点跟踪方法，包括：图像获取模块，获取车辆前方道路场景的多帧图像，记第一帧图像为t0，第n+1帧图像为t

【技术实现步骤摘要】
基于孪生网络的特征点跟踪方法


[0001]本专利技术涉及基于孪生网络的特征点跟踪方法，属于车载识别跟踪


技术介绍

[0002]在计算机视觉中，图像的特征点在图像的理解和分析上有很重要的作用，例如目标匹配、目标定位、三维地图重建等等。图像的特征点一般指图像中纹理、色彩等特征显著的像素点，一般包括图像中物体的边缘点、角点以及图像中线条的交错点。图像特征点能够反映图像本质特征，能够标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。特征点在保留图像重要特征的同时，有效的精简图像中的冗余信息，提高了计算的速度，从而达到图像信息的实时处理。
[0003]传统的特征点跟踪算法通过人工设计的特征来进行特征点模板的匹配，只能获取图像中较为浅层的特征信息。浅层特征对光照变化和图像本身的噪声比较敏感，从而导致特征点的跟踪具有较低的鲁棒性，不利于图像的分析。

技术实现思路

[0004]本专利技术所要解决的技术问题是克服现有技术的缺陷，提供种基于孪生网络的特征点检测跟踪方法，通过对视频连续图像之间的特征点进行跟踪，从而有效获取视频场景中目标的运动状态，例如车辆、行人的之间的运动变化等。该系统主要分为三个部分：图像获取、特征点检测、特征点跟踪。
[0005]为达到上述目的，本专利技术提供基于孪生网络的特征点跟踪方法，包括：
[0006]图像获取模块，获取车辆前方道路场景的多帧图像，记第一帧图像为t0，第n+1帧图像为t
n
，n≥1，n为整数；
[0007]特征点检测模块，对第一帧图像t0进行区域划分，对划分的每个区域提取特征点，提取的特征点作为待跟踪的特征点；
[0008]当第n+1帧图像中特征点的置信度低于设定的阈值时，在第n+1帧图像的同一区域内提取新的特征点替代该特征点，保证特征点数量不变。
[0009]优先地，特征点跟踪模块，基于孪生网络的特征点跟踪算法，从第二帧图像t1开始，对每帧图像中的特征点进行跟踪，获得每一个特征点在下一帧图像中的坐标信息；
[0010]将第n+1帧图像中特征点的信度与设定的阈值作比较，当第n帧图像中特征点的置信度低于设定的阈值时，舍弃该特征点。
[0011]优先地，图像获取模块，基于车载Adas专门的图像采集设备录制车辆前方道路场景视频，对车辆前方道路场景视频进行逐帧解压，获得需要进行特征点跟踪的多个帧图像。
[0012]优先地，特征点提取模块，采用FAST特征点检测器。
[0013]优先地，置信度计算过程为：
[0014]设某个特征点坐标为(x
i
,y
j
)，以(x
i
,y
j
)为中心，裁剪出一个固定尺寸的图像块，记为target图像；
[0015]在下一帧图像中，基于相同的坐标(x
i
,y
j
)裁剪出同样尺寸的图像块，作为目标特征点的待搜索区域，记为image图像；
[0016]将target图像和image图像输入到孪生神经网络提取特征，通过卷积神经网络输出目标特征点(x
i
,y
j
)在下一帧图像中的坐标偏移量，以及该目标特征点跟踪的置信度。
[0017]优先地，特征点检测模块，对第一帧图像t0划分m个区域，对每个区域提取一个特征点，选择响应值最大的点作为该区域的特征点。
[0018]本专利技术所达到的有益效果：
[0019]本文提出的基于孪生神经网络的特征点跟踪系统的优势在于可以依据任务的需求，灵活的选择目标跟踪的范围以及特征点跟踪的数量。同时依据深度学习神经网络，提取图像中深层次的特征信息，显著的提高特征点跟踪的鲁棒性。
附图说明
[0020]图1是本专利技术的原理框图；
[0021]图2是本专利技术的采用FAST检测器检测特征点的示意图；
[0022]图3是本专利技术的特征点检测示意图；
[0023]图4是本专利技术的特征点跟踪的结构图；
[0024]图5是本专利技术的特征点跟踪效果示意图；
[0025]图6是本专利技术中图片裁剪的示例图。
具体实施方式
[0026]以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0027]需要说明，若本专利技术实施例中有方向性指示(诸如上、下、左、右、前、后......)，则其仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0028]本专利技术设计了一种基于孪生网络的特征点检测跟踪系统，主要应用于车载ADAS识别场景图像中的特征点跟踪。通过对视频连续图像之间的特征点进行跟踪，从而有效获取视频场景中目标的运动状态，例如车辆、行人的之间的运动变化等。该系统主要分为三个部分：图像获取、特征点检测和特征点跟踪。
[0029]首先，通过车载摄像头对车辆前方道路场景进行图像序列采集，得到当前帧图像和下一帧图像，然后通过对当前帧获取的图像进行特征点提取，提取后的特征点作为当前图像的待跟踪特征点。最后通过孪生神经网络对当前帧图像的特征点进行跟踪，从而获取当前帧图像的特征点在下一帧图像中的位置信息。在获取当前帧特征点在下一帧位置的同时，还给出该特征点的置信度。当该特征点的置信度较低时，舍弃该特征点，并且在图像中提取新的特征点来弥补特征点的不足。上述方法成功实现对视频连续帧图像中特征点进行检测与跟踪。
[0030]提供基于孪生网络的特征点跟踪方法，包括：
[0031]图像获取模块，获取车辆前方道路场景的多帧图像，记第一帧图像为t0，第n+1帧图像为t
n
，n≥1，n为整数；
[0032]特征点检测模块，对第一帧图像t0进行区域划分，对划分的每个区域提取特征点，提取的特征点作为待跟踪的特征点；
[0033]当第n+1帧图像中特征点的置信度低于设定的阈值时，在第n+1帧图像的同一区域内提取新的特征点替代该特征点，保证特征点数量不变。
[0034]进一步的，本实施例中特征点跟踪模块，基于孪生网络的特征点跟踪算法，从第二帧图像t1开始，对每帧图像中的特征点进行跟踪，获得每一个特征点在下一帧图像中的坐标信息；
[0035]将第n+1帧图像中特征点的信度与设定的阈值作比较，当第n帧图像中特征点的置信度低于设定的阈值时，舍弃该特征点。
[0036]进一步的，本实施例中图像获取模块，基于车载Adas专门的图像采集设备录制车辆前方道路场景视频，对车辆前方道路场景视频进行逐帧解压，获得需要进行特征点跟踪的多个帧图像。
[0037]进一步的，本实施例中特征点提取模块，采用FAST特征点检测器。
[0038]进一步的，本实施例中置信度计算过程为：
[0039]设某个特征点坐标为(x
i
,y
j
)，以(x
i
,y<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于孪生网络的特征点跟踪方法，其特征在于，包括：图像获取模块，获取车辆前方道路场景的多帧图像，记第一帧图像为t0，第n+1帧图像为t
n
，n≥1，n为整数；特征点检测模块，对第一帧图像t0进行区域划分，对划分的每个区域提取特征点，提取的特征点作为待跟踪的特征点；当第n+1帧图像中特征点的置信度低于设定的阈值时，在第n+1帧图像的同一区域内提取新的特征点替代该特征点，保证特征点数量不变。2.根据权利要求1所述的基于孪生网络的特征点跟踪方法，其特征在于，包括：特征点跟踪模块，基于孪生网络的特征点跟踪算法，从第二帧图像t1开始，对每帧图像中的特征点进行跟踪，获得每一个特征点在下一帧图像中的坐标信息；将第n+1帧图像中特征点的信度与设定的阈值作比较，当第n帧图像中特征点的置信度低于设定的阈值时，舍弃该特征点。3.根据权利要求1所述的基于孪生网络的特征点跟踪方法，其特征在于，图像获取模块，基于车载Adas专门的图像采集设备录制车辆前方道路场景视频，对车辆前方道路场景视频进行逐帧解压，获得需要进行特征点跟踪的多个帧图像。4.根据权利要求1所...

【专利技术属性】
技术研发人员：周翔，刘国清，季思文，朱晓东，
申请(专利权)人：南京佑驾科技有限公司，
类型：发明
国别省市：