一种基于双目视觉的载机目标跟踪方法技术

本发明专利技术公开了一种基于双目视觉的载机目标跟踪方法。所述基于双目视觉的载机目标跟踪方法包括如下步骤：步骤1：在载机平台的最大宽度处布置双目光学系统，调整焦距，保证目标在双目光学系统的交叠范围内，所述双目光学系统包括两路采集图像，两路采集图像分别设置为L1,L2；步骤2：通过SIFT方法对两路采集的图像进行匹配，并对匹配结构进行筛选，获取筛选后的特征点，通过特征点计算两路图像的视差；将视差换算成深度信息；将获得的深度信息添加至原图像，从而获得带有深度信息的光学图像；步骤5：训练CNN网络；步骤6：用训练后的CNN网络对带有深度信息的光学图像进行识别，从而获得目标的识别结果。本申请相对激光雷达具有体积质量小的优点。

A target tracking method based on binocular vision

The invention discloses a carrier target tracking method based on binocular vision. The method of tracking the target tracking based on the binocular vision includes the following steps: Step 1: the binocular optical system is arranged at the maximum width of the carrier platform, the focal distance is adjusted to ensure that the target is in the overlapping range of the binocular optical system, the binocular optical system includes two ways of collecting images, and the two acquisition images are set to L1, L respectively. 2; step 2: matching the images collected by the two paths through the SIFT method, screening the matching structure, obtaining the feature points after the screening, calculating the parallax of the two images through the feature points, converting the parallax into the depth information, and adding the depth information to the original image to obtain an optical map with depth information. Image; step 5: train the CNN network; step 6: identify the optical images with depth information with the trained CNN network to obtain the target recognition results. This application has the advantage of smaller volume than lidar.

【技术实现步骤摘要】
一种基于双目视觉的载机目标跟踪方法
本专利技术涉及飞机目标自主识别
，特别是涉及一种基于双目视觉的载机目标跟踪方法。
技术介绍
飞机在执行任务时，经常需要对感兴趣目标(ToI，TargetofInteresting)进行侦查与识别，这一任务到目前为止仍然主要由人工完成。飞机的任务需求将导致飞机无法通过编队内飞机获取多维度信息完成对目标的识别。因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。
技术实现思路
本专利技术的目的在于提供一种基于双目视觉的载机目标跟踪方法来克服或至少减轻现有技术的至少一个上述缺陷。为实现上述目的，本专利技术提供一种基于双目视觉的载机目标跟踪方法，所述基于双目视觉的载机目标跟踪方法包括如下步骤：步骤1：在载机平台的最大宽度处布置双目光学系统，调整焦距，保证目标在双目光学系统的交叠范围内，所述双目光学系统包括两路采集图像，两路采集图像分别设置为L1,L2；步骤2：通过SIFT方法对两路采集的图像进行匹配，并对匹配结构进行筛选，获取筛选后的特征点，通过特征点计算两路图像的视差；将视差换算成深度信息；将获得的深度信息添加至原图像中的一个，从而获得带有深度信息的光学图像；步骤5：训练CNN网络；步骤6：用训练后的CNN网络对带有深度信息的光学图像进行识别，从而获得目标的识别结果。优选地，所述步骤2包括：步骤21：对所述L1,L2进行SIFT匹配，获取目标的特征点，得到特征点集合S；步骤22：对S进行处理，根据S中特征点之间的相对位置关系计算其分布向量V＝[k，d]，其中k为两图特征点连线的斜率，d为特征点连线的距离，根据识别的精度要求选定特征点的最大密度区域，抛弃不在该区域内的特征点，形成新的特征点集合Sni；步骤23：对新特征点集Sni进行聚类，根据识别精度聚类数选择C，得到C个聚类；步骤24：计算每个聚类的聚类中心，在本聚类的特征点中，计算欧式距离得到与聚类中心距离最小的特征点作为本聚类的中心，并计算两幅图像中该点之间的横向视差及纵向视差；步骤25：对通过步骤24中得到的横向视差及纵向视差对每个特征区域进行深度距离恢复，计算公式如下：X/U＝Y/V＝L/F其中：X为目标与观测平台之间横向距离；Y为目标与观测平台之间横纵向距离；L为目标与观测平台之间平行于光轴距离，f为当前相机焦距；步骤26：将得到的深度信息归一化，按特征区域分布组成与原图像规模一致的矩阵，与所述步骤24中得到的灰度图像点乘，得到包含深度信息的光学图像。优选地，所述步骤6具体为：通过公式：进行识别，其中，δ为预设已知值，当结果大于δ时，认为采集图像中包含待识别目标；Ri为CNN对特征区域的识别结果，Si为特征区域的面积。本申请的基于双目视觉的载机目标跟踪方法提供一种单机独立目标进行自主识别的的方法，利用双目光学系统对目标采集得到的视差信息，使载机能够综合双路光学采集设备获取的图像，配合载机当前空间坐标，为目标成像增加结算的深度信息，最后通过卷积神经网络(CNN)完成单机平台对目标的自主识别。本申请的优点在于，飞机不需要对目标进行能量辐射即可完成测距的需要，增强了隐身能力。且由于不需要能量辐射模块，相对激光雷达等体积、质量都较小，并且成像速度较快。附图说明图1是本申请一实施例的基于双目视觉的载机目标跟踪方法的流程示意图。具体实施方式为使本专利技术实施的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合附图对本专利技术的实施例进行详细说明。在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术保护范围的限制。图1是本申请一实施例的基于双目视觉的载机目标跟踪方法的流程示意图。如图1所示的基于双目视觉的载机目标跟踪方法包括如下步骤：步骤1：在载机平台的最大宽度处布置双目光学系统，调整焦距，保证目标在双目光学系统的交叠范围内，所述双目光学系统包括两路采集图像，两路采集图像分别设置为L1,L2；步骤2：通过SIFT方法对两路采集的图像进行匹配，并对匹配结构进行筛选，获取筛选后的特征点，通过特征点计算两路图像的视差；将视差换算成深度信息；将获得的深度信息添加至原图像中的一个，从而获得带有深度信息的光学图像；步骤5：训练CNN网络；步骤6：用训练后的CNN网络对带有深度信息的光学图像进行识别，从而获得目标的识别结果。本申请的基于双目视觉的载机目标跟踪方法提供一种单机独立目标进行自主识别的的方法，利用双目光学系统对目标采集得到的视差信息，使载机能够综合双路光学采集设备获取的图像，配合载机当前空间坐标，为目标成像增加结算的深度信息，最后通过卷积神经网络(CNN)完成单机平台对目标的自主识别。本申请的优点在于，飞机不需要对目标进行能量辐射即可完成测距的需要，增强了隐身能力。且由于不需要能量辐射模块，相对激光雷达等体积、质量都较小，并且成像速度较快。在本实施例中，所述步骤2包括：步骤21：对所述L1,L2进行SIFT匹配，获取目标的特征点，得到特征点集合S；步骤22：对S进行处理，根据S中特征点之间的相对位置关系计算其分布向量V＝[k，d]，其中k为两图特征点连线的斜率，d为特征点连线的距离，根据识别的精度要求选定特征点的最大密度区域，抛弃不在该区域内的特征点，形成新的特征点集合Sni；步骤23：对新特征点集Sni进行聚类，根据识别精度聚类数选择C，得到C个聚类；步骤24：计算每个聚类的聚类中心，在本聚类的特征点中，计算欧式距离得到与聚类中心距离最小的特征点作为本聚类的中心，并计算两幅图像中该点之间的横向视差及纵向视差；步骤25：对通过步骤24中得到的横向视差及纵向视差对每个特征区域进行深度距离恢复，计算公式如下：X/U＝Y/V＝L/F其中：X为目标与观测平台之间横向距离；Y为目标与观测平台之间横纵向距离；L为目标与观测平台之间平行于光轴距离，f为当前相机焦距；步骤26：将得到的深度信息归一化，按特征区域分布组成与原图像规模一致的矩阵，与所述步骤24中得到的灰度图像点乘，得到包含深度信息的光学图像。在本实施例中，所述步骤6具体为：通过公式：进行识别，其中，δ为预设已知值，当结果大于δ时，认为采集图像中包含待识别目标；Ri为CNN对特征区域的识别结果，Si为特征区域的面积。最后需要指出的是：以上实施例仅用以说明本专利技术的技术方案，而非对其限制。尽管参照前述实施例对本专利技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行本文档来自技高网...

【技术保护点】
一种基于双目视觉的载机目标跟踪方法，其特征在于，所述基于双目视觉的载机目标跟踪方法包括如下步骤：步骤1：在载机平台的最大宽度处布置双目光学系统，调整焦距，保证目标在双目光学系统的交叠范围内，所述双目光学系统包括两路采集图像，两路采集图像分别设置为L1,L2；步骤2：通过SIFT方法对两路采集的图像进行匹配，并对匹配结构进行筛选，获取筛选后的特征点，通过特征点计算两路图像的视差；将视差换算成深度信息；将获得的深度信息添加至原图像中的一个，从而获得带有深度信息的光学图像；步骤5：训练CNN网络；步骤6：用训练后的CNN网络对带有深度信息的光学图像进行识别，从而获得目标的识别结果。

【技术特征摘要】
1.一种基于双目视觉的载机目标跟踪方法，其特征在于，所述基于双目视觉的载机目标跟踪方法包括如下步骤：步骤1：在载机平台的最大宽度处布置双目光学系统，调整焦距，保证目标在双目光学系统的交叠范围内，所述双目光学系统包括两路采集图像，两路采集图像分别设置为L1,L2；步骤2：通过SIFT方法对两路采集的图像进行匹配，并对匹配结构进行筛选，获取筛选后的特征点，通过特征点计算两路图像的视差；将视差换算成深度信息；将获得的深度信息添加至原图像中的一个，从而获得带有深度信息的光学图像；步骤5：训练CNN网络；步骤6：用训练后的CNN网络对带有深度信息的光学图像进行识别，从而获得目标的识别结果。2.如权利要求1所述的基于双目视觉的载机目标跟踪方法，其特征在于，所述步骤2包括：步骤21：对所述L1,L2进行SIFT匹配，获取目标的特征点，得到特征点集合S；步骤22：对S进行处理，根据S中特征点之间的相对位置关系计算其分布向量V＝[k，d]，其中k为两图特征点连线的斜率，d为特征点连线的距离，根据识别的精度要求选定特征点的...

【专利技术属性】
技术研发人员：张原，王军，
申请(专利权)人：中国航空工业集团公司西安飞机设计研究所，
类型：发明
国别省市：陕西,61