基于卷积神经网络的特征提取和描述子生成方法及系统技术方案

本申请属于计算机视觉与导航定位技术领域，提供一种基于卷积神经网络的特征提取和描述子生成方法及系统，该系统包括图像数据获取与标定模块、图像去畸变模块、特征点提取模块、描述子生成与特征点匹配模块、损失函数计算模块、损失函数反向传播训练模块和训练后提取生成模块，通过对去畸变图像进行特征点提取和描述子生成，生成特征点对，根据特征点对和相机内参，计算重投影误差，利用重投影误差对特征点提取模块和描述子生成与特征点匹配模块的卷积神经网络进行训练，调整权重参数，得到训练后的卷积神经网络，利用训练后的卷积神经网络对去畸变图像直接进行特征点提取和描述子生成，不需要进行数据的标定，属于无监督的学习，且准确率更高。且准确率更高。且准确率更高。

【技术实现步骤摘要】
基于卷积神经网络的特征提取和描述子生成方法及系统


[0001]本申请属于计算机视觉与导航定位
，具体涉及基于卷积神经网络的特征提取和描述子生成方法及系统。

技术介绍

[0002]图像特征点和描述子是很多实际应用的基础，例如，多幅图像的配准、利用多幅二维图像进行三维重建和恢复场景三维结构，这些应用在建立图像点与点之间的对应关系通常都依赖于一个优秀的局部图像特征点和描述子。随着双视图几何的发展，特征点提取和描述子生成的算法对双视图几何最终位姿解算的结果影响越来越大，现在所使用到的一些算法，例如FAST特征点、HARRIS特征点、SIFT描述子和BRIEF描述子等都在算法时间和准确率上不那么尽如人意。
[0003]随着大规模带有标签的图像数据集的出现，神经网络开始广泛用于处理计算机视觉相关任务，其中，将其用在特征点提取和描述子生成上可以带来很好的效果。深度卷积神经网络在图像特征提取中具有强大的表达能力，通过大量带标签数据的学习训练，使用训练后的深度卷积神经网络用于提取特征点和生成描述子。
[0004]然而，现有的基于卷积神经网络的图像特征点提取和描述子生成还具有以下一些缺陷：一般需要有监督学习的方式，需要大量的数据标记工作；卷积神经网络一般需要比较久的时间进行运算，但是特征点和描述子的生成在同时定位与建图时需要一个实时的计算才能满足应用要求，一旦运算无法达到实时，往往会导致同时定位与建图丢帧现象的发生，使得最终定位和建图的结果不准确。

技术实现思路

[0005]本申请提供基于卷积神经网络的特征提取和描述子生成方法及系统，以提供一种准确率更高且通过无监督的学习可以生成的用于双视图几何计算的特征点提取和描述子生成方法及系统。
[0006]本申请第一方面提供基于卷积神经网络的特征提取和描述子生成系统，包括图像数据获取与标定模块、图像去畸变模块、特征点提取模块、描述子生成与特征点匹配模块、损失函数计算模块、损失函数反向传播训练模块和训练后提取生成模块；
[0007]所述图像数据获取与标定模块用于采集多组图像传感器图像，对采集的图像进行标定以获得相机内参和畸变参数，其中，采集的每组图像包括两张同一物体不同视角拍摄的二维图像；
[0008]所述图像去畸变模块用于接收图像数据获取与标定模块采集的图像、相机内参和畸变参数，对采集的图像进行去畸变处理；
[0009]所述特征点提取模块与图像去畸变模块相连，用于采用卷积神经网络对去畸变之后的图像进行特征点提取；
[0010]所述描述子生成与特征点匹配模块与特征点提取模块相连，用于采用卷积神经网
络对特征点进行特征描述，生成描述子，以及，根据特征点和描述子对每组图像进行基于最小一范数准则的双视图特征匹配，生成特征点对；
[0011]所述损失函数计算模块与描述子生成与特征点匹配模块相连，用于获取特征点对，采用对极几何约束重投影误差作为损失函数，计算重投影误差；
[0012]所述损失函数反向传播训练模块与损失函数计算模块相连，用于将重投影误差进行反向传播，对特征点提取模块的卷积神经网络的参数进行训练，得到第一卷积神经网络；对描述子生成与特征点匹配模块的卷积神经网络的参数进行训练，得第二卷积神经网络；
[0013]所述训练后提取生成模块用于利用第一卷积神经网络进行特征点提取，以及，根据特征点和第二卷积神经网络进行描述子生成。
[0014]可选的，所述图像数据获取与标定模块利用拍摄RGB图像的相机进行图像采集，
[0015]可选的，所述对采集的图像进行标定以获得相机内参和畸变参数，包括：
[0016]通过针孔相机模型或鱼眼相机模型对图像进行标定，输出相机内参和畸变参数，其中，小视场角相机采集的图像采用针孔相机模型进行标定，大视场角的相机采集的图像采用鱼眼相机模型进行标定。
[0017]可选的，所述图像去畸变模块对小视角的相机采集的图像采取针孔相机模型去畸变，对大视角的相机采集的图像采用鱼眼相机模型去畸变。
[0018]可选的，所述采集的每组图像具有部分重合。
[0019]可选的，所述特征点提取模块的卷积神经网络和所述特征点匹配模块的卷积神经网络均为浅层卷积神经网络。
[0020]可选的，所述采用对极几何约束重投影误差作为损失函数，计算重投影误差，包括：
[0021]根据特征点对，采用对极几何进行相对位姿解算，通过对极几何约束计算双视图之间的旋转矩阵和平移矩阵；
[0022]根据相对位姿和相机内参，将特征点对的像素坐标重投影，计算特征点投影至被匹配图像上所形成的投影误差之和，获得重投影误差。
[0023]可选的，所述损失函数反向传播训练模块根据多组图像的重投影误差，依次对特征点提取模块的卷积神经网络和特征点匹配模块的卷积神经网络的参数进行训练。
[0024]可选的，所述依次对特征点提取模块的卷积神经网络和特征点匹配模块的卷积神经网络的参数进行训练，其中，每次对特征点提取模块的卷积神经网络和特征点匹配模块的卷积神经网络的参数进行训练，包括：
[0025]接收损失函数计算模块中一组图像的重投影误差；
[0026]判断该重投影误差是否大于预设阈值，如果重投影误差大于预设阈值，则将重投影误差输入至特征点提取模块和描述子生成与特征点匹配模块，根据重投影误差，调整特征点提取模块的卷积神经网络权重和特征点匹配模块的卷积神经网络权重，根据调整权重后的卷积神经网络，重新进行特征点提取和描述子生成，并重新生成特征点对和计算重投影误差；
[0027]重复上述步骤直至重投影误差小于或等于预设阈值。
[0028]本申请另一方面提供基于卷积神经网络的特征提取和描述子生成方法，包括以下步骤：
[0029]采集多组图像传感器图像，对采集的图像进行标定以获得相机内参和畸变参数，其中，采集的每组图像包括两张同一物体不同视角拍摄的二维图像；
[0030]根据相机内参和畸变参数，对采集的图像进行去畸变处理；
[0031]采用卷积神经网络对去畸变之后的图像进行特征点提取；
[0032]采用卷积神经网络对提取的特征点进行特征描述，生成描述子，以及，根据特征点和描述子对每组图像进行基于最小一范数准则的双视图特征匹配，生成特征点对；
[0033]根据特征点对，采用对极几何约束重投影误差作为损失函数，计算重投影误差；
[0034]将重投影误差进行反向传播，对特征点提取的卷积神经网络参数进行训练，得到第一卷积神经网络；对描述子生成的卷积神经网络的参数进行训练，得到第二卷积神经网络；
[0035]将第一卷积神经网络和第二卷积神经网络应用与双视图几何计算，利用第一卷积神经网络进行特征点提取，以及，根据特征点和第二卷积神经网络进行描述子生成。
[0036]由以上技术方案可知，本申请提供的一种基于卷积神经网络的特征提取和描述子生成系统，包括图像数据获取与标定模块、图像去畸变模块、特征点提取模块、描述子生成与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于卷积神经网络的特征提取和描述子生成系统，其特征在于，包括图像数据获取与标定模块(100)、图像去畸变模块(200)、特征点提取模块(300)、描述子生成与特征点匹配模块(400)、损失函数计算模块(500)、损失函数反向传播训练模块(600)和训练后提取生成模块(700)；所述图像数据获取与标定模块(100)用于采集多组图像传感器图像，对采集的图像进行标定以获得相机内参和畸变参数，其中，采集的每组图像包括两张同一物体不同视角拍摄的二维图像；所述图像去畸变模块(200)用于接收图像数据获取与标定模块(100)采集的图像、相机内参和畸变参数，对采集的图像进行去畸变处理；所述特征点提取模块(300)与图像去畸变模块(200)相连，用于采用卷积神经网络对去畸变之后的图像进行特征点提取；所述描述子生成与特征点匹配模块(400)与特征点提取模块(300)相连，用于采用卷积神经网络对特征点进行特征描述，生成描述子，以及，根据特征点和描述子对每组图像进行基于最小一范数准则的双视图特征匹配，生成特征点对；所述损失函数计算模块(500)与描述子生成与特征点匹配模块(400)相连，用于获取特征点对，采用对极几何约束重投影误差作为损失函数，计算重投影误差；所述损失函数反向传播训练模块(600)与特征点提取模块(300)、描述子生成与特征点匹配模块(400)和损失函数计算模块(500)相连，用于将重投影误差进行反向传播，对特征点提取模块(300)的卷积神经网络的参数进行训练，得到第一卷积神经网络；对描述子生成与特征点匹配模块(400)的卷积神经网络的参数进行训练，得第二卷积神经网络；所述训练后提取生成模块(700)用于利用第一卷积神经网络进行特征点提取，以及，根据特征点和第二卷积神经网络进行描述子生成。2.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述图像数据获取与标定模块(100)利用拍摄RGB图像的相机进行图像采集。3.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述对采集的图像进行标定以获得相机内参和畸变参数，包括：通过针孔相机模型(101)或鱼眼相机模型(102)对图像进行标定，输出相机内参和畸变参数，其中，小视场角相机采集的图像采用针孔相机模型(101)进行标定，大视场角的相机采集的图像采用鱼眼相机模型(102)进行标定。4.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述图像去畸变模块(200)对小视角的相机采集的图像采取针孔相机模型(101)去畸变，对大视角的相机采集的图像采用鱼眼相机模型(102)去畸变。5.根据权利要求1所述的基于卷积神经网络的特征提取和描述子生成系统，其特征在于，所述采集的每组图像具有部分重合。6.根据权利要...

【专利技术属性】
技术研发人员：马仪，文刚，潘浩，朱福常，李永彪，周仿荣，马御棠，
申请(专利权)人：云南电网有限责任公司电力科学研究院，
类型：发明
国别省市：