基于深度神经网络的特征点提取方法技术

本发明专利技术公开了一种基于深度神经网络的特征点提取方法，包括：数据生成，利用OpenCV随机生成不同基础图形，同时对于有角点的图形记录角点的位置作为后续训练的标签；训练深度神经网络，利用数据生成的训练集训练网络模型，来检测角点的产生；测试，利用深度神经网络训练好的模型，对OpenCV生成的数据集和互联网上下载到的真实数据集进行测试，评估该算法的性能表现。本发明专利技术减少了深度学习标注特征点数据集的难度，同时用良好的深度神经网络结构提高了提取的稳定性。

Feature points extraction method based on deep neural network

The invention discloses a method for extracting feature points based on depth neural network, which includes: data generation, randomly generating different basic graphics using OpenCV, and labeling the position of corner points for subsequent training; training depth neural network and training network model using training sets generated by data. T-type, to detect corner generation; test, using the depth neural network training model, test the data set generated by OpenCV and the real data set downloaded from the Internet to evaluate the performance of the algorithm. The invention reduces the difficulty of labeling feature point data set by depth learning, and improves the extraction stability by using a good depth neural network structure.

【技术实现步骤摘要】
基于深度神经网络的特征点提取方法
本专利技术涉及一种基于深度神经网络的特征点提取方法。
技术介绍
随着技术的发展和科技的进步，计算机视觉算法在人类的日常生活中起到的作用越来越大。而特征点提取，作为计算机视觉研究中的基础模块，被应用到很多视觉相关的算法中，比如特征匹配、图片相似度检测、三维重建、视觉里程计、目标跟踪等等。现有的特征点方法大多是一些人工特征，在理想情况下表现良好，但是在噪声、模糊等情况下鲁棒性则没那么高，受影响较大。而随着移动设备的普及，越来越多的照片来源于移动设备的摄像头，同样，计算机视觉算法的应用，也越来越需要考虑在移动端上的性能和表现情况。移动设备采用的一般是卷帘相机，这会导致在运动的时候拍摄的照片会产生一定的运动模糊。同时由于感光芯片面积小，在光照强度不够的环境下拍摄，更容易产生大量噪声。这时候传统的特征提取算法容易受到这些情况的干扰，导致提取特征点准确性下降，继而影响后续算法的准确性。近年来，深度学习在计算机视觉方面取得显著的成果，包括不限于图片分类、实例分割、视觉定位、目标跟踪等。而利用深度学习提取特征点的方法较少，原因是：特征点没有明确定义导致真实图片标注特征点困难。所以与分类、跟踪、实例分割这些不同，深度学习没办法直接应用在特征点提取上。现有的特征点提取方法，根据每种方法定义的特征点不同而不同，比如fast定义周围连续一定个数的像素值和中心点相差大于一个阙值就是特征点，而sift则需要对输入图片生成尺度空间，并且在尺度空间上寻找像素点极值。但是总体来讲流程比较简单，就是输入图片，然后预处理，按照定义提取特征，非极大值抑制，得到最后的特征点。
技术实现思路
本专利技术的首要目的是提供一种基于深度神经网络的特征点提取方法，以提高移动设备特征提取的稳定性。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于深度神经网络的特征点提取方法，包括以下步骤：数据生成，利用OpenCV随机生成不同基础图形，同时对于有角点的图形记录角点的位置作为后续训练的标签；训练深度神经网络，利用数据生成的训练集训练网络模型，来检测角点的产生；测试，利用深度神经网络训练好的模型，对OpenCV生成的数据集和互联网上下载到的真实数据集进行测试，评估该算法的性能表现。优选的，所述数据生成包括以下步骤：尺度规定，限制基础图形生成的边界，以此来实现多尺度的图形生成，然后在尺度规定的基础上，生成不同尺度和不同形状的基础图形；利用随机噪声加平滑滤波生成不包含信息的背景；利用生成的基础图形和背景合成，生成合成图；分别给合成图添加模糊和添加噪声，最后对于每张合成图得到一组三张图片，分别是合成图即原图、模糊图和噪声图。优选的，所述训练深度神经网络步骤中，利用数据生成提供的图片数据集和对应标签，放入网络中进行训练，直到收敛；同时通过提取后的不同通道信息把降低分辨率的图片还原成原图分辨率的特征点概率图，以此来达到特征点提取的功能。优选的，所述训练深度神经网络步骤中，采用基于ResNet的网络结构来进行特征的提取。优选的，所述测试步骤中，首先经过深度神经网络，得到提取特征图，其中最后一个通道代表该图片块没有特征点的概率，其他通道代表对应像素是特征点的概率，选取概率最高的作为图片块提取特征点的结果，同时将对应概率置为1，然后删除掉没有特征点的通道信息，最后再还原成原图尺寸的特征点概率图，概率为1的像素对应原图同样位置存在特征点。本专利技术提供的基于深度神经网络的特征点提取方法通过深度神经网络训练，对比传统方法在模糊和噪声这样的极端情况下有了更好的稳定性，同时对于尺度、旋转和图形的灰度值的特征点稳定性也有提升。本专利技术提供的方法减少了深度学习标注特征点数据集的难度，同时用良好的深度神经网络结构提高了提取的稳定性。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例系统模块图示意图；图2为本专利技术实施例数据生成模块流程图；图3为本专利技术实施例生成的合成图、模糊图和噪声图；图4为本专利技术实施例深度神经网络结构图；图5为本专利技术实施例ResidualBlock结构；图6为本专利技术实施例ConvolutionLayer结构；图7为本专利技术实施例特征点提取流程图；图8为本专利技术实施例多图形结果；图9为本专利技术实施例抗模糊噪声结果图10为本专利技术实施例真实图片结果。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例系统由数据生成模块，深度神经网络模块和测试模块三个模块构成，总体框架如图1所示。首先在测试生成模块，即通过生成数据集，解决了特征提取的标注问题。利用OpenCV生成多种基础图形，如三角形、四边形、椭圆、直线等等，同时对于存在角点的图形标注角点所在的位置。然后是训练模块，搭建基于ResNet的深度卷积神经网络，利用OpenCV生成的图片作为输入，角点概率图作为期望输出，训练模型，希望训练神经网络使得他对基础图形的角点做出相应。输出的是一个同图片大小的概率图，对应每个像素是角点的概率。最后是测试模块，测试模块用于评估，评估两种图片：一种是同样由OpenCV生成的不同于训练集的测试集，第二种是真实图片，挑选计算机视觉的图片公开数据集，主要包括建筑、风景、旅游、城市等等日常见的场景。计算特征点提取的定位误差以及识别率等评价指标。数据生成模块主要负责解决对一般图片标注特征点非常困难的原因，利用OpenCV随机生成不同基础图形，同时对于有角点的图形记录角点的位置作为后续训练的标签。该模块主要分成四个部分：尺度规定、生成基础图形、添加背景以及添加模糊和噪声结果。四部分的功能简要介绍如下：(1)首先是尺度规定，这部分用于生成不同大小的基础图形，在生成基础图形前起限制边界的作用。尺度不变性是特征点提取算法的一个良好特性，所以在训练集的生成中也需要生成不同尺度的基础图形，使得训练集能覆盖图形尺度的变化。(2)其次是基础图形的生成，数据集主要选择了四种基础图形，分别是：三角形、四边形、椭圆和线段，其中三角形和四边形的边的交点认为是角点，椭圆认为没有角点的，线段认为两个端点是角点。在这部分需要确定图形的颜色和坐标的位置，其中颜色采用随机值是为了应对不同颜色的物体，即主要是训练模型认识图形而对图形的颜色不敏感；坐标的位置主要针对三角形和四边形，直接随机生成三个点或者四个点不一定能组成三角形和四边形，所以对于四边形来说，分别对左上、右上、左下、右下四个块范围内生成随机值，然后在判断是否符合构成四边形的条件，以此来生成四边形，而三角形则在四边形的基础上随机选取三个点即可。(3)然后是添加背景，考虑到最后应用在真实场景中，而真实场景的背景往往是杂乱无章的而不是一片相同颜色，所以在数据集生成的时候，加入了随机背景。真实场景中的背景信息往往是没规律的、没角点信息的非图形，相当于是随机噪声，而随机噪声又显得太尖锐不够平滑，所以背景图的生成采取随机噪声加平滑滤波器这样的组合，得到最后的随机背景(4)最后是添加模糊和噪声，即本专利的主要目的，为了提取更本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的特征点提取方法，其特征在于包括以下步骤：数据生成，利用OpenCV随机生成不同基础图形，同时对于有角点的图形记录角点的位置作为后续训练的标签；训练深度神经网络，利用数据生成的训练集训练网络模型，来检测角点的产生；测试，利用深度神经网络训练好的模型，对OpenCV生成的数据集和互联网上下载到的真实数据集进行测试，评估该算法的性能表现。

【技术特征摘要】
1.一种基于深度神经网络的特征点提取方法，其特征在于包括以下步骤：数据生成，利用OpenCV随机生成不同基础图形，同时对于有角点的图形记录角点的位置作为后续训练的标签；训练深度神经网络，利用数据生成的训练集训练网络模型，来检测角点的产生；测试，利用深度神经网络训练好的模型，对OpenCV生成的数据集和互联网上下载到的真实数据集进行测试，评估该算法的性能表现。2.根据权利要求1所述的基于深度神经网络的特征点提取方法，其特征在于所述数据生成包括以下步骤：尺度规定，限制基础图形生成的边界，以此来实现多尺度的图形生成，然后在尺度规定的基础上，生成不同尺度和不同形状的基础图形；利用随机噪声加平滑滤波生成不包含信息的背景；利用生成的基础图形和背景合成，生成合成图；分别给合成图添加模糊和添加噪声，最后对于每张合成图得到一组三张图片，分别是合成图即原图、模糊图和噪声图。3.根据权利要求1...

【专利技术属性】
技术研发人员：高成英，张泽昕，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44