一种镜头畸变矫正和特征提取的方法及系统技术方案

本发明专利技术公开了一种镜头畸变矫正和特征提取的方法和系统。该方法主要包括以下六个步骤，即获取镜头图片信息、图片预处理、提取图片轮廓点并进行镜头畸变矫正、提取图形特征关键点、关键点逆透视变换、计算关键点物理世界方程式。所述系统主要包括为本发明专利技术的方法提供运行平台的硬软件模块，即输入图像模块、图片预处理模块、提取图像轮廓点模块、轮廓点畸变校正模块、提取图形特征关键点模块、关键点逆透视变换模块、得到特征图形物理世界方程模块。本发明专利技术比传统的方法和系统能够减少6倍以上的CPU运算量，在提高计算效率同时显著降低硬件成本，能够快速获得地面相关的物理特征信息、实现室内高精度定位，特别适用于运算资源较少的嵌入式系统。

A Method and System for Lens Distortion Correction and Feature Extraction

The invention discloses a method and system for lens distortion correction and feature extraction. The method mainly includes six steps: acquiring shot information, image preprocessing, extracting outline points and correcting lens distortion, extracting key points of graphic features, inverse perspective transformation of key points, and calculating physical world equation of key points. The system mainly includes hardware and software modules which provide the operation platform for the method of the invention, namely, input image module, image preprocessing module, extraction image outline point module, outline point distortion correction module, key point extraction module, key point inverse perspective transformation module and feature graphics physical world equation module. Compared with traditional methods and systems, the present invention can reduce CPU computation by more than 6 times, improve computing efficiency and significantly reduce hardware costs, can quickly obtain ground-related physical characteristics information, achieve high-precision indoor positioning, and is especially suitable for embedded systems with less computing resources.

【技术实现步骤摘要】
一种镜头畸变矫正和特征提取的方法及系统
本专利技术属于计算机视觉检测领域，尤其涉及一种计算效率高、能有效减少CPU运行时间的镜头畸变矫正和特征提取的方法及系统。
技术介绍
计算机视觉检测在机器人、无人驾驶车辆、无人机等领域有广阔的应用前景，其待处理的数据量大，实时性要求高。镜头畸变校准和特征提取在计算机视觉检测领域有很广泛的应用，尤其是室内定位系统。高精度室内定位系统中，采用无线电方式测距比较流行，例如采用超宽带定位或者WiFi接受信号强度定位等，然后利用三角原理等方法确定摄像头的绝对位姿。无线电定位需要提前掌握环境信息，其定位精度高但成本亦高且维护麻烦。其它定位方法如里程计定位法、惯性传感器定位法等，在给定机器人或无人机等初始位姿后，利用机器人或无人机等自身的传感器对位移量进行累加。机器人或无人机等在移动的一小段距离内可以得到较高的定位精度，但是随着机器人或无人机等纵向或横向的滑动引起位置和姿态角的偏差，同时里程计或惯性传感器等本身容易产生误差累加。如果误差没有及时修正，将会直接导致机器人或者无人机定位精度变低。故不适合长时间的使用，不利于机器人或者其它设备的普及。鉴于无线电、里程计、惯性传感器等定位法的固有缺陷，采用视觉传感器进行定位逐渐成为计算机视觉检测领域主流。视觉传感器主要依靠对采集的图像进行处理识别，进而对周围环境进行感知，实现自身的定位。目前视觉传感器主要分为全景视觉传感器、双目视觉传感器、单目视觉传感器三种。其中全景传感器观测范围大，但是由于其加工困难、价格昂贵、图像容易畸变、图像处理复杂等，使得全景传感器难以得到实际应用。双目视觉传感器主要用于对景物深度要求较高的场合，其对计算机的图像处理能力要求也较高，因而无法得到广泛应用。单目视觉传感器，价格低，适用于一般的日常生活环境中对图像处理要求不高的场合，能够满足广泛的应用需求。此外，还可以将摄像头安装在机器人底部，基于地面的二维码，进行拍摄并解码，从而计算出机器人的位置。在视觉传感器定位过程中，畸变矫正和特征提取尤为重要。传统的畸变矫正和特征提取系统如图1所示。它一般由以下几个关键模块组成：摄像头标定模块，畸变矫正模块，逆透视变换(inverseperspectivemapping，IPM)模块，逆透视变换输出图像处理模块，RANSAC(RandomSampleConsensus，随机采样一致)提取特征图形关键点模块。摄像头标定是最前期的步骤，后续的处理步骤跟摄像头的参数是密不可分的。标定的方法采用运用广泛的张正友标定法。这个方法需要用摄像头从不同角度拍摄标定板图片，然后把这些图片提供给标定工具箱，工具箱就能够给出摄像头的内参矩阵和畸变系数。标定工具箱是一套标定程序，由于张正友标定法运用广泛，网上可以下载到这些程序组，matlab和opencv均有对应的标定工具箱。首先镜头采集图片先进行图片的预处理，包括调节图片的亮度和对比度，可以让后续图像处理步骤的效果更好。接下来是畸变矫正，由于畸变矫正后的图片只是去除了畸变，还保留图片原有的透视效果，所以再进行逆透视变换得到没有透视效果的图片，此时再对逆透视输出的图像进行处理，包括彩色图变成灰度图，对图片进行降噪处理，然后进行边沿检测。之后运用RANSAC算法提取特征图形并得到表征图形的关键点，最后计算出关键点在物理空间中的坐标从而求出特征图形在物理世界的方程，方便计算出镜头跟特征图形在物理世界的位置关系。其中畸变矫正和逆透视变换非常耗时，以高清电视图像为例，1920×1080的图片就需要处理2百万个点的数据，导致矫正的效率和逆透视变换的效率均不高，不能满足实时的要求。事实证明，运用传统的畸变矫正和特征提取系统在树莓派3的Linux环境中进行图像矫正和匹配将消耗大量CPU资源和时间，导致机器人或者无人机无法进行实时定位。
技术实现思路
本专利技术旨在解决现有技术中畸变矫正和特征提取方法和系统数据处理量大、CPU占用率高，导致机器人或无人机无法进行实时定位的技术问题，提供一种新的计算效率高的镜头畸变矫正和特征提取的方法和系统。本专利技术的关键在于：通过先进的计算方法，快速的矫正图像的镜头畸变并提取特征点、再转换到物理空间，再求出特征点的解析形式，实现实时的匹配和定位。为了解决上述技术问题，本专利技术采用了如下技术方案：一种镜头畸变矫正和特征提取的方法，包括以下步骤：S101，获取镜头图片信息；S102，图片预处理，所述图片预处理包括将彩色图变成灰色图，调节图片亮度和对比度和边缘检测，从而将图像的轮廓显示出来；S103，提取图片轮廓点并进行镜头畸变矫正，将经过S102处理的图片显示的轮廓点提取出来，然后利用矫正公式矫正这些轮廓点，将这些轮廓点还原到无畸变的平面上；S104，提取图形特征关键点，利用RANSAC算法拟合出特征图像，再把能表征特征图形的关键点提取出来；S105，关键点逆透视变换，将S104处理的关键点进行逆透视变换，得到这些关键点在真实的物理世界坐标；S106，计算关键点物理世界方程式，利用S105得到的关键点在真实的物理世界坐标，计算出特征图形在物理世界坐标体系下的方程。本专利技术还提供了一种与上述方法相适应的镜头畸变矫正和特征提取的系统，它包括以下模块：输入图像模块，用于采集图片信息；图片预处理模块，用于将彩色图变成灰色图，调节图片亮度和对比度，对图片进行降噪处理，然后进行边缘检测，从而将图像的轮廓显示出来；提取图像轮廓点模块，用于将图片预处理模块处理后显示出的轮廓点提取出来；轮廓点畸变校正模块，用于将提取图像轮廓点模块提取的轮廓点还原到无畸变的平面上；提取图形特征关键点模块，用于将能表征特征图形的关键点提取出来；关键点逆透视变换模块，用于将提取图形特征关键点模块中提取的关键点进行逆透视变换，得到这些关键点在真实的物理世界坐标；得到特征图形物理世界方程模块，利用关键点逆透视变换模块中得到的关键点在真实的物理世界坐标，计算出特征图形在物理世界坐标体系下的方程。有益效果：相比传统的畸变矫正和特征提取方法，本专利技术在畸变矫正之前先提取图片的轮廓点，然后针对轮廓点进行畸变矫正，可以极大减少畸变校正处理的数据量，极大地提高了计算效率。在逆透视变换之前先提取特征图形关键点，从而减少逆透视变换的数据量，进一步提高计算效率。因而，本专利技术能够在高保真的要求下显著减少CPU运算量，在提高计算效率的同时显著降低硬件成本，能够快速获得地面相关的物理特征信息、实现室内高精度定位。附图说明图1为传统的畸变校正和特征提取系统的模块流程图；图2为本专利技术镜头畸变校正和特征提取系统的模块流程图；图3为本专利技术镜头畸变校正和特征提取方法流程图；图4为本专利技术摄像头与物理世界坐标系的关系图。具体实施方式为了使本领域的技术人员清楚明了地理解本专利技术，现结合具体实施方式，对本专利技术进行详细说明。如图2所示，本专利技术的镜头畸变矫正和特征提取系统包括以下模块：输入图像模块、图片预处理模块、提取图像轮廓点模块、轮廓点畸变校正模块、提取图形特征关键点模块、关键点逆透视变换模块、得到特征图形物理世界方程模块。相应地，本专利技术的镜头畸变矫正和特征提取的方法包括以下六个步骤，即S101获取镜头图片信息、S102图片预处理、S103提取图片轮廓点并进行镜头畸变矫正、S本文档来自技高网...

【技术保护点】
1.一种镜头畸变矫正和特征提取的方法，包括以下步骤：S101，获取镜头图片信息；S102，图片预处理，所述图片预处理包括将彩色图变成灰色图,调节图片亮度和对比度、并对图片进行降噪处理然后进行边缘检测，从而将图像的轮廓显示出来；S103，提取图片轮廓点并进行镜头畸变矫正，将经过S102处理的图片显示的轮廓点提取出来，然后利用矫正公式矫正这些轮廓点，将这些轮廓点还原到无畸变的平面上；S104，提取图形特征关键点，利用特征拟合算法拟合出特征图像，再把能表征特征图形的关键点提取出来；S105，关键点逆透视变换，将S104处理的关键点进行逆透视变换，得到这些关键点在真实的物理世界坐标；S106，计算关键点物理世界方程式，利用S105得到的关键点在真实的物理世界坐标，计算出特征图形在物理世界坐标体系下的方程。

【技术特征摘要】
1.一种镜头畸变矫正和特征提取的方法，包括以下步骤：S101，获取镜头图片信息；S102，图片预处理，所述图片预处理包括将彩色图变成灰色图,调节图片亮度和对比度、并对图片进行降噪处理然后进行边缘检测，从而将图像的轮廓显示出来；S103，提取图片轮廓点并进行镜头畸变矫正，将经过S102处理的图片显示的轮廓点提取出来，然后利用矫正公式矫正这些轮廓点，将这些轮廓点还原到无畸变的平面上；S104，提取图形特征关键点，利用特征拟合算法拟合出特征图像，再把能表征特征图形的关键点提取出来；S105，关键点逆透视变换，将S104处理的关键点进行逆透视变换，得到这些关键点在真实的物理世界坐标；S106，计算关键点物理世界方程式，利用S105得到的关键点在真实的物理世界坐标，计算出特征图形在物理世界坐标体系下的方程。2.根据权利要求1所述的方法，其特征在于：S102步骤中还包括图片裁剪处理，即将干扰的轮廓部分除去。3.根据权利要求1所述的方法，其特征在于：S103中，畸变矫正时只矫正提取出来的轮廓点，而不是整张图片进行校正，并且提取轮廓点时，在列和行上分别采用等距离采点方式进行取点。4.根据权利要求1所述的方法，其特征在于：S103中，所述镜头畸变矫正包含径向和切向修正，修正系数由事前镜头标定得出。5.根据权利要求4所述的方法，其特征在于：所述事前镜头标定包括采集标定板图片，然后输入标定程序工具箱，由标定程...

【专利技术属性】
技术研发人员：王峰，肖飞，汪进，黄祖德，邱文添，李诗语，曹彬，
申请(专利权)人：东莞市普灵思智能电子有限公司，
类型：发明
国别省市：广东,44