一种基于目标截取和灭点混合计算的图像矫正方法及系统技术方案

本发明专利技术公开了一种计算机视觉和图像处理技术领域的基于目标截取和灭点混合计算的图像矫正方法及系统，旨在解决现有技术的图像矫正中不能快速找到灭点，且去掉伪灭点较为复杂等问题，其包括采集图像数据，截取目标图像，对目标图像边缘进行定位及直线拟合得到灭点向量数据，通过灭点混合计算模型处理得到最终预测的灭点坐标，最后进行图像矫正。本发明专利技术先使用目标检测模型检测出主体目标所在位置，后截取，减少了背景信息的干扰，再通过灭点混合计算模型将拟合所得灭点进行融合计算，得到真实灭点坐标，降低了灭点筛选复杂度。降低了灭点筛选复杂度。降低了灭点筛选复杂度。

【技术实现步骤摘要】
一种基于目标截取和灭点混合计算的图像矫正方法及系统


[0001]本专利技术涉及一种基于目标截取和灭点混合计算的图像矫正方法及系统，属于计算机视觉和图像处理


技术介绍

[0002]近年来，图像矫正技术在计算机视觉领域中得到了广泛应用。图像矫正的目的是消除图像中由透视投影引起的畸变，使得图像中的几何形状与实际场景保持一致。图像矫正技术的发展得益于计算机视觉和图像处理领域的进展，包括特征提取与描述、几何变换、机器学习等技术的应用，使得图像矫正技术在文档处理、图像识别、计算机视觉导航等领域得到广泛应用，并不断提高图像处理的精度和效率。
[0003]其中，灭点技术是图像矫正中重要的
技术介绍
之一。传统的图像矫正方法中，常用的技术之一是基于灭点的校正方法。灭点是指在透视投影下，平行线在图像上相交的点。基于灭点的校正方法通过检测图像中的平行线，计算其交点作为灭点，进而进行图像的矫正。
[0004]在图像矫正方法中，如何快速地寻找到灭点是至关重要的，传统方法寻找灭点主要是通过直线检测，检测出图像上的线条，然后计算所有直线的交点，最后去掉伪灭点，但是这种方法在图像复杂，线条较多的情况下效果不好，计算直线的交点和去掉伪灭点都比较困难。

技术实现思路

[0005]本专利技术的目的在于克服现有技术中的不足，提供一种基于目标截取和灭点混合计算的图像矫正方法及系统，先使用目标检测模型检测出主体目标所在位置，后截取，减少了背景信息的干扰，再通过灭点混合计算模型将拟合所得灭点进行融合计算，得到真实灭点坐标，降低了灭点筛选复杂度。
[0006]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0007]一方面，本专利技术提供一种基于目标截取和灭点混合计算的图像矫正方法，包括以下步骤：
[0008]采集各拍摄角度下的图像数据，对其进行预处理，得预处理后的图像数据。
[0009]利用目标检测模型从预处理后的图像数据中截取目标图像。
[0010]对目标图像进行高斯滤波处理，计算经高斯滤波图像处理后的目标图像中每个像素点的梯度幅值和方向对目标图像边缘进行定位，得到边缘检测输出图；对边缘检测输出图进行直线拟合，计算拟合直线的交点坐标，即为灭点，集合所有灭点坐标，得到灭点向量数据。
[0011]在预处理后的图像数据中选取一张图像数据，利用灭点混合计算模型对其进行特征提取后与灭点向量数据进行混合计算，得到最终预测的灭点坐标。
[0012]根据最终预测的灭点坐标和目标图像的长宽、角点坐标计算透视变换矩阵中的参数，进行图像矫正。
[0013]进一步的，所述预处理包括标准化和零均值化，标准化的表达式如下：
[0014][0015]其中，x为图像数据样本，μ为样本的平均值，σ为样本的标准差，x
*
为经标准化处理后的图像数据样本。
[0016]数据零均值化为：对每个图像数据样本，将其各维度的数据都减去该维度数据的平均值，这样就把图像数据样本各维度的数据都中心化到0，其表达式如下：
[0017][0018]其中，N表示图像数据样本总数，x
i
表示图像数据样本的第i维度数值，表示第j图像数据样本的第i维度数值，x'
i
表示零均值化处理后的图像数据样本的第i维度数值。
[0019]进一步的，利用目标检测模型从图像中截取目标图像，包括：
[0020]通过特征提取网络对预处理后的图像数据进行特征提取，得到特征图C1。
[0021]通过多尺度特征预测网络对特征图C1进行特征预测，得到特征预测层C2，在特征预测层C2上形成大小不同的先验框，选取损失最小的先验框截取出目标图像。
[0022]进一步的，对目标图像进行高斯滤波处理，包括：
[0023]采用高斯函数作为滤波核，在空间域上与目标图像进行卷积操作，其中，高斯函数的表达式如下：
[0024][0025]其中，G(i,j)为高斯滤波核(i,j)坐标位置的权重值，σ为高斯函数的标准差，k为高斯滤波核半径。
[0026]对于图像中的每个像素点，计算其与高斯核的加权平均值，表达式如下：
[0027][0028]其中，I'(x,y)为图像中像素点(x,y)与高斯滤波核的加权平均值，G(m,n)为高斯滤波核(m,n)坐标位置的权重值，I(x+m,y+n)为图像中像素点(x+m,y+n)坐标位置的像素值。
[0029]进一步的，计算经高斯滤波图像处理后的目标图像中每个像素点的梯度幅值和方向对目标图像边缘进行定位，得到边缘检测输出图，包括：
[0030]通过Sobel算子分别在水平和垂直方向上进行卷积操作，得到像素点的梯度幅值和方向。
[0031]对于每一个像素点，检查其在梯度方向上的两个相邻点，若当前像素点的梯度幅值比它在梯度方向上的两个相邻点的梯度幅值都大，则保留该像素点，否则，抑制该像素点，即将这个像素点的梯度幅值设置为0。
[0032]设定梯度幅值的高阈值和低阈值，将像素点的梯度幅值和阈值进行比较，大于高
阈值的为强边缘点，小于低阈值的非边缘点，介于两者之间的为弱边缘点。
[0033]对于非边缘点则直接抑制掉，即将该像素点梯度幅值设置为0。
[0034]对于弱边缘点，先检查其相邻点是否有强边缘点，若有则认为其是强边缘点，若没有则抑制该像素点。
[0035]依次连接强边缘点得到边缘检测输出图，并保留在连接过程中形成的直线段的长度及起始坐标信息。
[0036]进一步的，对边缘检测输出图进行直线拟合，计算拟合直线的交点坐标，即为灭点，集合所有灭点坐标，得到灭点向量数据，包括：
[0037]设定直线段的长度，保留长度大于设定值的直线段，剔除掉过短的直线段，对保留的直线段数据集合进行直线拟合，得到每条直线的斜率和截距参数。
[0038]对于拟合直线，两两计算其交点坐标，交点即为灭点，所有交点信息组成灭点向量数据。
[0039]进一步的，在预处理后的图像数据中选取一张图像数据，利用灭点混合计算模型对其进行特征提取后与灭点向量数据进行混合计算，得到最终预测的灭点坐标，包括：
[0040]在预处理后的图像数据中随机选取一张图像数据D。
[0041]通过多角度特征提取网络对图像数据D进行特征提取，得特征图D2。
[0042]通过灭点权重融合网络对特征图D2进行灭点权重融合，得特征图D3，特征图D3经灭点混合计算模型输出，得到最终预测的灭点坐标。
[0043]进一步的，根据最终预测的灭点坐标和目标图像的长宽、角点坐标计算透视变换矩阵中的参数，进行图像矫正的表达式为：
[0044][0045]x
′
＝m11*x+m12*y+m13
[0046]y
′
＝m21*x+m22*y+m23
[0047]其中，为透视变换矩阵，(x,y)为原图像的坐标，(x',y')为矫正后的坐标。
...

【技术保护点】

【技术特征摘要】
1.一种基于目标截取和灭点混合计算的图像矫正方法，其特征在于，包括以下步骤：采集各拍摄角度下的图像数据，对其进行预处理，得预处理后的图像数据；利用目标检测模型从预处理后的图像数据中截取目标图像；对目标图像进行高斯滤波处理，计算经高斯滤波图像处理后的目标图像中每个像素点的梯度幅值和方向对目标图像边缘进行定位，得到边缘检测输出图；对边缘检测输出图进行直线拟合，计算拟合直线的交点坐标，即为灭点，集合所有灭点坐标，得到灭点向量数据；在预处理后的图像数据中选取一张图像数据，利用灭点混合计算模型对其进行特征提取后与灭点向量数据进行混合计算，得到最终预测的灭点坐标；根据最终预测的灭点坐标和目标图像的长宽、角点坐标计算透视变换矩阵中的参数，进行图像矫正。2.根据权利要求1所述的基于目标截取和灭点混合计算的图像矫正方法，其特征在于，所述预处理包括标准化和零均值化，标准化的表达式如下：其中，x为图像数据样本，μ为样本的平均值，σ为样本的标准差，x
*
为经标准化处理后的图像数据样本；数据零均值化为：对每个图像数据样本，将其各维度的数据都减去该维度数据的平均值，这样就把图像数据样本各维度的数据都中心化到0，其表达式如下：其中，N表示图像数据样本总数，x
i
表示图像数据样本的第i维度数值，表示第j图像数据样本的第i维度数值，x'
i
表示零均值化处理后的图像数据样本的第i维度数值。3.根据权利要求1所述的基于目标截取和灭点混合计算的图像矫正方法，其特征在于，利用目标检测模型从图像中截取目标图像，包括：通过特征提取网络对预处理后的图像数据进行特征提取，得到特征图C1；通过多尺度特征预测网络对特征图C1进行特征预测，得到特征预测层C2，在特征预测层C2上形成大小不同的先验框，选取损失最小的先验框截取出目标图像。4.根据权利要求1所述的基于目标截取和灭点混合计算的图像矫正方法，其特征在于，对目标图像进行高斯滤波处理，包括：采用高斯函数作为滤波核，在空间域上与目标图像进行卷积操作，其中，高斯函数的表达式如下：其中，G(i,j)为高斯滤波核(i,j)坐标位置的权重值，σ为高斯函数的标准差，k为高斯滤波核半径；对于图像中的每个像素点，计算其与高斯核的加权平均值，表达式如下：
其中，I'(x,y)为图像中像素点(x,y)与高斯滤波核的加权平均值，G(m,n)为高斯滤波核(m,n)坐标位置的权重值，I(x+m,y+n)为图像中像素点(x+m,y+n)坐标位置的像素值。5.根据权利要求1所述的基于目标截取和灭点混合计算的图像矫正方法，其特征在于，计算经高斯滤波图像处理后的目标图像中每个像素点的梯度幅值和方向对目标图像边缘进行定位，得到边缘检测输出图，包括：通过Sobel算子分别在水平和垂直方向上进行卷积操作，得到像素点的梯度幅值和方向；对于每一个像素点，检查其在梯度方向上的两个相邻点，若当前像素点的梯度幅值比它在梯度方向上的两个相邻点的梯度幅值都大，则保留该像素点，否则，抑制该像素点，即将这个像素点的梯度幅值设置为0；设定梯度幅值的高阈值和低阈值，将像素点的梯度幅值和阈值进行比较，大于高阈值的为强边缘点，小于低阈值的非边缘点，介于两者之间的为弱边缘点；对于非边缘点则直接抑制掉，即将该像素点梯度幅值设置为0；对于弱边缘点，先检查其相邻点是否有强边缘点，若有则认为其是强边缘点，若没有则抑制该像素点；依次连接强边缘点得到边缘检测输出图，并保留在连接过程中形成的直线段的长度及起始坐标信息。6.根据权利要求1所述的基于目标截取和灭点混合计算的图像矫正方法，其特征在于，对边缘检测输出图进行直线拟合，计算拟合直线的交点坐标，即为灭点，集合所有灭点坐标，得到灭点向量数据，包括：设定直线段的长度，保留长度大于设定值的直线段，剔除掉过短的直线段，对保留的直线段数据集合进行直线拟合，得到每条直线的斜率和截距参数；对于拟合直线，两两计算其交点坐标，交点即为灭点，所有交点信息组成灭点向量数据。7.根据权利要求1所述的基于目标截取和灭点混合计算的图像矫正方法，其特征在于，在预处理后的图像数据中选取一张图像数据，利用灭点混合计算模型对其进行特征提取后与灭...

【专利技术属性】
技术研发人员：高扬华，陆海良，金泳，许珍珍，
申请(专利权)人：浙江中烟工业有限责任公司，
类型：发明
国别省市：