图像矫正处理方法及装置制造方法及图纸

本发明专利技术实施例提供一种图像矫正处理方法及装置，其中，能够通过计算待处理图像中每个图像点对应的图像视角，将待处理图像中图像视角小于等于预设视角的图像点使用第一畸变子模型进行矫正处理，将图像视角大于预设视角的图像点使用第二畸变子模型进行矫正处理，能够对畸变程度不同的图像点利用不同的畸变模型进行精准矫正，有效降低了使用同一内参畸变模型对图像点进行矫正带来的矫正不准确的问题，进而有利于视觉任务的测距或检测等应用。进而有利于视觉任务的测距或检测等应用。进而有利于视觉任务的测距或检测等应用。

【技术实现步骤摘要】
图像矫正处理方法及装置


[0001]本专利技术涉及相机
，尤其是涉及一种图像矫正处理方法及装置。

技术介绍

[0002]基于视觉的目标感知是自动驾驶环境感知的重要组成部分，其中，相机内参数标定是视觉感知最基础的部分。
[0003]然而，现有相机均用统一的内参畸变模型进行内参标定，因此，相机在对拍摄到的图像的图像点进行畸变矫正处理时，无论是对图像中距离相机镜头中心区域较近的图像(图像畸变较小)还是对距离相机中心区域较近的图像(图像畸变较大)均用同一内参模型对图像进行畸变矫正处理，致使存在对图像矫正过度或矫正不及等情况，影响后续利用图像进行目标检测或测距等应用。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种图像矫正处理方法及装置，以缓解上述技术问题。
[0005]第一方面，本专利技术实施例提供了一种图像矫正处理方法，其中，上述方法应用于相机的处理器，处理器存储有预先标定的相机畸变优化模型，相机畸变优化模型包括第一畸变子模型和第二畸变子模型，其中，第一畸变子模型对应的相机视角小于或等于预设视角，第二畸变子模型对应的相机视角大于预设视角，第二畸变子模型的非线性畸变矫正能力超过第一畸变子模型的非线性畸变矫正能力；上述方法包括：获取待处理图像；计算待处理图像中每个图像点对应的图像视角，其中，图像视角为图像点与光轴的夹角；利用第一畸变子模型对图像视角小于或等于预设视角的图像点进行矫正处理；利用第二畸变子模型对图像视角大于预设视角的图像点进行矫正处理。
[0006]结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，计算待处理图像中每个图像点对应的图像视角的步骤，包括：将待处理图像中每个图像点作为目标图像点，对于每个目标图像点均执行以下操作：提取目标图像点的像素坐标信息，得到目标图像点的像素坐标信息；基于像素坐标信息、图像中心点坐标信息、像素大小计算目标图像点在相机成像面上的坐标信息；根据坐标信息计算目标图像点距离图像中心点的距离平方值；基于距离平方值和焦距计算目标图像点对应的图像视角。
[0007]结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，通过下式计算目标图像点在相机成像面上的坐标信息：x
d
＝(x
p-x
c
)*pixel_size；y
d
＝(y
p-y
c
)*pixel_size；其中，x
p
表示像素坐标信息中的横坐标，y
p
表示像素坐标信息的纵坐标，x
d
表示在相机成像面上的坐标信息中的横坐标，y
d
表示在相机成像面上的坐标信息中的纵坐标，pixel_size表示像素大小；x
c
表示图像中心点坐标信息中的横坐标，y
c
表示图像中心点坐标信息中的纵坐标；通过下式计算目标图像点距离图像中心点的距离平方值：R2＝(x
d
+y
d
)2；其中，R表示目标图像点距离图像中心点的距离；通过下式
计算目标图像点对应的图像视角：θ
out1
＝arctan(R/f)；其中，θ
out1
表示图像视角。
[0008]结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，相机畸变优化模型的标定步骤，包括：获取由相机多角度拍摄棋盘格得到的棋盘格图像集；其中，棋盘格图像集包括多个棋盘格图像；将根据棋盘格图像中的角点像素坐标计算角点视角；其中，角点视角为角点与光轴的夹角；棋盘格图像集中角点视角小于或等于预设视角的所有角点构成第一角点对集，将角点视角大于预设视角的角点构成第二角点对集；其中，第一角点集中的每个第一角点对是由角点像素坐标和角点世界坐标构成，且，第二角点集中的每个第二角点对是由角点像素坐标和角点世界坐标构成；利用第一角点对集对第一畸变子模型的第一内参进行标定，利用第二角点集对第二畸变子模型的第二内参进行标定，以得到标定好的相机畸变优化模型。
[0009]结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，在利用第一角点对集对第一畸变子模型的第一内参进行标定，利用第二角点集对第二畸变子模型的第二内参进行标定之前，上述方法还包括：基于预先存储的畸变列表分别拟合第一畸变子模型和第二畸变子模型，得到第一畸变初始子模型的第一内参初始值和第二畸变初始子模型的第二内参初始值；其中，畸变列表中存储有多个特定入射角，以及与特定入射角对应的近轴距离，近轴距离为畸变图像点与图像中心点的距离；利用张正友模型对相机的外参进行标定，得到外参初始值；其中，第一畸变子模型和第二畸变子模型对应同一外参初始值。
[0010]结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，基于预先存储的畸变列表分别拟合第一畸变子模型和第二畸变子模型，得到第一畸变初始子模型的第一内参初始值和第二畸变初始子模型的第二内参初始值的步骤，包括：基于相机的焦距和特定入射角对应的近轴距离计算特定入射角对应的目标视角；将畸变列表中小于或等于预设视角的特定入射角，以及特定入射角对应的目标视角拟合第一畸变子模型，以得到第一畸变子模型的第一内参初始值；将畸变列表中大于预设视角的特定入射角，以及特定入射角对应的目标视角拟合第二畸变子模型，以得到第二畸变子模型的第二内参初始值。
[0011]结合第一方面的第五种可能的实施方式，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，通过下式计算特定入射角对应的目标视角；θ
out
＝arctan(r
d
/f)；其中，θ
out
表示目标视角，r
d
表示近轴距离，f表示相机的焦距。
[0012]结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，利用第一角点对集对第一畸变子模型的第一内参进行标定的步骤，包括：基于第一内参初始值、外参初始值和第一角点对集计算每个角点对应的重投影像素坐标，并与角点真实的像素坐标做差值，得到重投影误差；通过最小化重投影误差对第一内参初始值和外参初始值进行优化，得到第一内参，以实现对第一畸变子模型的第一内参进行标定。
[0013]结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第八种可能的实施方式，其中，利用第二角点对集对第二畸变子模型的第二内参进行标定的步骤，包括：基于第二内参初始值、外参初始值和第二角点对集计算每个角点对中角点的重投影像素坐标，并与角点真实的像素坐标做差值，得到重投影误差；通过最小化重投影误差对第
二内参初始值和外参初始值进行优化，得到第二内参，以实现对第二畸变子模型的第二内参进行标定。
[0014]第二方面，本专利技术实施例还提供一种图像矫正处理装置，其中，该装置应用于相机的处理器，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像矫正处理方法，其特征在于，所述方法应用于相机的处理器，所述处理器存储有预先标定的相机畸变优化模型，所述相机畸变优化模型包括第一畸变子模型和第二畸变子模型，其中，所述第一畸变子模型对应的相机视角小于或等于预设视角，所述第二畸变子模型对应的相机视角大于预设视角，所述第二畸变子模型的非线性畸变矫正能力超过所述第一畸变子模型的非线性畸变矫正能力；所述方法包括：获取待处理图像；计算所述待处理图像中每个图像点对应的图像视角，其中，所述图像视角为图像点与光轴的夹角；利用所述第一畸变子模型对图像视角小于或等于所述预设视角的图像点进行矫正处理；利用所述第二畸变子模型对图像视角大于所述预设视角的图像点进行矫正处理。2.根据权利要求1所述的方法，其特征在于，计算所述待处理图像中每个图像点对应的图像视角的步骤，包括：将所述待处理图像中每个图像点作为目标图像点，对于每个所述目标图像点均执行以下操作：提取所述目标图像点的像素坐标信息，得到目标图像点的像素坐标信息；基于所述像素坐标信息、图像中心点坐标信息、像素大小计算所述目标图像点在相机成像面上的坐标信息；根据所述坐标信息计算所述目标图像点距离图像中心点的距离平方值；基于所述距离平方值和焦距计算所述目标图像点对应的图像视角。3.根据权利要求2所述的方法，其特征在于，通过下式计算所述目标图像点在相机成像面上的坐标信息：x
d
＝(x
p-x
c
)*pixel_size；y
d
＝(y
p-y
c
)*pixel_size；其中，x
p
表示所述像素坐标信息中的横坐标，y
p
表示所述像素坐标信息的纵坐标，x
d
表示在相机成像面上的坐标信息中的横坐标，y
d
表示在相机成像面上的坐标信息中的纵坐标，pixel_size表示所述像素大小；x
c
表示所述图像中心点坐标信息中的横坐标，y
c
表示所述图像中心点坐标信息中的纵坐标；通过下式计算所述目标图像点距离图像中心点的距离平方值：R2＝(x
d
+y
d
)2；其中，R表示目标图像点距离图像中心点的距离；通过下式计算所述目标图像点对应的图像视角：θ
out1
＝arctan(R/f)；其中，θ
out1
表示所述图像视角。4.根据权利要求1所述的方法，其特征在于，所述相机畸变优化模型的标定步骤，包括：获取由所述相机多角度拍摄棋盘格得到的棋盘格图像集；其中，所述棋盘格图像集包括多个棋盘格图像；根据所述棋盘格图像中的角点像素坐标计算角点视角；其中，所述角点视角为所述角点与光轴的夹角；将所述棋盘格图像集中角点视角小于或等于所述预设视角的所有角点构成第一角点
对集，将所述角点视角大于所述预设视角的所述角点构成第二角点对集；其中，所述第一角点集中的每个第一角点对是由角点像素坐标和角点世界坐标构成，且，所述第二角点集中的每个第二角点对是由角点像素坐标和角点世界坐标构成；利用所述第一角点对集对所述第一畸变子模型的第一内参进行标定，利用所述第二角点集对所述第二畸变子模型的第二内参进行标定，以得到标定好的所述相机畸变优化模型。5.根据权利要求4所述的方法，...

【专利技术属性】
技术研发人员：唐莹莉，韩志华，徐超，郭立群，
申请(专利权)人：苏州挚途科技有限公司，
类型：发明
国别省市：