图像畸变校正方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及一种图像畸变校正方法、装置、电子设备和存储介质。所述方法包括：获取原始图像；原始图像包括背景区域和前景对象区域；对原始图像进行背景畸变校正，以得到第一校正图像；对原始图像进行前景对象畸变校正，以得到第二校正图像；以及融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。采用本方法能够在对原始图像的背景进行畸变校正的同时兼顾前景对象的保型，提升了校正得到的结果图像的显示效果。提升了校正得到的结果图像的显示效果。提升了校正得到的结果图像的显示效果。

【技术实现步骤摘要】
图像畸变校正方法、装置、电子设备和存储介质


[0001]本申请涉及图像处理
，特别是涉及一种图像畸变校正方法、装置、电子设备和存储介质。

技术介绍

[0002]目前越来越多的手机等电子产品中集成了超广角相机模组，超广角相机模组的视场角(Field of View，FOV)一般可大于100
°
，能够获取更宽广的拍照视野，但是，由于相机透镜制造精度以及组装工艺的偏差，超广角相机模组将会引入更多的畸变，导致拍摄的原始图像的失真。
[0003]可以利用相机模组的相机内参对原始图像做相机畸变校正，以消除原始图像中的畸变现象。然而，当原始图像中同时存在背景及背景前方的前景对象例如人像时，通过以上方法对图像进行畸变校正，尽管能改善校正后图像中背景畸变，但由于畸变校正存在类似拉伸的操作，会使得结果图像中的人像等产生变形。

技术实现思路

[0004]基于此，有必要提供改进的图像畸变校正方法。根据本申请的一个方面，提供一种图像畸变校正方法，包括获取原始图像，该原始图像包括背景区域和前景对象区域；对原始图像进行背景畸变校正，以得到第一校正图像；对原始图像进行前景对象畸变校正，以得到第二校正图像；以及融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。
[0005]根据本申请的另一方面，还提供一种图像畸变校正装置，包括：图像获取模块，用于获取原始图像，该原始图像包括背景区域和前景对象区域；第一校正模块，用于对原始图像进行背景畸变校正，以得到第一校正图像；第二校正模块，用于对原始图像进行前景对象畸变校正，以得到第二校正图像；以及图像融合模块，用于融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。
[0006]根据本申请的再一方面，还提供一种电子设备，包括存储器和处理器，存储器与处理器连接，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：获取原始图像，该原始图像包括背景区域和前景对象区域；对原始图像进行背景畸变校正，以得到第一校正图像；对原始图像进行前景对象畸变校正，以得到第二校正图像；以及融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。
[0007]还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取原始图像，该原始图像包括背景区域和前景对象区域；对原始图像进行背景畸变校正，以得到第一校正图像；对原始图像进行前景对象畸变校正，以得到第二校正图像；以及融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。
[0008]上述图像畸变校正方法、装置、电子设备和存储介质，分别对原始图像进行背景畸
变校正以得到第一校正图像,以及对原始图像进行前景对象畸变校正以得到第二校正图像，并基于第一校正图像中的背景区域以及第二校正图像中的前景对象区域进行图像融合，以得到结果图像，从而背景区域和前景对象区域的畸变分别得到针对性的校正，在对原始图像的背景进行畸变校正的同时兼顾前景对象的保型，提升了校正得到的结果图像的呈现效果。
附图说明
[0009]图1为一个实施例中的原始图像；
[0010]图2为一个实施例中的第一校正图像；
[0011]图3为一个实施例中电子设备的示意图；
[0012]图4为一个实施例中畸变校正方法的流程示意图；
[0013]图5为一个实施例中畸变校正方法的原理示意图；
[0014]图6为一个实施例中的第二校正图像；
[0015]图7为一个实施例中图像融合步骤的流程示意图；
[0016]图8为一个实施例中的映射关系网格的示意图。
[0017]图9为一个实施例中的结果图像；
[0018]图10为一个实施例中的畸变校正装置的结构框图；
[0019]图11为一个实施例中的电子设备的内部结构示意图；
[0020]图12为另一个实施例中的电子设备的内部结构示意图。
具体实施方式
[0021]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0022]超广角相机模组拍摄的原始图像通常具有图像畸变。如图1所示，为一个实施例的超广角相机模组拍摄的原始图像。从图1中可以看出，原始图像中背景区域的黑白方格产生了明显的弯曲变形，即图像畸变，而且越远离图像中心具有越严重的畸变。
[0023]为了消除图像中的畸变，可以利用超广角相机模组的内参对原始图像进行相机畸变校正，校正后的图像如图2所示。从图2中可以看出，通过这种方式进行畸变校正后，得到的校正图像中背景区域的黑白方格恢复了平直，即背景畸变消除了，但是背景前方的人像却由于畸变校正的类似拉伸的操作而产生了明显的变形。
[0024]基于此，本申请旨在提供一种图像畸变校正方法，能够在对原始图像中的背景进行畸变校正的同时，兼顾原始图像中前景对象的保型。
[0025]本申请提供的图像畸变校正方法，可以应用于如图3所示的电子设备300中，该电子设备300可以但不限于各种智能手机、数码相机、个人计算机、笔记本电脑、平板电脑等。该电子设备300上可以装载有相机301，该电子设备300通过相机301实时拍摄得到原始图像，并对该原始图像执行本申请实施例的图像畸变校正方法，以对该原始图像进行畸变校正，得到校正后的结果图像。该电子设备300上还可以装载有显示屏302，从而该电子设备300可以将得到的校正后的结果图像实时显示在该显示屏302上以供用户查看。
[0026]在一个实施例中，提供了一种图像畸变校正方法，该方法可以应用于如图1中所示的电子设备300中，如图4和图5所示，该方法包括以下步骤：
[0027]在步骤S402，获取原始图像；其中，原始图像包括背景区域和前景对象区域。
[0028]其中，原始图像是由相机拍摄的未经处理的图像。
[0029]在本申请各个实施例中，相机可以包括能够捕获图像的各类器件，例如摄像头、相机模组等等。
[0030]原始图像可以通过多种途径获取。在本实施例中，以应用于电子设备300中为例，可以是电子设备300的相机301实时拍摄原始图像并将其传输至电子设备300的处理器，从而使得电子设备300获取到原始图像。在其他实施例中，原始图像也可以是从网络下载或者从其他终端设备传输至该电子设备300，或者电子设备300也可以从其自身的存储器中读取原始图像等。
[0031]前景对象是指相机的视野范围内被拍摄的目标对象，例如人像、动物、食物等等。相较于背景而言，前景对象通常在物体空间中距离相机较近。前景对象区域则是相机拍摄的原始图像中，前景对象所占据的像素区域。
[0032]背景是指相机的视野范围内被拍摄的目标对象之外的其它内容，例如远山、天空、建筑等等。相较于前景对象而言，背景通常在物体空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像畸变校正方法，包括：获取原始图像，所述原始图像包括背景区域和前景对象区域；对所述原始图像进行背景畸变校正，以得到第一校正图像；对所述原始图像进行前景对象畸变校正，以得到第二校正图像；以及融合所述第一校正图像中的背景区域以及所述第二校正图像中的前景对象区域，以得到结果图像。2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行前景对象畸变校正，以得到第二校正图像包括：在所述对原始图像进行背景畸变校正，以得到第一校正图像之后，对所述第一校正图像进行前景对象保型处理，以得到第二校正图像。3.根据权利要求1或2所述的方法，其特征在于，所述融合所述第一校正图像中的所述背景区域以及所述第二校正图像中的所述前景对象区域，以得到结果图像包括：建立映射关系网格，所述映射关系网格包括矩阵排布的多个网格点，每个所述网格点代表所述第一校正图像中的一个第一像素坐标与结果图像中对应的一个映射像素坐标之间的映射关系；初始化待求解的网格点；优化每个所述网格点的值，以使得所述结果图像满足约束条件，其中，所述约束条件包括第一约束条件和第二约束条件，所述第一约束条件包括所述结果图像中的前景对象区域是相对于所述第二校正图像做相似变换得到的，所述第二约束条件包括所述结果图像中的背景区域是相对于所述第一校正图像做相似变换得到的；以及利用优化得到的所述每个所述网格点的值，对所述第一校正图像进行映射处理，以得到所述结果图像。4.根据权利要求3所述的方法，其特征在于，所述约束条件还包括第三约束条件，所述第三约束条件包括：所述结果图像中的前景对象区域和背景区域之间平滑变化。5.根据权利要求4所述的方法，其特征在于，所述约束条件还包括第四约束条件，所述第四约束条件包括：所述结果图像中不存在无效区域。6.根据权利要求3所述的方法，其特征在于，所述初始化待求解的网格点包括：针对每个所述网格点分别执行如下操作：获取与当前的网格点对应的第一像素坐标，确定以所述第一像素坐标为中心的预定网格区域内的多个第一像素坐标，并确定第二校正图像中与所述多个第一像素坐标对应的多个第二像素坐标；计算所述多个第一像素坐标与所述多个第二像素坐标的加权平均值；利用所述加权平均值，对当前的所述网格点对应的映射像素坐标进行初始值赋值。7.根据权利要求5所述的方法，其特征在于，所述优化每个所述网格点的值，以使得所述结果图像满足约束条件包括：根据所述约束条件，确定惩罚项；以每个所述网格点的值中的所述映射像素坐标的值作为待求解变量，并结合所述惩罚项，建立优化函数；以及求解所述优化函数的最优解，以确定每个所述网格点的所述值。
8.根据权利要求7所述的方法，其特征在于，所述惩罚项包括根据所述第一约束条件确定的第一惩罚项，所述第一惩罚项的表达式如下：其中，E1为所述第一惩罚项，i代表所述映射关系网格中的网格点i，N为网格点总数，p
i
为第一校正图像中与网格点i对应的第一像素坐标，q
i
为第二校正图像中与网格点i对应的第二像素坐标，p
i
′
为结果图像中与网格点i对应的映射像素坐标，w
i
为前景对象权重，当p
i
属于所述前景对象区域时w
i
＝1，当p
i
属于所述背景区域时w
i
＝0，S
k
为第一校正图像中第k个区域的相似变换矩阵，t
k
为第k个区域的二维平移向量。9.根据权利要求7所述的方法，其特征在于，每个所述网格点的所述惩罚项包括根据所述第二约束条件确定的第二...

【专利技术属性】
技术研发人员：李文学，
申请(专利权)人：黑芝麻智能科技上海有限公司，
类型：发明
国别省市：