图像畸变校正方法及装置制造方法及图纸

本申请提供了图像畸变校正方法及装置，方法包括：对采集的源图像进行光学畸变校正，获得第一校正图像；第一校正图像包括背景区域和具有拉伸变形的人像，拉伸变形的人像至少包括拉伸变形的第一人体区域和拉伸变形的第二人体区域；对第一人体区域、第二人体区域和背景区域进行算法约束校正，获得第二校正图像；算法约束校正采用的约束项分别约束第一人体区域、第二人体区域以及所述背景区域，从而使第一人体区域和第二人体区域的拉伸变形分别得到校正，且背景区域中贯穿人像的图像内容在人眼视觉中无断层现象。本申请能实现较自然的图像畸变校正，提升用户使用体验。

【技术实现步骤摘要】
图像畸变校正方法及装置技术邻域本申请涉及图像处理技术，尤其涉及图像畸变校正方法及装置。
技术介绍
随着信息技术的发展，终端(如手机)集成越来越多的功能，摄影功能已成为终端重要的功能之一。近年来，随着终端镜头视场角越来越大，终端所拍摄图像中的人像图像畸变问题变得越来越显著。图像畸变是由于大视场短焦距光学系统不满足针孔模型，不同视场的主光线通过光学系统后与高斯像面的焦点高度不等于理想像高，使得实际像点偏离理想像点，从而图像中的内容出现拉伸、扭曲等几何形状的变形失真。例如，对于具有广角镜头的手机，能获取较大视场的图像，但也容易引入显著的图像畸变，比如所拍摄图像中位于图像外侧(即视场角度较大)的人像会呈现更大的变形失真。因此，需要对出现图像畸变的图像进行校正，使得图像符合人眼视觉。在一种现有解决方案中，通过检测算法在摄像头采集的源图像(原始图像)中确定出人物矩形区域与背景区域，为人物矩形区域建立单应性约束，以校正人物矩形区域中出现的拉伸变形；通过直线检测算法确定背景区域中的直线区域，为直线区域建立直线性约束，以保证校正后的直线不出现弯曲；还为人物矩形区域与背景区域建立单应性兼容约束，保证这两个区域的直线边界的连续性，从而渲染获得最终的校正图像。然而，由于该方案需要在源图像上标定直线，最终的图像校正效果会受到直线检测精度的影响。另外，该方案只能整体性校正人像，导致最终的人像未能真正符合人眼视觉,如图1中的(1)中的左侧图像为校正前图像，右侧图像为校正后图像，可以看到校正后图像中左边人物身体未能得到校正。此外，该方案还容易导致背景区域出现断层现象，如图1中的(2)中的左侧图像为校正前图像，右侧图像为校正后图像，可以看到校正后图像中人物背景的直线内容出现了断层、不连贯的状况。所以，如何实现较自然的图像畸变校正依然是一种严峻的技术挑战。
技术实现思路
本申请实施例提供了图像畸变校正方法及装置，能够解决现有技术缺陷，实现较自然的图像畸变校正，提升用户使用体验。第一方面，本申请实施例提供了一种图像畸变校正方法，该方法可应用于终端，方法包括：对采集的源图像进行光学畸变校正，获得第一校正图像；所述第一校正图像包括背景区域和具有拉伸变形的人像，所述拉伸变形的人像至少包括拉伸变形的第一人体区域和拉伸变形的第二人体区域；对所述第一人体区域、所述第二人体区域和所述背景区域进行算法约束校正，获得第二校正图像，其中，所述算法约束校正采用的约束项分别约束所述第一人体区域、第二人体区域以及背景区域。具体的，所述第一人体区域、所述第二人体区域对应的约束项是基于不同的投影算法而确定的，从而所述第一人体区域、所述第二人体区域可实现不同变形量，进而使得所述第一人体区域和所述第二人体区域的拉伸变形分别得到校正；所述背景区域的约束项用于约束所述第二校正图像的背景区域，使得所述背景区域的图像内容无扭曲，所述背景区域中贯穿所述人像的图像内容在人眼视觉中无断层现象；所述第一人体区域、所述第二人体区域和所述背景区域之间过渡平滑、自然。可以看到，本申请方案中，终端可对光学畸变校正后的图像(即第一校正图像)分区域(包括第一人体区域，第二人体区域，背景区域)进行算法约束校正处理，其中，对人像的第一人体区域和第二人体区域的约束中，分别基于不同的投影算法进行形状校正，确保人像得到最好的校正。通过对背景图像的约束，确保背景区域的图像内容不会由于前景校正而导致背景扭曲或断层现象。所以实施本申请方案能够确保图像被校正后，人像和背景内容均能自然、连贯、协调，符合人眼视觉习惯，极大提高用户使用体验。基于第一方面，在可能的实施方式中，所述第一校正图像还包括视场边缘区域，视场边缘区域为第一校正图像中位于图像边缘的条带区域；所述对所述第一人体区域、所述第二人体区域和所述背景区域进行算法约束校正，获得第二校正图像，包括：对所述第一人体区域、所述第二人体区域、所述背景区域和所述视场边缘区域进行算法约束校正，获得所述第二校正图像。实施本申请实施例，通过对视场边缘区域进行边界约束，可以减少避免出现视场损失问题，减少裁切带来的内容损失，提高用户使用体验。基于第一方面，在可能的实施方式中，所述第一人体区域包括所述人像的头部区域，所述第二人体区域包括所述人像的身体区域。由于人像的头部区域和身体区域的拉伸变形量和变形方式有所差异，头部区域和身体区域的面积不同，用户对其变形的容忍度有所不同。实施本申请实施例，可对人像的头部区域、身体区域、背景区域和视场边缘区域进行算法约束校正处理，从而能分别针对头部区域和身体区域的变形进行优化，确保人像得到最好的校正。基于第一方面，在可能的实施方式中，所述对所述第一人体区域、所述第二人体区域、所述背景区域和所述视场边缘区域进行算法约束校正，获得所述第二校正图像，包括：确定所述第一校正图像中的所述头部区域、所述身体区域、所述背景区域和所述视觉边缘区域分别对应的初始图像矩阵；构建所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的约束项；以及，构建用于所述第一校正图像的正则约束项；根据所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的约束项和所述正则约束项，以及各个约束项对应的权重系数，获得所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的位移矩阵；根据所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的初始图像矩阵和所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的位移矩阵；通过颜色映射获得所述第二校正图像。具体的，终端可针对人像的头部区域、身体区域、视场边缘区域、背景区域的约束项以及正则约束项设置权重系数，根据各个约束项和对应的权重系数建立约束方程，通过求解该约束方程，就可获得各个区域中的各个像素点的偏移量。根据各个像素点的原始位置和偏移量，就能知道各个像素点在最终校正的图像(即第二校正图像)中的新位置，在新位置进行颜色映射即可获得所述第二校正图像。所以，实施本申请实施例能够自动完成了对图像的校正，算法约束校正过程可基本发生在终端的处理器内部不被用户感知。所以对于用户而言，使用终端拍摄完就能够看到人像效果和背景效果均极佳的矩形图像效果，极大提高了用户使用体验。基于第一方面，在可能的实施方式中，所述根据所述对应的初始图像矩阵和所述对应的位移矩阵，通过颜色映射获得所述第二校正图像，包括：根据所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的初始图像矩阵和所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的位移矩阵，获得所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的目标图像矩阵；根据所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的目标图像矩阵，和，所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的颜色矩阵，获得所述第二校正图像。基于第一方面，在可能的实施方式中，假设算法约束校正后的图本文档来自技高网...

【技术保护点】
1.一种图像畸变校正方法，其特征在于，所述方法包括：/n对采集的源图像进行光学畸变校正，获得第一校正图像；所述第一校正图像包括背景区域和具有拉伸变形的人像，所述拉伸变形的人像至少包括拉伸变形的第一人体区域和拉伸变形的第二人体区域；/n对所述第一人体区域、所述第二人体区域和所述背景区域进行算法约束校正，获得第二校正图像；其中，所述算法约束校正采用的约束项分别约束所述第一人体区域、第二人体区域以及所述背景区域。/n

【技术特征摘要】
1.一种图像畸变校正方法，其特征在于，所述方法包括：
对采集的源图像进行光学畸变校正，获得第一校正图像；所述第一校正图像包括背景区域和具有拉伸变形的人像，所述拉伸变形的人像至少包括拉伸变形的第一人体区域和拉伸变形的第二人体区域；
对所述第一人体区域、所述第二人体区域和所述背景区域进行算法约束校正，获得第二校正图像；其中，所述算法约束校正采用的约束项分别约束所述第一人体区域、第二人体区域以及所述背景区域。


2.根据权利要求1所述的方法，其特征在于，所述第一校正图像还包括视场边缘区域；
所述对所述第一人体区域、所述第二人体区域和所述背景区域进行算法约束校正，获得第二校正图像，包括：
对所述第一人体区域、所述第二人体区域、所述背景区域和所述视场边缘区域进行算法约束校正，获得所述第二校正图像。


3.根据权利要求2所述的方法，其特征在于，所述第一人体区域包括所述人像的头部区域，所述第二人体区域包括所述人像的身体区域。


4.根据权利要求3所述的方法，其特征在于，所述对所述第一人体区域、所述第二人体区域、所述背景区域和所述视场边缘区域进行算法约束校正，获得所述第二校正图像，包括：
构建所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的约束项；
构建用于所述第一校正图像的正则约束项；
根据所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的约束项和所述正则约束项，获得所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的位移矩阵；
根据所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的初始图像矩阵和所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的位移矩阵，通过颜色映射获得所述第二校正图像。


5.根据权利要求4所述的方法，其特征在于，所述根据所述对应的初始图像矩阵和所述对应的位移矩阵，通过颜色映射获得所述第二校正图像，包括：
根据所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的初始图像矩阵和所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的位移矩阵，获得所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的目标图像矩阵；
根据所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的目标图像矩阵，和，所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的颜色矩阵，获得所述第二校正图像。


6.根据权利要求4或5所述的方法，其特征在于，所述头部区域对应的约束项用于：
约束所述头部区域对应的目标图像矩阵逼近为对第一图像矩阵进行几何变换后的图像矩阵，以校正所述头部区域出现的拉伸变形；其中，所述第一图像矩阵是对所述头部区域对应的初始图像矩阵用球面投影算法处理得到的，所述几何变换包括图像旋转、图像平移和图像缩放中的至少一种。


7.根据权利要求4-6任一项所述的方法，其特征在于，所述身体区域对应的约束项用于：
约束所述身体区域对应的目标图像矩阵逼近为对第二图像矩阵进行几何变换后的图像矩阵，以校正所述身体区域出现的拉伸变形；其中，所述第二图像矩阵是对所述身体区域对应的初始图像矩阵用墨卡托投影算法处理得到的，所述几何变换包括图像旋转、图像平移和图像缩放中的至少一种。


8.根据权利要求4-7任一项所述的方法，其特征在于，所述背景区域对应的约束项用于：
约束所述背景区域对应的初始图像矩阵中的像素点发生位移，且位移前所述像素点对应的第一向量和位移后所述像素点对应的第二向量保持平行；其中，所述第一向量表示位移前所述像素点与位移前所述像素点对应的邻域像素点之间的向量；所述第二向量表示位移后所述像素点与位移后所述像素点对应的邻域像素点之间的向量。


9.根据权利要求4-8任一项所述的方法，其特征在于，所述正则约束项用于：
约束所述头部区域、所述身体区域、所述背景区域和所述视场边缘区域分别对应的位移矩阵中的任意两个位移矩阵的差值小于预设阈值。


10.根据权利要求4-9任一项所述的方法，其特征在于，所述视场边缘区域对应的约束项用于：
约束所述视场边缘区域对应的初始图像矩阵中的像素点沿着所述第一校正图像的边缘发生位移。


11.根据权利要求4-10任一项所述的方法，其特征在于，所述视场边缘区域对应的约束项用于：
约束所述视场边缘区域对应的初始图像矩阵中的像素点向所述第一校正图像的外侧发生位移。


12.根据权利要求1-11任一项所述的方法，其特征在于，所述第一校正图像为非矩形图像；
所述获得第二校正图像之后，还包括：
对所述第二校正图像进行裁剪，获得矩形图像。


13.根据权利要求1-11任一项所述的方法，其特征在于，所述对采集的源图像进行光学畸变校正，获得第一校正图像，包括：
对采集的源图像进行光学畸变校正，获得非矩形图像；
将所述非矩形图像裁剪成为矩形图像，所述第一校正图像为所述矩形图像。


14.根据权利要求1-13任一项所述的方法，其特征在于，
所述第一人体区域所占图像面积和所述第一人体区域的约束项对应的权重系数正相关；
所述第二人体区域所占图像面积和所述第二人体区域的约束项对应的权重系数正相关。


15.根据权利要求1-14任一项所述的方法，其特征在于，
所述第一人体区域的视场角和所述第一人体区域的约束项对应的权重系数正相关；
所述第二人体区域的视场角和所述第二人体区域的约束项对应的权重系数正相关。


16.根据权利要求1-15任一项所述的方法，其特征在于，
所述背景区域的纹理显著性和所述背景区域的约束项对应的权重系数正相关。


17.根据权利要求1-16任一项所述的方法，其特征在于，
所述视场边缘区域存在人像内容时所述视场边缘区域的约束项对应的权重系数，大于所述视场边缘区域不存在人像内容时所述视场边缘区域的约束项对应的权重系数。


18.一种装置，其特征在于，所述装置包括：

【专利技术属性】
技术研发人员：苏忱，彭焕文，彭水燃，曾毅华，郑士胜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44