一种基于自适应网格的广角人像照片畸变矫正方法技术

一种基于自适应网格的广角人像照片畸变矫正方法，涉及图像变形领域。包括以下步骤：1)输入广角透视图像，设定相关参数；2)计算相应的人像显著性密度图；3)根据密度图生成自适应三角网格剖分；4)根据本发明专利技术提出的度量畸变的能量函数计算三角网格顶点的新位置，并将各顶点移动到相应的新位置上；5)根据三角网格的移动驱动图像变形，重新渲染图片，得到边缘人物无明显变形的广角图片。利用三角网格的强自适应性，可以最大程度地减少三角网格的顶点和面片数，提高最小化畸变的效率，达到良好的视觉效果。能量函数设计具有较强的扩展性，可以加入特定的几何约束，通过适当交互以满足用户的个人需求。解决广角照片边缘处的人像畸变问题。题。

【技术实现步骤摘要】
一种基于自适应网格的广角人像照片畸变矫正方法


[0001]本专利技术涉及图像变形领域，尤其是涉及一种基于自适应网格的广角人像照片畸变矫正方法。

技术介绍

[0002]广角人像照片畸变是图像变形领域的一个重要方向，一般的解决思路是结合不同投影成像模型产生的成像效果分区域进行图片矫正，以保持自然的人像和背景效果。
[0003]透视投影(Perspective Projection)与立体投影(Stereographic Projection)或墨卡托投影(Mercator Projection)的结合是一种主流的结合方式，透视投影具有能够保持相机镜头中直线结构的特点，但缺点是当相机视角较大时图片边缘处会产生明显的拉伸感，导致当有人像在图像边缘时人像会有不自然的拉伸畸变。立体投影和墨卡托投影都是共形变换投影，在成像中可以保持较自然的人像特征，但不能保持背景的直线结构，在立体投影照片中常常将直线被映射成曲线。许多工作将透视投影应用于背景区域，而立体投影应用于人像区域，以保证在矫正畸变人像的同时保持良好的背景效果。
[0004]为了使这两种不同的投影能自然地过渡，现有的方法利用均匀的四边形网格设计相应的能量函数分别度量人像区域和背景区域的畸变程度，通过最小化能量函数求解去除畸变后的网格，根据网格的变形驱动图片的变形。利用网格驱动的变形通常需要较密集的网格以保证变形的效果，而为了确保显著区域的变形，必须保证密集的网格分布。但实际上对于非显著区域，无需太过密集的网格来驱动变形，而均匀的网格分布会使非显著区域也有密集的顶点分布，使用过多顶点将导致在求解最小化畸变的优化问题中消耗更多时间。

技术实现思路

[0005]本专利技术的目的在于针对广角照片边缘处的人像畸变问题，提供将结合透视投影和立体投影对应的成像性质进行广角人像矫正，可根据图像的内容产生自适应的三角剖分结果，在尽可能地减少网格中的顶点数量同时保证在人像区域的高密度网格，以提高求解相应优化问题的运算效率，同时保证较好矫正质量的一种基于自适应网格的广角人像照片畸变矫正方法。
[0006]本专利技术是一种基于内容识别的图像变形方法，包括以下步骤：
[0007]1)输入透视投影图片，输入图像对应的相机参数；
[0008]2)利用人像分割算法计算图片的初始人像蒙版，然后计算人像区域和背景区域之间的过渡区域生成最终的人像蒙版，根据人像蒙版计算每一个像素点的概率密度值，生成图片的概率密度图；
[0009]3)根据人像蒙版生成初始自适应三角网格，再根据步骤2)中的概率密度图利用CVT 方法迭代优化自适应网格；
[0010]4)最小化度量图像畸变的能量函数以去除畸变，得到矫正后的网格；
[0011]5)根据矫正后的网格重新渲染图片，得到去除畸变后的图像。
[0012]在步骤1)中，所述透视投影图片是由透视投影的成像方式得到的广角透视人像图片，要求图片的边缘存在有明显畸变的人像；所述图像对应的相机参数，可以从图片的EXIF信息得到。
[0013]在步骤2)中，所述生成图片的概率密度图的具体步骤可为：首先利用人像分割算法计算图片的初始人像蒙版M0；然后进行蒙版扩展，即计算人像区域和背景区域之间的过渡区域，以防止初始人像蒙版分割得不够准确；蒙版扩展是根据与人像区域之间的最近距离来设定亮度，离初始人像蒙版越近，则亮度越强，最终得到带有过渡区域的人像蒙版M
t
；亮度设置公式为：
[0014][0015]其中，d
i
是在图像I中的像素p
i
距离初始人像蒙版M0的最近距离；
[0016]为了自适应三角网格的生成做准备，根据图像蒙版和对应的径向距离(指图像上某一点到图像中心的距离)设计一个离散的概率密度函数，分别计算每一个像素点的概率密度值，可视化后得到密度图；概率密度计算公式为：
[0017][0018]其中，r
i
是像素点p
i
距离图像中心的径向距离，R
m
是最大径向距离，D
m
是设置的最大概率密度。
[0019]在步骤3)中，所述根据人像蒙版生成初始自适应三角网格，即在人体区域按较小间隔采样，在背景区域按较大间隔采样，将人像区域的采样间隔设为w/50个像素，背景区域的采样间隔为w/20个像素，其中w为图像的宽度，单位为像素；尽管初步采样后生成的Delaunay 三角化网格已经足够达到自适应的效果，在人像区域和背景区域的交界处，依然会出现一些狭长的，无法较好拟合人像轮廓的三角形，因此使用CVT方法对初始的自适应网格进行优化；
[0020]CVT方法是通过计算重心的方法不断更新顶点的位置，使得三角网格的顶点分布可以根据相应的概率密度函数进行调整；计算公式为：
[0021][0022]其中，V为顶点v对应得Voronoi单元区域，ρ为在区域V中定义的概率密度函数，即为步骤 2)中的概率密度计算公式(13)，g为区域V的重心；
[0023]为保证三角网格可以覆盖图片的所有区域，对边界点更新后需要重新投影到边界处；通过2～3次的Lloyd迭代，三角网格在人像区域和背景区域之间的过渡会变得更加平滑，同时也可以更好地拟合人物的轮廓，有益于后序步骤中的畸变矫正。
[0024]在步骤4)中，所述最小化度量图像畸变的能量函数以去除畸变是根据度量畸变的能量函数计算三角网格顶点的新位置，并将各顶点移动到相应的新位置上，具体步骤为：
[0025]分别从人像区域，背景区域和边界区域出发，根据自适应三角网格的特点设计相应的能量函数来度量图像的畸变，将图像矫正问题转化成一个非线性最小二乘问题，要去除畸变只需得到最小二乘的解即可得到矫正后的三角网格：
[0026][0027]其中为最终的矫正的网格顶点位置，E
por
为人像项，E
bac
为背景项，E
bou
为边界项，w
por
， w
bac
，w
bou
分别为对应的权重系数；
[0028]各项能量函数的公式如下：
[0029](1)人像项
[0030][0031]其中，M
d
(v
i
)≠0代表顶点v
i
不在人像或者过渡区域内，ω
i
为顶点v
i
对应的人像权重，权重根据步骤2)中的概率密度函数(13)来设置，s
i
为顶点v
i
对应的立体投影的成像坐标，可由透视投影和立体投影的成像点坐标之间的几何转换得到：
[0032][0033]其中，p
i
为透视投影的成像坐标，s
i
为对应的立体投影的坐标，f为该图片的焦距；S为相似变换矩阵
[0034][0035]t为2维平移向量，通过引入变量S和t可以调整顶点的分布；为人像收缩项，以控制变形后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于包括以下步骤：1)输入透视投影图片，输入图像对应的相机参数；2)利用人像分割算法计算图片的初始人像蒙版，然后计算人像区域和背景区域之间的过渡区域生成最终的人像蒙版，根据人像蒙版计算每一个像素点的概率密度值，生成图片的概率密度图；3)根据人像蒙版生成初始自适应三角网格，再根据步骤2)中的概率密度图利用CVT方法迭代优化自适应网格；4)最小化度量图像畸变的能量函数以去除畸变，得到矫正后的网格；5)根据矫正后的网格重新渲染图片，得到去除畸变后的图像。2.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤1)中，所述透视投影图片是由透视投影的成像方式得到的广角透视人像图片，要求图片的边缘存在有明显畸变的人像。3.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤1)中，所述图像对应的相机参数，从图片的EXIF信息得到。4.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤2)中，所述生成图片的概率密度图的具体步骤为：首先利用人像分割算法计算图片的初始人像蒙版M0；然后进行蒙版扩展，即计算人像区域和背景区域之间的过渡区域，以防止初始人像蒙版分割得不够准确；蒙版扩展是根据与人像区域之间的最近距离来设定亮度，离初始人像蒙版越近，则亮度越强，最终得到带有过渡区域的人像蒙版M
t
；亮度设置公式为：其中，d
i
是在图像I中的像素p
i
距离初始人像蒙版M0的最近距离；根据图像蒙版和对应的径向距离设计一个离散的概率密度函数，分别计算每一个像素点的概率密度值，可视化后得到密度图；概率密度计算公式为：其中，r
i
是像素点p
i
距离图像中心的径向距离，R
m
是最大径向距离，D
m
是设置的最大概率密度。5.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤3)中，所述根据人像蒙版生成初始自适应三角网格，即在人体区域按较小间隔采样，在背景区域按较大间隔采样，将人像区域的采样间隔设为w/50个像素，背景区域的采样间隔为w/20个像素，其中w为图像的宽度，单位为像素。6.如权利要求1所述一种基于自适应网格的广角人像照片畸变矫正方法，其特征在于在步骤3)中，所述CVT方法是通过计算重心的方法不断更新顶点的位置，使得三角网格的顶点分布根据相应的概率密度函数进行调整；计算公式为：
其中，V为顶点v对应得Voronoi单元区域，ρ为在区域V中定义的概率密度函数，即为步骤2)中的概率密度计算公式(...

【专利技术属性】
技术研发人员：曹娟，林槟燕，陈中贵，
申请(专利权)人：厦门大学，
类型：发明
国别省市：