图像畸变修正方法、装置、电子设备及可读存储介质制造方法及图纸

本申请实施例提供一种图像畸变修正方法、装置、电子设备及可读存储介质，通过对待修正图像进行人脸识别，得到待修正图像中至少两个人脸对应的人脸框信息和人脸关键点，然后根据识别到的每个人脸对应的人脸框信息确定待修正图像中的待修正人脸，并计算待修正人脸与摄像镜头的相对距离系数，之后根据相对距离系数对待修正人脸进行畸变修正，得到畸变修正后的目标图像。如此，能够在多人自拍合照时实时自动地识别待修正人脸进行畸变矫正，从而优化多人自拍合照场景中的拍摄效果。

Image distortion correction methods, devices, electronic devices and readable storage media

【技术实现步骤摘要】
图像畸变修正方法、装置、电子设备及可读存储介质
本申请涉及图形图像处理
，具体而言，涉及一种图像畸变修正方法、装置、电子设备及可读存储介质。
技术介绍
目前，使用电子设备(例如智能手机、平板电脑等)的前置摄像头进行多人自拍合照是拍照中的一个重要使用场景，该场景中拍摄者大多需要自己手持电子设备拍摄。然而，由于人体手臂长度的限制，拍摄者距离镜头的物理距离通常无法超过手臂的长度，而合照中的其他人员则没有手持电子设备的物理限制，可以自由活动选择合适的位置进行拍摄。此时，合照内的拍摄者通常是距离镜头最近的人，这样会导致多人自拍合照时，手持电子设备的拍摄者的脸部会发生畸变，这个畸变在多人合照时对比会更加明显，导致在多人自拍合照的场景中，拍摄者的脸部会相对其他人显得比较异常，影响拍摄效果。
技术实现思路
有鉴于此，本申请实施例的目的在于提供一种图像畸变修正方法、装置、电子设备及可读存储介质，能够在多人自拍合照时实时自动地识别待修正人脸进行畸变矫正，从而优化多人自拍合照场景中的拍摄效果。根据本申请实施例的一个方面，提供一种电子设备，可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可执行指令。当电子设备运行时，处理器执行所述机器可执行指令，以执行图像畸变修正方法。根据本申请实施例的另一方面，提供一种图像畸变修正方法，应用于电子设备，所述方法包括：对待修正图像进行人脸识别，得到所述待修正图像中至少两个人脸对应的人脸框信息和人脸关键点；根据识别到的每个人脸对应的人脸框信息确定所述待修正图像中的待修正人脸，并计算所述待修正人脸与摄像镜头的相对距离系数；根据所述相对距离系数对所述待修正人脸进行畸变修正，得到畸变修正后的目标图像。在一种可能的实施方式中，所述对待修正图像进行人脸识别，得到所述待修正图像中至少两个人脸对应的人脸框信息和人脸关键点的步骤，包括：在检测到相机开启指令后，开启摄像头并进入拍摄预览界面；针对所述拍摄预览界面中的每帧待修正图像，通过预先训练得到的人脸识别模型对该帧待修正图像进行人脸识别，得到该帧待修正图像中每个人脸对应的人脸框信息和人脸关键点；其中，所述人脸识别模型利用多个训练样本和各个训练样本的标注数据基于深度学习的神经网络训练获得，其中，各个训练样本的标注数据包括该训练样本中各个人脸对应的人脸框信息和人脸关键点。在一种可能的实施方式中，所述根据识别到的每个人脸对应的人脸框信息确定所述待修正图像中的待修正人脸，并计算所述待修正人脸与摄像镜头的相对距离系数的步骤之前，所述方法还包括：针对每个人脸，根据该人脸对应的人脸框信息裁剪出对应的人脸图像；根据该人脸对应的人脸关键点，利用仿射矩阵将该人脸图像旋转到设定位置。在一种可能的实施方式中，所述方法还包括：针对旋转后的每个人脸图像，采用预先训练的年龄预估模型对该人脸图像进行识别，得到该人脸图像中的人脸年龄；判断该人脸图像中的人脸年龄是否大于设定年龄；若该人脸图像中的人脸年龄小于设定年龄，则根据该人脸图像中的人脸年龄对该人脸图像的人脸框大小进行矫正。在一种可能的实施方式中，所述电子设备中预先存储有每个人脸年龄对应的人脸周长的中位数，所述根据该人脸图像中的人脸年龄对该人脸图像的人脸框大小进行矫正的步骤，包括：获取该人脸图像中的人脸年龄对应的人脸周长的第一中位数以及所述设定年龄对应的人脸周长的第二中位数；根据所述第一中位数和所述第二中位数计算得到人脸框矫正系数；根据所述人脸框矫正系数对该人脸图像的人脸框大小进行矫正。在一种可能的实施方式中，所述根据识别到的每个人脸对应的人脸框信息确定所述待修正图像中的待修正人脸，并计算所述待修正人脸与摄像镜头的相对距离系数的步骤，包括：根据所述每个人脸对应的人脸框信息，确定人脸框面积最大的人脸为待修正人脸；计算所述待修正人脸与摄像镜头的相对距离系数。在一种可能的实施方式中，所述计算所述待修正人脸与摄像镜头的相对距离系数的步骤，包括：根据所述每个人脸对应的人脸框信息，计算识别到的所有人脸对应的人脸框的平均面积；计算每个人脸对应的人脸框的面积与所述平均面积的差值平方值之和；根据所述差值平方值之和计算所述待修正人脸与摄像镜头的相对距离系数，具体计算公式为：其中，d为所述待修正人脸与摄像镜头的相对距离系数，N为人脸数量，xi为第i个人脸框的面积，r为所有人脸对应的人脸框的平均面积；或者获取所述待修正人脸之外的其它人脸的人脸框对应的中位数面积和最大数面积；计算所述中位数面积与所述待修正人脸的人脸框面积的第一比值以及所述最大数面积与所述待修正人脸的人脸框面积的第二比值；根据预设的第一比值和第二比值各自对应的权重系数、所述第一比值和所述第二比值计算所述待修正人脸与摄像镜头的相对距离系数，具体计算公式为：其中，d为所述待修正人脸与摄像镜头的相对距离系数，amax为所述待修正人脸之外的其它人脸的人脸框对应的最大数面积，amid为所述待修正人脸之外的其它人脸的人脸框对应的中位数面积，K为0到1之间的常数。在一种可能的实施方式中，所述电子设备预先存储有多个预设距离系数对应的畸变修正参数，所述根据所述相对距离系数对所述待修正人脸进行畸变修正，得到畸变修正后的目标图像的步骤，包括：获取所述相对距离系数所在的预设距离系数范围，所述预设距离系数范围包括第一端点和第二端点，所述第一端点小于所述第二端点；计算所述相对距离系数与所述第一端点的第一差值、所述第二端点与所述第一端点的第二差值以及所述第二端点对应的畸变修正参数与所述第一端点对应的畸变修正参数的第三差值；根据所述第一端点、所述第一差值、所述第二差值以及所述第三差值计算得到对应的目标畸变修正参数；根据所述目标畸变修正参数对所述待修正人脸进行畸变修正，得到畸变修正后的目标图像；其中，所述目标畸变修正参数通过以下计算公式得到：其中，z为目标畸变修正参数，d为所述待修正人脸与摄像镜头的相对距离系数，d1为所述第一端点，d2为所述第二端点，c1为所述第一端点对应的畸变修正参数，c2为所述第一端点对应的畸变修正参数。在一种可能的实施方式中，所述根据所述目标畸变修正参数对所述待修正人脸进行畸变修正，得到畸变修正后的目标图像的步骤，包括：建立所述待修正人脸的人脸网格，并确定所述人脸网格中的各个约束点；根据所述目标畸变修正参数计算所述人脸网格中的各个约束点的约束形变量；根据计算的各个约束点的约束形变量对各个约束点的坐标进行调整，得到调整后的人脸网格；将所述待修正人脸映射到所述调整后的人脸网格，得到畸变修正后的目标图像。在一种可能的实施方式中，所述方法还包括：将畸变修正后的每张目标图像实时显示在所述拍摄预览界面中，并在检测到拍摄指令时，将当前显示在所述拍摄预览界面中的目标图像作为拍摄图像并存储在所述电子设备中。根据本申请实施例的另一方面，提供一种图像畸变修正装置，应用于电子设备，所述装置包括：识别模块，用于对待修正图像进行人脸识别，得到所述待修正图像中至少两个人脸对应的人脸框信息和人脸关键点；计算模块，用于根据识别到的每个人脸对应的人脸框信息确定所述待修正图像中的待修正人脸，并计算所述待修正人脸与摄像镜头的相对距离系数；畸变修正模块，用于根据所述相对距离系数对所述本文档来自技高网...

【技术保护点】
1.一种图像畸变修正方法，其特征在于，应用于电子设备，所述方法包括：对待修正图像进行人脸识别，得到所述待修正图像中至少两个人脸对应的人脸框信息和人脸关键点；根据识别到的每个人脸对应的人脸框信息确定所述待修正图像中的待修正人脸，并计算所述待修正人脸与摄像镜头的相对距离系数；根据所述相对距离系数对所述待修正人脸进行畸变修正，得到畸变修正后的目标图像。

【技术特征摘要】
1.一种图像畸变修正方法，其特征在于，应用于电子设备，所述方法包括：对待修正图像进行人脸识别，得到所述待修正图像中至少两个人脸对应的人脸框信息和人脸关键点；根据识别到的每个人脸对应的人脸框信息确定所述待修正图像中的待修正人脸，并计算所述待修正人脸与摄像镜头的相对距离系数；根据所述相对距离系数对所述待修正人脸进行畸变修正，得到畸变修正后的目标图像。2.根据权利要求1所述的图像畸变修正方法，其特征在于，所述对待修正图像进行人脸识别，得到所述待修正图像中至少两个人脸对应的人脸框信息和人脸关键点的步骤，包括：在检测到相机开启指令后，开启摄像头并进入拍摄预览界面；针对所述拍摄预览界面中的每帧待修正图像，通过预先训练得到的人脸识别模型对该帧待修正图像进行人脸识别，得到该帧待修正图像中每个人脸对应的人脸框信息和人脸关键点；其中，所述人脸识别模型利用多个训练样本和各个训练样本的标注数据基于深度学习的神经网络训练获得，其中，各个训练样本的标注数据包括该训练样本中各个人脸对应的人脸框信息和人脸关键点。3.根据权利要求1所述的图像畸变修正方法，其特征在于，所述根据识别到的每个人脸对应的人脸框信息确定所述待修正图像中的待修正人脸，并计算所述待修正人脸与摄像镜头的相对距离系数的步骤之前，所述方法还包括：针对每个人脸，根据该人脸对应的人脸框信息裁剪出对应的人脸图像；根据该人脸对应的人脸关键点，利用仿射矩阵将该人脸图像旋转到设定位置。4.根据权利要求3所述的图像畸变修正方法，其特征在于，所述方法还包括：针对旋转后的每个人脸图像，采用预先训练的年龄预估模型对该人脸图像进行识别，得到该人脸图像中的人脸年龄；判断该人脸图像中的人脸年龄是否大于设定年龄；若该人脸图像中的人脸年龄小于设定年龄，则根据该人脸图像中的人脸年龄对该人脸图像的人脸框大小进行矫正。5.根据权利要求4所述的图像畸变修正方法，其特征在于，所述电子设备中预先存储有每个人脸年龄对应的人脸周长的中位数，所述根据该人脸图像中的人脸年龄对该人脸图像的人脸框大小进行矫正的步骤，包括：获取该人脸图像中的人脸年龄对应的人脸周长的第一中位数以及所述设定年龄对应的人脸周长的第二中位数；根据所述第一中位数和所述第二中位数计算得到人脸框矫正系数；根据所述人脸框矫正系数对该人脸图像的人脸框大小进行矫正。6.根据权利要求1-5中任意一项所述的图像畸变修正方法，其特征在于，所述根据识别到的每个人脸对应的人脸框信息确定所述待修正图像中的待修正人脸，并计算所述待修正人脸与摄像镜头的相对距离系数的步骤，包括：根据所述每个人脸对应的人脸框信息，确定人脸框面积最大的人脸为待修正人脸；计算所述待修正人脸与摄像镜头的相对距离系数。7.根据权利要求6所述的图像畸变修正方法，其特征在于，所述计算所述待修正人脸与摄像镜头的相对距离系数的步骤，包括：根据所述每个人脸对应的人脸框信息，计算识别到的所有人脸对应的人脸框的平均面积；计算每个人脸对应的人脸框的面积与所述平均面积的差值平方值之和；根据所述差值平方值之和计算所述待修正人脸与摄像镜头的相对距离系数，具体计算公式为：其中，d为所述待修正人脸与摄像镜头的相对距离系数，N为人脸数量，xi为第i个人脸框的面积，r为所有人脸对应的人脸框的平均面积；或者获取所述待修正人脸之外的其它人脸的人脸框对应的中位数面积和最大数面积；计算所述中位数...

【专利技术属性】
技术研发人员：叶唐陟，吴棨贤，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建,35