一种基于GAN与Mediapipe的人像调整方法及系统技术方案

本发明专利技术提供一种基于GAN与Mediapipe的人像调整方法及系统，包括：获得预设平均脸，通过收集不同风格的人像图片并进行归类，识别不同类别的人像图片的特征点，根据所述特征点对图像进行映射和对齐，对所述人像图像加权平均后，即可获得所述预设平均脸；提取人脸特征，基于Mediapipe对用户输入待调整图片中的相关图像与目标标准脸进行特征点检测，获得所述特征点的三维坐标；根据所述特征点的坐标，计算两张脸之间的距离D，确定每个特征点的移动方向与距离，对待调整的图片进行调整，获得变形后的图片，对所述变形后的图片进行插值运算，获得调整后的图片，满足批量定制的多元大众人像五官与脸型调整需求。五官与脸型调整需求。五官与脸型调整需求。

【技术实现步骤摘要】
一种基于GAN与Mediapipe的人像调整方法及系统


[0001]本专利技术涉及图像处理
，特别涉及一种基于GAN与Mediapipe的人像调整方法。

技术介绍

[0002]随着硬件与软件技术的不断发展，人像照片数据体量飞速增长，大量用户通过专业设备或移动设备即可获取人像数据资源。随着社交网络的丰富拓展，出于社交需求，人们对人像照片的美化提出了更高的要求，五官与脸型的调整功能成为修图软件提供的主要功能之一，针对非专业的用户的大量与批量化的生产需求，提供自动化的、可选的五官与脸型美化调整功能成为重要的方向。
[0003]目前五官与脸型美化自动调整算法多基于图像液化变型处理等传统算法，存在以下缺点：1、自动调整算法通常只针对某一特征或五官进行局部调整，如自动大眼、自动瘦脸等，如果缺少整体面部特征调整，会导致调整过程中五官比例失衡等问题。2、自动调整算法无法判断五官与脸型的调整程度，导致出现不符合大众审美的夸张调整结果出现，如“蛇精脸”与过大的眼睛。3、自动调整算法通常拥有唯一变换方向调整的功能，如瘦脸颊、放大眼睛等，但是无法囊括所有的审美需求，用户只能通过手动方式进行调整。4、自动调整算法无法根据用户需求进行调整，由于标准脸样本的缺失，导致用户通常只能选择算法提供的结果而无法根据自身需求进行自动调整需求，如缺少针对婚纱照调整等有批量定制调整方向需求的算法。
[0004]因此在这样的背景下，亟需一种能够满足多元大众需求、能够完成批量定制调整方向的算法，同时可以兼顾到大众审美。

技术实现思路
<br/>[0005]有鉴于此，本专利技术提供一种基于GAN与Mediapipe的人像调整方法，可以解决人像美化中五官与脸型智能自动调整问题，提供多种标准脸型模板并可自定义脸型模板调整，提高人脸美型功能使用者的体验感。
[0006]其中，GAN全称为Generative Adversarial Networks,译为生成对抗网络，多用于图像生成、风格迁移等图像处理领域，通过GAN网络可以生成大量图像数据，扩充数据集，从而解决输入数据量不够的问题，从而满足用户只提供少量数据即可达到定制化效果的需求。
[0007]Mediapipe为开源项目框架，可以提供多种人工智能功能，并且有良好的可迁移性，Mediapipe提供的人脸特征点识别算法可识别468个特征点，并通过3D建模获得每个特征点的三维坐标，相比于dlib等传统算法能够提供更多人脸特征信息，从而使得调整后的图像更加自然，符合大众审美。
[0008]因此，本专利技术提出的基于GAN与Mediapipe的五官与脸型调整算法，通过计算平均脸作为调整模板，可以对五官与脸型进行整体校正，避免过度调整，能够根据用户定制需求
批量化进行调整，并生成自然且符合大众审美的调整图像。
[0009]根据本专利技术的第一方面，提供一种基于GAN与Mediapipe的人像调整方法，包括：步骤101：获得预设平均脸，通过收集不同风格的人像图片并进行归类，识别不同类别的人像图片的特征点，根据所述特征点对图像进行映射和对齐，对所述人像图像加权平均后，即可获得所述预设平均脸；步骤102：提取人脸特征，基于Mediapipe对用户输入待调整图片中的相关图像与目标标准脸进行特征点检测，获得所述特征点的三维坐标；步骤103：根据所述特征点的坐标，计算两张脸之间的距离D，确定每个特征点的移动方向与距离，对待调整的图片进行调整，获得变形后的图片，对所述变形后的图片进行插值运算，获得调整后的图片。
[0010]进一步地，所述步骤101还包括：通过用户自行上传风格图片获得预设平均脸，将所述风格图片输入至训练好的GAN网络，生成风格类似的人像图片，对生成的人像数据进行特征点识别与对齐，通过加权计算平均值从而获得所述预设平均脸。
[0011]进一步地，所述步骤102还包括：使用Mediapipe对所述用户输入待调整图片与所述预设平均脸进行特征点检测，提取468个特征点，提供更详细的人脸信息。
[0012]进一步地，所述步骤103还包括：根据所述特征点的坐标，计算两张脸之间的距离D，通过距离D确定每个特征点的移动方向与距离，利用三角剖分对整体图片进行调整，调整后的图片进行插值运算，获得调整后的图片。
[0013]根据本专利技术的另一方面，提供一种基于GAN与Mediapipe的人像调整系统，包括：采集模块：用于获得预设平均脸，通过收集不同风格的人像图片并进行归类，识别不同类别的人像图片的特征点，根据所述特征点对图像进行映射和对齐，对所述人像图像加权平均后，即可获得所述预设平均脸；提取模块：和所述采集模块连接，用于提取人脸特征，基于Mediapipe对用户输入待调整图片中的相关图像与目标标准脸进行特征点检测，获得所述特征点的三维坐标；调整模块：和所述调整模块连接，用于根据所述特征点的坐标，计算两张脸之间的距离D，确定每个特征点的移动方向与距离，对待调整的图片进行调整，获得变形后的图片，对所述变形后的图片进行插值运算，获得调整后的图片。
[0014]进一步地，所述采集模块还用于：通过用户自行上传风格图片获得预设平均脸，将所述风格图片输入至训练好的GAN网络，生成风格类似的人像图片，对生成的人像数据进行特征点识别与对齐，通过加权计算平均值从而获得所述预设平均脸。
[0015]进一步地，所述提取模块还用于：使用Mediapipe对所述用户输入待调整图片与所述预设平均脸进行特征点检测，提取468个特征点，提供更详细的人脸信息。
[0016]进一步地，所述调整模块还用于：根据所述特征点的坐标，计算两张脸之间的距离D，通过距离D确定每个特征点的移动方向与距离，利用三角剖分对整体图片进行调整，调整后的图片进行插值运算，获得调整后的图片。
[0017]本专利技术针对现有的自动调整方案无法满足所有用户的需求，以及一些个性化的需求，提出了本申请，基于生成对抗网络与人脸特征点提取的五官与脸型自动调整算法以满足批量定制的多元大众人像五官与脸型调整需求。
[0018]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。
附图说明
[0019]构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0020]图1示出了本专利技术的方法流程图；
[0021]图2示出了本专利技术的另一个方法流程图；
[0022]图3示出了本专利技术的获取预设平均脸的流程图；
[0023]图4示出了本专利技术的人脸特征提取的流程图；
[0024]图5示出了调整图片的流程图；
[0025]图6示出了本申请的系统框图。
具体实施方式
[0026]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术具体实施例及相应的附图对本专利技术技术方案进行清楚、完整地描述。显然，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GAN与Mediapipe的人像调整方法，其特征在于：步骤101：获得预设平均脸，通过收集不同风格的人像图片并进行归类，识别不同类别的人像图片的特征点，根据所述特征点对图像进行映射和对齐，对所述人像图像加权平均后，即可获得所述预设平均脸；步骤102：提取人脸特征，基于Mediapipe对用户输入待调整图片中的相关图像与目标标准脸进行特征点检测，获得所述特征点的三维坐标；步骤103：对待调整的图片进行调整，根据所述特征点的坐标，计算两张脸之间的距离D，确定每个特征点的移动方向与距离，对所述待调整的图片进行调整，获得变形后的图片，对所述变形后的图片进行插值运算，获得调整后的图片。2.如权利要求1所述的方法，其特征在于，所述步骤101还包括：通过用户自行上传风格图片获得预设平均脸，将所述风格图片输入至训练好的GAN网络，生成风格类似的人像图片，对生成的人像数据进行特征点识别与对齐，通过加权计算平均值从而获得所述预设平均脸。3.如权利要求1所述的方法，其特征在于，所述步骤102还包括：使用Mediapipe对所述用户输入待调整图片与所述预设平均脸进行特征点检测，提取468个特征点，提供更详细的人脸信息。4.如权利要求1所述的方法，其特征在于，所述步骤103还包括：根据所述特征点的坐标，计算两张脸之间的距离D，通过距离D确定每个特征点的移动方向与距离，利用三角剖分对整体图片进行调整，调整后的图片进行插值运算，获得调整后的图片。5.一种基于...

【专利技术属性】
技术研发人员：鲍思羽，张京辉，王泽众，赵瑞静，陈艺丹，杨东明，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：