一种图像处理方法和相关装置制造方法及图纸

本申请实施例公开了一种图像处理方法和相关装置，对基准人脸图像编辑人脸变形效果得到基准控制点的基准偏移量，并得到基准人脸图像中基准人脸尺度。在输入人脸图像中人脸相对基准人脸图像中人脸发生侧脸转动，对输入人脸图像应用人脸变形效果时，确定输入人脸尺度、以及二维坐标系中水平轴单位方向向量和垂直轴单位方向向量；以基准人脸尺度、输入人脸尺度、水平轴单位方向向量和垂直轴单位方向向量，按照左半脸区域、中间区域和右半脸区域对应调整基准偏移量，得到对应输入控制点的第一偏移量；通过输入控制点的原始坐标和第一偏移量，对输入人脸图像进行二维人脸变形处理，得到应用人脸变形效果的变形人脸图像。到应用人脸变形效果的变形人脸图像。到应用人脸变形效果的变形人脸图像。

【技术实现步骤摘要】
一种图像处理方法和相关装置


[0001]本申请涉及数据处理
，特别是涉及一种图像处理方法和相关装置。

技术介绍

[0002]目前，在短视频或直播等场景中，用户可以应用人脸特效或人脸美型等人脸变形效果，一般是采用传统二维人脸变形方式，对原始人脸图像编辑人脸变形效果，得到应用上述人脸变形效果的变形人脸图像。
[0003]然而，在短视频或直播等场景中，用户往往进行各种角度人脸转动；针对人脸侧脸转动的人脸图像而言，仍然采用上述传统二维人脸变形方式，无法适应人脸侧脸转动的情况，导致人脸变形扭曲，即，人脸变形效果不够自然平滑。

技术实现思路

[0004]为了解决上述技术问题，本申请提供了一种图像处理方法和相关装置，在应用人脸变形效果时，自适应人脸侧脸转动的情况，以避免人脸变形扭曲，使得人脸变形效果更加自然平滑。
[0005]本申请实施例公开了如下技术方案：
[0006]一方面，本申请提供一种图像处理方法，所述方法包括：
[0007]对输入人脸图像应用人脸变形效果时，获取基准人脸图像中基准控制点的基准偏移量；所述输入人脸图像中人脸相对所述基准人脸图像中人脸发生侧脸转动，所述基准偏移量是对所述基准人脸图像编辑所述人脸变形效果得到的；
[0008]确定基准人脸尺度对应的输入人脸尺度，以及二维坐标系中水平轴单位方向向量和垂直轴单位方向向量；所述基准人脸尺度包括所述基准人脸图像中左半脸区域、中间区域和右半脸区域的预设尺度，所述二维坐标系以所述输入人脸图像中输入人脸旋转方向向量为垂直轴；
[0009]根据所述基准人脸尺度、所述输入人脸尺度、所述水平轴单位方向向量和所述垂直轴单位方向向量，对应所述左半脸区域、所述中间区域和所述右半脸区域调整所述基准偏移量，获得所述基准控制点对应的输入控制点的第一偏移量；
[0010]根据所述输入控制点的原始坐标和所述输入控制点的第一偏移量，对所述输入人脸图像进行二维人脸变形处理，获得应用所述人脸变形效果的变形人脸图像。
[0011]另一方面，本申请提供一种图像处理装置，所述装置包括：获取单元，确定单元、调整单元和变形单元；
[0012]所述获取单元，用于对输入人脸图像应用人脸变形效果时，获取基准人脸图像中基准控制点的基准偏移量；所述输入人脸图像中人脸相对所述基准人脸图像中人脸发生侧脸转动，所述基准偏移量是对所述基准人脸图像编辑所述人脸变形效果得到的；
[0013]所述确定单元，用于确定基准人脸尺度对应的输入人脸尺度，以及二维坐标系中水平轴单位方向向量和垂直轴单位方向向量；所述基准人脸尺度包括所述基准人脸图像中
左半脸区域、中间区域和右半脸区域的预设尺度，所述二维坐标系以所述输入人脸图像中输入人脸旋转方向向量为垂直轴；
[0014]所述调整单元，用于根据所述基准人脸尺度、所述输入人脸尺度、所述水平轴单位方向向量和所述垂直轴单位方向向量，对应所述左半脸区域、所述中间区域和所述右半脸区域调整所述基准偏移量，获得所述基准控制点对应的输入控制点的第一偏移量；
[0015]所述变形单元，用于根据所述输入控制点的原始坐标和所述输入控制点的第一偏移量，对所述输入人脸图像进行二维人脸变形处理，获得应用所述人脸变形效果的变形人脸图像。
[0016]另一方面，本申请提供一种用于图像处理的设备，所述设备包括处理器以及存储器：
[0017]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0018]所述处理器用于根据所述程序代码中的指令执行上述方面所述的方法。
[0019]另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的方法。
[0020]另一方面，本申请实施例提供了一种计算机程序产品，其特征在于，包括计算机程序或指令；当所述计算机程序或指令被处理器执行时，执行上述方面所述的方法。
[0021]由上述技术方案可以看出，预先对基准人脸图像编辑人脸变形效果得到基准控制点的基准偏移量，并得到基准人脸图像中左半脸区域、中间区域和右半脸区域的预设尺度作为基准人脸尺度。在输入人脸图像中人脸相对基准人脸图像中人脸发生侧脸转动，对输入人脸图像应用人脸变形效果时，确定对应基准人脸尺度的输入人脸尺度、二维坐标系中水平轴单位方向向量和垂直轴单位方向向量，二维坐标系以输入人脸图像中输入人脸旋转方向向量为垂直轴；通过基准人脸尺度、输入人脸尺度、水平轴单位方向向量和垂直轴单位方向向量，按照左半脸区域、中间区域和右半脸区域对应调整基准偏移量，得到对应基准控制点的输入控制点的第一偏移量；通过输入控制点的原始坐标和输入控制点的第一偏移量，对输入人脸图像进行二维人脸变形处理，得到应用人脸变形效果的变形人脸图像。
[0022]基于此，先通过输入人脸图像相对基准人脸图像的左半脸区域、中间区域和右半脸区域的预设尺度在水平轴方向、垂直轴方向的变化，自适应调整对基准人脸图像编辑人脸变形效果所得的基准控制点的基准偏移量，得到输入控制点的第一偏移量，以适应人脸侧脸转动的情况；再通过输入控制点的原始坐标和输入控制点的第一偏移量，结合二维人脸变形方式，得到应用人脸变形效果的变形人脸图像。即，该人脸变形方式在应用人脸变形效果时，能够自适应人脸侧脸转动的情况，以避免人脸变形扭曲，使得人脸变形效果更加自然平滑。
附图说明
[0023]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本申请实施例提供的图像处理方法的应用场景示意图；
[0025]图2为本申请实施例提供的一种图像处理方法的流程示意图；
[0026]图3为本申请实施例提供的一种基准人脸图像中基准关键点和基准人脸尺度的示意图；
[0027]图4为本申请实施例提供的一种输入人脸图像中输入关键点和输入人脸尺度的示意图；
[0028]图5为本申请实施例提供的一种图像处理方法的整体流程框架示意图；
[0029]图6为本申请实施例提供的一种图像处理装置的示意图；
[0030]图7为本申请实施例提供的终端设备的结构示意图；
[0031]图8为本申请实施例提供的服务器的结构示意图。
具体实施方式
[0032]下面结合附图，对本申请的实施例进行描述。
[0033]相关技术中，在短视频或直播等场景中，用户应用人脸变形效果时，通常是采用传统二维人脸变形方式，对原始人脸图像编辑人脸变形效果，例如，插值类二维人脸变形算法，或者，三角面片剖分类二维人脸变形算法，得到应用人脸变形效果的变形人脸图像。
[0034]然而，在短视频或直播等场景中，针对人脸侧脸转动得到的人脸图像，在应用人脸变形效果时，若本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：对输入人脸图像应用人脸变形效果时，获取基准人脸图像中基准控制点的基准偏移量；所述输入人脸图像中人脸相对所述基准人脸图像中人脸发生侧脸转动，所述基准偏移量是对所述基准人脸图像编辑所述人脸变形效果得到的；确定基准人脸尺度对应的输入人脸尺度，以及二维坐标系中水平轴单位方向向量和垂直轴单位方向向量；所述基准人脸尺度包括所述基准人脸图像中左半脸区域、中间区域和右半脸区域的预设尺度，所述二维坐标系以所述输入人脸图像中输入人脸旋转方向向量为垂直轴；根据所述基准人脸尺度、所述输入人脸尺度、所述水平轴单位方向向量和所述垂直轴单位方向向量，对应所述左半脸区域、所述中间区域和所述右半脸区域调整所述基准偏移量，获得所述基准控制点对应的输入控制点的第一偏移量；根据所述输入控制点的原始坐标和所述输入控制点的第一偏移量，对所述输入人脸图像进行二维人脸变形处理，获得应用所述人脸变形效果的变形人脸图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述基准人脸尺度、所述输入人脸尺度、所述水平轴单位方向向量和所述垂直轴单位方向向量，对应所述左半脸区域、所述中间区域和所述右半脸区域调整所述基准偏移量，获得所述基准控制点对应的输入控制点的第一偏移量，包括：根据所述水平轴单位方向向量和所述垂直轴单位方向向量对所述基准偏移量进行分解处理，获得所述基准偏移量的水平轴分量和所述基准偏移量的垂直轴分量；根据所述基准人脸尺度和所述输入人脸尺度，对应所述左半脸区域、所述中间区域和所述右半脸区域，调整所述水平轴分量和所述垂直轴分量，获得所述第一偏移量。3.根据权利要求2所述的方法，其特征在于，所述根据所述基准人脸尺度和所述输入人脸尺度，对应所述左半脸区域、所述中间区域和所述右半脸区域，调整所述水平轴分量和所述垂直轴分量，获得所述第一偏移量，包括：根据所述基准人脸尺度和所述输入人脸尺度，对应所述左半脸区域、所述中间区域和所述右半脸区域，确定所述水平轴分量的第一调整系数和所述垂直轴分量的第二调整系数；根据所述第一调整系数调整所述水平轴分量，并根据所述第二调整系数调整所述垂直轴分量，获得所述第一偏移量。4.根据权利要求1
‑
3任意一项所述的方法，其特征在于，所述基准偏移量的获得步骤包括：对所述基准人脸图像编辑所述人脸变形效果，获得所述基准控制点的原始坐标和所述基准控制点的偏移坐标；根据所述基准控制点的原始坐标、所述基准控制点的偏移坐标以及所述基准人脸图像的基准图像尺寸，获得所述基准偏移量。5.根据权利要求4所述的方法，其特征在于，所述对所述基准人脸图像编辑所述人脸变形效果，获得所述基准控制点的原始坐标和所述基准控制点的偏移坐标，包括：对所述基准人脸图像进行人脸关键点检测获得基准关键点；对所述基准人脸图像中所述基准关键点编辑所述人脸变形效果，将移动的基准关键点
确定为所述基准控制点；获得所述基准控制点的原始坐标和所述基准控制点的偏移坐标。6.根据权利要求1所述的方法，其特征在于，所述根据所述输入控制点的原始坐标和所述输入控制点的第一偏移量，对所述输入人脸图像进行二维人脸变形处理，获得应用所述人脸变形效果的变形人脸图像，包括：根据所述输入控制点的原始坐标、所述输入控制点的第一偏移量以及所述输入人脸图像的输入图像尺寸，获得所述输入控制点的偏移坐标；根据所述输入控制点的原始坐标和所述输入控制点的偏移坐标，对所述输入人脸图像进行二维人脸变形处理，获得所述变形人脸图像。7.根据权利要求6所述的方法，其特征在于，所述根据所述输入控制点的原始坐标和所述输入控制点的偏移坐标，对所述输入人脸图像进行二维人脸变形处理，获得所述变形人脸图像，包括：根据所述输入控制点的原始坐标、所述输入控制点的偏移坐标、所述输入控制点的影响范围半径、输入像素点的原始坐标以及像素点偏移函数，确定所述输入像素点的偏移坐标；根据所述输入人脸图像和所述输入像素点的偏移坐标，获得所述变形人脸图...

【专利技术属性】
技术研发人员：周勤，李琛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：