【技术实现步骤摘要】
本专利技术涉及游戏中虚拟人物的塑造成像领域，具体涉及一种基于人脸照片生成捏脸参数的方法，基于该方法产生的捏脸参数能够直接利用目标捏脸系统的分区功能产生与真实人脸对应的捏脸图像。
技术介绍
1、对于捏脸系统，很多单机游戏均有配备，比如《gta5》，《上古卷轴5》，《赛博朋克2077》等单机大型游戏均配置了复杂的捏脸系统，但大部分单机游戏或者电脑端游戏并没有照片捏脸的功能。
2、随着手机性能的提高，很多手机游戏和软件配备有捏脸系统。而手机游戏也由于自身的互联网属性，使得用户可以方便地将图片上传至企业的服务平台，因此目前有一部分手机游戏配备了捏脸服务，例如《一梦江湖》，《天涯明月刀》，《花与剑》，《天谕》等。但受制于技术的复杂性以及部署的不便，大多数手机游戏并没有配备利用人脸照片直接捏脸的功能。目前的照片捏脸系统因为其部署需要的数据量大，灵活性较差，后期效果不便于调节和更改，且开发和迭代周期较长，故除了大型的手机游戏外，没有在产品中得到广泛使用。
3、目前已有的照片捏脸系统虽然该方案提供了一套将图片变为捏脸参数的流程，但是组成的模块较多，且转换器模块需要依赖面部识别模块和面部选区模块的完成，才可进行训练，耦合性高，提高了技术的使用难度。以shi,tianyang和网易伏羲实验室提出的“fast and robust face-to-parameter translation for game character auto-creation”[1]方案为例。该方案的整体思路为：
4、将用户输入的人脸图
5、对于面部识别模块，文中采用了预先训练好的light cnn-29 v2模型，由于该网络事先进行过人脸识别领域的训练，可以将二维的人脸图像信息编码为向量表示的特征向量。文中将输入的图片输入light cnn-29 v2得到一个256维的特征向量，用处理后的该特征向量表示人脸。为了让照片捏脸的结果与输入图像在空间位置上更加相似，文中还添加了一个对输入的面部区域进行划分的面部选区模块。该模块是使用imagenet数据集对一个resnet-50神经网络架构进行预训练使其对图像有了初步的处理能力之后，将该神经网络模型的最后一层加以修改，再使用helen人脸数据集对其进行进一步的训练得到。helen人脸数据集中对人脸五官的不同区域做了划分，训练后的resnet-50神经网络架构具备对人脸的不同区域进行划分的能力。
6、完成上述训练后，输入特定人脸图片即可得到相应参数化人脸和人脸选区。转换器的功能是将参数化人脸转换成游戏内特定的捏脸参数。对于一个已知的参数化人脸，转换器产生的捏脸参数对用户来说不可知的(不对外输出)。转换器使用梯度下降算法进行训练，其需要一个度量方式(损失函数)来衡量生成的捏脸效果与原图的相似性，并将差异的梯度传递回转换器来引导其训练过程。而通常的游戏引擎不可微的，无法将捏脸效果的差异性直接回传至上一级的系统，所以文中训练了一个神经网络，作为捏脸效果模拟器，来模拟一个输入捏脸参数到捏脸效果图的过程，从而在训练中无需再使用游戏引擎，并可将梯度沿网络层逐层回传。若将参数化的人脸输入未训练的转换器可得到未调优的面部参数输出，将该参数放入一个捏脸效果模拟器得到对应的捏脸效果图，再将该图重新输入面部识别模块和面部选区模块即可得到一个新的参数化人脸和人脸选区。通过对比真实人脸，和根据参数生成的人脸之间人脸区域以及参数的不同，即可对生成结果进行评价，越相似时损失函数得出的结果应当越小。而由于捏脸效果模拟器是一个神经网络，所以可以通过梯度下降算法，将损失函数求得的梯度传递回转换器，对其进行训练。在运行时，需要将用户提供的面部图片，输入面部识别模块，得到256维的参数化人脸，再输入转换器变为捏脸参数。而面部选区模块以及捏脸效果模拟器，仅在训练时作为辅助组件使用。
7、从上述照片捏脸方案可知，虽然该方案提供了一套将图片变为捏脸参数的流程，但是组成的模块较多且各模块耦合程度高，转换器模块需要依赖面部识别模块和面部选区模块的完成才可进行训练，使用难度大。其次，由于面部识别模块使用的256维的面部特征向量对于使用者而言缺乏可解释性，无法对该向量进行拆分，转换器也只能将整体的参数化人脸转换捏脸参数，并且转换后的捏脸参数并不对外输出。导致用户很难针对指定五官的局部效果进行修改优化，比如当使用者对眼睛部分的效果感到不满意时，如果重新训练模型很可能会导致嘴巴，鼻子等其他无关的部位效果也发生更改，极大的提升了训练的不稳定性。面部特征种类的单一也使得诸如特征点之类的其他的特征提取方案在局部的表达效果更好时，无法被接纳进系统中来。另外，由于图片中面部五官特点的概率分布并不均匀增加了学习的复杂性，容易使部分数据量多的人脸风格在目前照片捏脸系统训练使起主导作用，而在样本覆盖少的情况人脸风格中效果不够显著。例如，圆脸多，尖脸少，小眼睛多，大眼睛少等。
技术实现思路
1、为了解决目前照片捏脸系统只能对整张参数化的人脸转换捏脸参数且不对外输出捏脸参数，导致难以单独对某一捏脸区域进行调整而不影响其他捏脸区域的捏脸效果，而在训练相关预测器时由于图片中面部五官特点的概率分布并不均匀增加机器学习复杂性的技术问题。本专利技术提供一种基于人脸照片生成捏脸参数的方法。通过该方法分捏脸区域单独设置相应的子预测器，相关的子预测器用于预测单一捏脸区域的捏脸参数以便单独针对某一捏脸区域的捏脸效果进行调整。
2、本专利技术提供的技术方案实现为一种基于人脸照片生成捏脸参数的方法，该方法包括以下步骤：
3、s1,根据目标捏脸系统对人脸区域的划分将人脸划分为捏脸区域组合，所述捏脸区域组合中的每个捏脸区域的调控参数设为所述目标捏脸系统对应捏脸区域使用的捏脸参数；
4、s2,对于所述捏脸区域组合中任一捏脸区域的调控参数，产生一簇在m维空间按照一定步长均匀采样的的采样点坐标，m为具体捏脸区域的调控参数个数；
5、s3,基于步骤s2产生的对应于所述捏脸区域组合的所有采样点坐标分别对不同的真实人脸图像进行采样，并根据对具体真实人脸采样获得的调控参数采样值产生对应的训练样本，所有训练样本构成训练样本集；
6、s4,采用所述训练样本集训练捏脸参数预测模型，所述捏脸参数预测模型包含为所述捏脸区域组合中每个捏脸区域单独设置的子预测器；所有子预测器均从每个训练样本获取各自需要的训练参数完成训练；所述子预测器输出参数的个数与其对应捏脸区域的调控参数的个数相同，输入参数为其对应的捏脸区域的特征或特征组合；
7、s5,从待预测真实人脸图像提取所述捏脸参数预测模型需要的预测输入参数输入到训练好的所述捏脸参数预测模型，由每个所述子预测器从所述预测输入参数获取所需的输入参数预测出相应捏脸区域的捏脸参数；
【技术保护点】
1.一种基于人脸照片生成捏脸参数的方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤S2具体实现为：确定具体捏脸区域的样本维度m，采样阶数n以及所需要的采样点数s；按大小顺序，依次基于N个连续自然数产生N个在m维空间均匀分布的采样点坐标并按照产生顺序赋予序号记录在坐标列表CL中，N＝2m*n且N>s；然后，对所述N个坐标进行均匀插值以获得s个在m维空间均匀分布的采样点坐标。
3.如权利要求2所述的方法，其特征在于，所述按大小顺序，依次基于N个连续自然数产生N个在m维空间均匀分布的采样点坐标实现为：按照所述N个连续自然数的大小顺序，依次将所述N个连续自然数一对一地转换成m维空间中对应的采样点坐标，转换后的采样点坐标在所述m维度空间均匀分布。
4.如权利要求3所述的方法，其特征在于，所述按照所述N个连续自然数的大小顺序，依次将所述N个连续自然数一对一地转换成m维空间中对应的采样点坐标，具体实现为：
5.如权利要求2-4中任一项所述的方法，其特征在于，所述对所述N个坐标进行均匀插值以获得s个在m维空
6.如权利要求1所述的方法，其特征在于，所述步骤S3中根据对具体真实人脸采样获得的调控参数采样值产生对应的训练样本，具体实现为：
7.如权利要求6所述的方法，其特征在于，所述分别基于预先训练好的面部特征提取模块提取该捏脸图像对应的特征点和特征向量，具体实现为：用预先训练好的FaceNet网络从所述捏脸图像提取128维的特征向量，用预先训练好的dlib特征点标注器从所述捏脸图像提取68个特征点；步骤S5中从待预测真实人脸图像提取所述捏脸参数预测模型需要的预测输入参数，包括：用所述预先训练好的FaceNet网络从所述待预测真实人脸图像提取128维的特征向量，用所述预先训练好的dlib特征点标注器从该待预测真实人脸图像提取68个特征点。
8.如权利要求1所述的方法，其特征在于，所述步骤S6中对各个子预测模型输出的捏脸参数进行整理联合以得到所述待预测真实人脸的捏脸参数，包括：基于设置的捏脸区域之间相对位置的约束模型，选定部分捏脸区域对应的子预测器的输出参数，对另一部分捏脸区域对应的子预测器的输出参数进行修调。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序代码，所述程序代码在被处理器执行时，实现权利要求1-8中任一项所述的基于人脸照片生成捏脸参数的方法。
...【技术特征摘要】
1.一种基于人脸照片生成捏脸参数的方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤s2具体实现为：确定具体捏脸区域的样本维度m，采样阶数n以及所需要的采样点数s；按大小顺序，依次基于n个连续自然数产生n个在m维空间均匀分布的采样点坐标并按照产生顺序赋予序号记录在坐标列表cl中，n＝2m*n且n>s；然后，对所述n个坐标进行均匀插值以获得s个在m维空间均匀分布的采样点坐标。
3.如权利要求2所述的方法，其特征在于，所述按大小顺序，依次基于n个连续自然数产生n个在m维空间均匀分布的采样点坐标实现为：按照所述n个连续自然数的大小顺序，依次将所述n个连续自然数一对一地转换成m维空间中对应的采样点坐标，转换后的采样点坐标在所述m维度空间均匀分布。
4.如权利要求3所述的方法，其特征在于，所述按照所述n个连续自然数的大小顺序，依次将所述n个连续自然数一对一地转换成m维空间中对应的采样点坐标，具体实现为：
5.如权利要求2-4中任一项所述的方法，其特征在于，所述对所述n个坐标进行均匀插值以获得s个在m维空间均匀分布的采样点坐标，具体实现为：计算所需的样本数量s和总共的坐标数量n的比值step；从0开始，遍历坐标列表cl所有的采样点坐标，记录当前遍历的采样点坐标序号为p，每一次遍历，采样点坐标序号p都会加上step后得到px,将px向上取整得到p1，向下取整得到p0，...
【专利技术属性】
技术研发人员：艾星宇，
申请(专利权)人：盛趣信息技术上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。