一种人脸图像生成的方法及装置制造方法及图纸

本申请公开了一种人脸图像生成的方法及装置，该方法包括：接收输入的第一人脸图像以及目标面部表情信息，并确定所述第一人脸图像对应的第一面部表情信息；基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；分别提取第一参考人脸图像与第二参考人脸图像中的特征点，并基于所述特征点确定第一参考人脸图像与第二参考人脸图像之间的面部形变信息；提取第一人脸图像中的特征点，基于面部形变信息以及第一人脸图像中的特征点生成第二人脸图像。解决了现有技术中人脸表情图像的质量较差的技术问题。

A method and device of face image generation

The application discloses a method and device for generating a face image, the method includes: receiving the input first face image and the target facial expression information, and determining the first facial expression information corresponding to the first face image; based on the first facial expression information and the target facial expression information, selecting the first face from the preset face image database and selecting the first face from the preset face image database The first reference face image matched with partial facial expression information and the second reference face image matched with the target facial expression information; extract the feature points in the first reference face image and the second reference face image respectively, and determine the facial deformation information between the first reference face image and the second reference face image based on the feature points; extract the features in the first face image Point, a second face image is generated based on the face deformation information and the feature points in the first face image. It solves the technical problem of poor quality of facial expression image in the prior art.

【技术实现步骤摘要】
一种人脸图像生成的方法及装置
本申请涉及图像处理
，尤其涉及一种人脸图像生成的方法及装置。
技术介绍
随着图像处理技术的快速发展，人脸表情合成应用于诸多
，例如虚拟技术、电影、游戏、人脸识别等。目前，人脸表情合成的方法主要采用压缩编码标准MPEG-4或面部动作编码系统来合成人脸表情等，现有技术中一般输入的图像中的人脸特征选取需要人工操作或者已有人脸面部的区域划分的方法需要手工完成，由于人工选取特征以及区域划分的不够精细，导致合成的人脸表情图像的细节不够丰富，人脸表情图像的质量较差。
技术实现思路
本申请提供一种人脸图像生成的方法及装置，用以解决现有技术中人脸表情图像的质量较差的技术问题。第一方面，本申请实施例提供一种人脸图像生成的方法，该方法包括：接收输入的第一人脸图像以及目标面部表情信息，并确定所述第一人脸图像对应的第一面部表情信息；基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；分别提取所述第一参考人脸图像与所述第二参考人脸图像中的特征点，并基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息；提取所述第一人脸图像中的特征点，基于所述面部形变信息以及所述第一人脸图像中的特征点生成第二人脸图像，其中，所述第二人脸图像与所述目标面部表情信息匹配。本申请实施例所提供的方案中，确定输入的第一人脸图像的面部表情信息以及目标面部表情信息，从预设的人脸图像库中选择出与第一人脸图像的面部表情信息匹配的第一参考人脸图像和与目标面部表情信息匹配的第二参考人脸图像，然后，根据提取的特征点确定第一参考人脸图像与第二参考人脸图像之间的面部形变信息，以及根据面部形变信息以及第一人脸图像的特征点生与目标面部表情信息匹配的第二人脸图像。因此，本申请实施例所提供的方案中，通过从预设的人脸图像库中选取与输入的第一人脸图像以及目标面部表情信息匹配的两帧参考人脸图像，基于两帧参考图像之间的面部形变信息以及输入的第一人脸图像生成第二人脸图像，避免人工手动选取特征以及分区划分，不仅提高了人脸图像生成的效率，还提高了生成的人脸图像的质量。可选地，确定所述第一人脸图像对应的第一面部表情信息，包括：根据所述第一人脸图像中的特征点生成所述第一特征向量；基于特征向量与面部表情信息之间预设的关系，确定与所述第一特征向量对应的第一面部表情信息。可选地，分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的特征点，包括：基于Dlib库分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第一特征点，其中，所述第一特征点是指表征人脸面部器官轮廓的特征点；根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，其中，所述第二特征点不同于所述第一特征点。本申请实施例提供的方案中，首先通过于Dlib库对人脸图像中人脸面部轮廓特征进行提取，然后，通过提取的特征点以及插值算法对人脸图像中除人脸面部器官轮廓之外的其他区域的特征点进行提取，增加了提取的特征点的数量，进而增加了人脸表情图像生成中的细节，提高了人脸表情图像的质量。可选地，根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，包括：确定所述第一参考人脸图像或所述第二参考人脸图像中任意两个所述第一特征点的连线，确定所述连线的中点，并将所述终点作为所述第二特征点；或确定所述第一参考人脸图像或所述第二参考人脸图像中任意两条特征点的连线的交点，将所述交点作为所述第二特征点；或从所述第一特征点中选择出至少三个不共线的特征点，根据预设的拟合多项式以及所述至少三个特征点，确定所述至少三个特征点所对应的拟合曲线；在所述拟合曲线上采样，得到所述第二特征点。可选地，基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息，包括：基于所述第一参考人脸图像所对应的特征点确定所述第一参考人脸图像所对应的第一特征向量，以及基于所述第二参考人脸图像所对应的特征点确定所述第二参考人脸图像所对应的第二特征向量；确定所述第一特征向量与所述第二特征向量之间的差值，并基于所述差值得到所述面部形变信息。可选地，基于所述面部形变信息以及所述第一人脸图像中的特征点生成第二人脸图像，包括：基于所述面部形变信息调整所述第一人脸图像中的特征点的位置；根据所述调整后的特征点生成第二人脸图像。可选地，基于所述面部形变信息调整所述第一人脸图像中的特征点的位置，包括：以所述第一参考图像为基准，将所述第一人脸图像中的特征点进行仿射变换，以使得所述第一人脸图像与所述第一参考图像中对应位置的特征点对齐；确定对齐后的所述第一人脸图中每个特征点的位置，基于所述面部形变信息调整所述对齐后的所述第一人脸图中每个特征点的位置。可选地，根据所述调整后的特征点生成第二人脸图像，包括：基于三角剖分算法将所述调整后的特征点连接形成三角形链网；在所述三角形链网中进行纹理填充，以及逆仿射变换得到所述第二人脸图像。第二方面，本申请实施例提供一种人脸图像生成的装置，该装置包括：确定单元，用于接收输入的第一人脸图像以及目标面部表情信息，确定所述第一人脸图像对应的第一面部表情信息；选择单元，用于基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；提取单元，用于分别提取所述第一参考人脸图像与所述第二参考人脸图像中的特征点，并基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息；生成单元，用于提取所述第一人脸图像中的特征点，基于所述面部形变信息以及所述第一人脸图像中的特征点生成第二人脸图像，其中，所述第二人脸图像与所述目标面部表情信息匹配。可选地，所述确定单元，具体用于：根据所述第一人脸图像中的特征点生成所述第一特征向量；基于特征向量与面部表情信息之间预设的关系，确定与所述第一特征向量对应的第一面部表情信息。可选地，所述提取单元，具体用于：基于Dlib库分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第一特征点，其中，所述第一特征点是指表征人脸面部器官轮廓的特征点；根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，其中，所述第二特征点不同于所述第一特征点。可选地，所述提取单元具体用于：确定所述第一参考人脸图像或所述第二参考人脸图像中任意两个所述第一特征点的连线，确定所述连线的中点，并将所述终点作为所述第二特征点；或确定所述第一参考人脸图像或本文档来自技高网...

【技术保护点】
1.一种人脸图像生成的方法，其特征在于，包括：/n接收输入的第一人脸图像以及目标面部表情信息，并确定所述第一人脸图像对应的第一面部表情信息；/n基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；/n分别提取所述第一参考人脸图像与所述第二参考人脸图像中的特征点，并基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息；/n提取所述第一人脸图像中的特征点，基于所述面部形变信息以及所述第一人脸图像中的特征点生成第二人脸图像，其中，所述第二人脸图像与所述目标面部表情信息匹配。/n

【技术特征摘要】
1.一种人脸图像生成的方法，其特征在于，包括：
接收输入的第一人脸图像以及目标面部表情信息，并确定所述第一人脸图像对应的第一面部表情信息；
基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；
分别提取所述第一参考人脸图像与所述第二参考人脸图像中的特征点，并基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息；
提取所述第一人脸图像中的特征点，基于所述面部形变信息以及所述第一人脸图像中的特征点生成第二人脸图像，其中，所述第二人脸图像与所述目标面部表情信息匹配。


2.如权利要求1所述的方法，其特征在于，确定所述第一人脸图像对应的第一面部表情信息，包括：
根据所述第一人脸图像中的特征点生成所述第一特征向量；
基于特征向量与面部表情信息之间预设的关系，确定与所述第一特征向量对应的第一面部表情信息。


3.如权利要求1或2所述的方法，其特征在于，分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的特征点，包括：
基于Dlib库分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第一特征点，其中，所述第一特征点是指表征人脸面部器官轮廓的特征点；
根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，其中，所述第二特征点不同于所述第一特征点。


4.如权利要求3所述的方法，其特征在于，根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，包括：
确定所述第一参考人脸图像或所述第二参考人脸图像中任意两个所述第一特征点的连线，确定所述连线的中点，并将所述终点作为所述第二特征点；或
确定所述第一参考人脸图像或所述第二参考人脸图像中任意两条特征点的连线的交点，将所述交点作为所述第二特征点；或
从所述第一特征点中选择出至少三个不共线的特征点，根据预设的拟合多项式以及所述至少三个特征点，确定所述至少三个特征点所对应的拟合曲线；在所述拟合曲线上采样，得到所述第二特征点。


5.如权利要求1或2所述的方法，其特征在于，基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息，包...

【专利技术属性】
技术研发人员：吴艳红，陈冠男，张丽杰，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京;11