图像处理方法、设备及存储介质技术

本发明专利技术公开了一种图像处理方法、设备及存储介质。其中，方法包括：获取源脸图像和目标脸图像；确定所述源脸图像对应的源脸关键点数据集，根据所述源脸关键点数据集确定源脸五官区域；确定所述目标脸图像对应的目标脸关键点数据集，根据所述目标脸关键点数据集确定目标脸五官区域；将所述源脸五官区域替换所述目标脸五官区域，生成新脸图像。

【技术实现步骤摘要】
图像处理方法、设备及存储介质
本专利技术涉及图像处理
，尤其涉及一种图像处理方法、设备及存储介质。
技术介绍
现有技术中，用于实现人脸替换的方法主要有如下两种：方案1，根据用户上传的自拍照，识别出用户头部轮廓，截取用户头部，替换住被替换人物的头部，生成具有用户人脸的被替换人物形象的图片或视频；方案2，根据用户五官特征，从预先准备好的特定类别人物的五官素材库中，匹配出与用户最接近的五官，并组合成人脸，生成具有与该特定类别人物风格相符的图片或视频。但是，方案1中的人脸替换方法，由于是整个脸部的替换，替换效果不理想，往往比较生硬，而方案2中的人脸替换方法，则容易生成与用户不够相似的五官，导致人脸替换的真实性不佳。因此，以上两种方案均无法实现有效的人脸替换。
技术实现思路
为解决现有存在的技术问题，本专利技术实施例提供一种图像处理方法、设备及存储介质，使得经过图像处理后获得的新脸图像更自然、真实。为达到上述目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种图像处理方法，包括：获取源脸图像和目标脸图像；确定所述源脸图像对应的源脸关键点数据集，根据所述源脸关键点数据集确定源脸五官区域；确定所述目标脸图像对应的目标脸关键点数据集，根据所述目标脸关键点数据集确定目标脸五官区域；将所述源脸五官区域替换所述目标脸五官区域，生成新脸图像。上述方案中，所述确定所述源脸图像对应的源脸关键点数据集，包括：检测所述源脸图像中的脸部关键点；从所述脸部关键点中筛选出五官关键点，并获取所述五官关键点在所述源脸图像中对应的位置信息和编号；将所述五官关键点的位置信息和编号的集合确定为源脸关键点数据集。上述方案中，所述根据所述源脸关键点数据集确定源脸五官区域，包括：根据所述源脸关键点数据集中的五官关键点的编号，筛选出满足第一编号设定条件的五官关键点；对所述满足第一编号设定条件的五官关键点按第一排序规则排序，形成第一五官集合；基于所述第一五官集合中各五官关键点的位置信息，将所述第一五官集合中各元素顺次连线形成的封闭区域，确定为源脸五官区域。上述方案中，所述确定所述目标脸图像对应的目标脸关键点数据集，包括：基于回归树参数集，检测所述目标脸图像中的脸部关键点；从所述脸部关键点中筛选出五官关键点，并获取所述五官关键点在所述目标脸图像中对应的位置信息和编号；将所述五官关键点的位置信息和编号的集合确定为目标脸关键点数据集。上述方案中，所述根据所述目标脸关键点数据集确定目标脸五官区域，包括：根据所述目标脸关键点数据集中的五官关键点的编号，筛选出满足第二编号设定条件的五官关键点；对所述满足第二编号设定条件的五官关键点按第二排序规则排序，形成第二五官集合；基于所述第二五官集合中各五官关键点的位置信息，将所述第二五官集合中各元素顺次连线形成的封闭区域，确定为目标脸五官区域。上述方案中，所述将所述源脸五官区域替换所述目标脸五官区域，生成新脸图像，包括：基于所述源脸五官区域对应的第一五官集合和所述目标脸五官区域对应的第二五官集合，计算所述源脸五官区域与所述目标脸五官区域间的变换参数集；根据所述变换参数集的缩放比例对所述源脸五官区域进行尺寸变换，根据所述变换参数集的旋转角度相关的正交矩阵对所述源脸五官区域进行旋转变换，根据所述变换参数集的位移对所述源脸五官区域进行位移变换；将变换后的源脸五官区域替换所述目标脸五官区域，生成新脸图像。上述方案中，所述方法还包括：提取所述目标脸图像对应的肤色信息，根据所述肤色信息，对所述新脸图像进行高斯平滑处理。上述方案中，所述变换参数集的计算过程为：其中，pi为第一五官集合构成的矩阵中第i个元素的位置信息；qi为第二五官集合构成的矩阵中第i个元素的位置信息；n为第一五官集合中元素的个数；(s,R,T)为变换参数集，s为缩放比例，R为旋转角度相关的正交矩阵，T为平移的位移。上述方案中，所述回归树参数集的训练过程包括：将目标脸训练图像和目标脸训练图像对应的标记关键点数据集，代入目标脸关键点检测模型，获得回归树参数集和检测关键点数据集；将当前获得的回归树参数集作为所述目标脸关键脸检测模型的输入，获得下一回归树参数集和检测关键点数据集；重复上述步骤，直至所述检测关键点数据集与所述标记关键点数据集的误差小于设定误差阈值；输出误差小于设定误差阈值的所述检测关键点数据集对应的所述回归树参数集。上述方案中，所述方法还包括：提取待变图像和待变的风格类别；生成满足所述风格类别的模拟图片；计算当前模拟图片与所述待变图像的相似度，在所述相似度低于设定相似度阈值时，生成满足所述风格类别的模拟图片；重复上述步骤，直至当前模拟图片与所述待变图像的相似度不低于所述相似度阈值；输出当前模拟图片。上述方案中，所述根据所述源脸关键点数据集确定源脸五官区域，还包括：基于所述源脸关键点数据集中关键点的编号，筛选出眼关键点和眉关键点，形成第一眼眉集合；对所述第一眼眉集合执行凸包计算，获取第一凸包集合；基于所述源脸关键点数据集中关键点的编号，筛选出鼻关键点和嘴关键点，形成第一嘴鼻集合；对所述第一嘴鼻集合执行凸包计算，获取第二凸包集合；对所述第一凸包集合中各元素顺次连线形成封闭曲线，对所述封闭曲线进行曲线平滑处理，将处理后获得的平滑曲线形成的封闭区域，确定为第一区域；对所述第二凸包集合中各元素顺次连线形成封闭曲线，对所述封闭曲线进行曲线平滑处理，将处理后获得的平滑曲线形成的封闭区域，确定为第二区域；将所述第一区域与所述第二区域融合后的封闭区域，确定为源脸五官区域。上述方案中，所述根据所述目标脸关键点数据集确定目标脸五官区域，还包括：基于所述目标脸关键点数据集中关键点的编号，筛选出眼关键点和眉关键点，形成第二眼眉集合；对所述第二眼眉集合执行凸包计算，获取第三凸包集合；基于所述目标脸关键点数据集中关键点的编号，筛选出鼻关键点和嘴关键点，形成第二嘴鼻集合；对所述第二嘴鼻集合执行凸包计算，获取第四凸包集合；对所述第三凸包集合中各元素顺次连线形成封闭曲线，对所述封闭曲线进行曲线平滑处理，将处理后获得的平滑曲线形成的封闭区域，确定为第三区域；对所述第四凸包集合中各元素顺次连线形成封闭曲线，对所述封闭曲线进行曲线平滑处理，将处理后获得的平滑曲线形成的封闭区域，确定为第四区域；将所述第三区域与所述第四区域融合后的封闭区域，确定为目标脸五官区域。上述方案中，所述凸包计算，包括：将待处理的集合中的各元素的位置信息转换为二维坐标，选择一元素加入凸包集合中；将所述凸包集合中当前加入的元素作为原点，确定除作为原点的所述元素外的各元素与原点的连线在坐标系中的角度，将所述角度满足角度设定条件的元素加入所述凸包集合；重复上述步骤，直至当前加入的元素已存在于所述凸包集合中。本专利技术实施例还提供了一种图像处理方法，采用上述任一方法，实现人脸替换动漫脸，生成可融合于预置动漫视频片段的、具有人脸五官特征的新动漫脸图像，包括：获取人脸图像和动漫脸图像；确定所述人脸图像对应的人脸关键点数据集，根据所述人脸关键点数据集确定人脸五官区域；确定所述动漫脸图像对应的动漫脸关键点数据集，根据所述动漫脸关键点数据集确定动漫脸五官区域；将所述人脸五官区域替换所述动漫脸五官区域，生成具有人脸五官特征的新动漫脸图像。本专利技术实本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：获取源脸图像和目标脸图像；确定所述源脸图像对应的源脸关键点数据集，根据所述源脸关键点数据集确定源脸五官区域；确定所述目标脸图像对应的目标脸关键点数据集，根据所述目标脸关键点数据集确定目标脸五官区域；将所述源脸五官区域替换所述目标脸五官区域，生成新脸图像。

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取源脸图像和目标脸图像；确定所述源脸图像对应的源脸关键点数据集，根据所述源脸关键点数据集确定源脸五官区域；确定所述目标脸图像对应的目标脸关键点数据集，根据所述目标脸关键点数据集确定目标脸五官区域；将所述源脸五官区域替换所述目标脸五官区域，生成新脸图像。2.根据权利要求1所述的方法，其特征在于，所述确定所述源脸图像对应的源脸关键点数据集，包括：检测所述源脸图像中的脸部关键点；从所述脸部关键点中筛选出五官关键点，并获取所述五官关键点在所述源脸图像中对应的位置信息和编号；将所述五官关键点的位置信息和编号的集合确定为源脸关键点数据集。3.根据权利要求1所述的方法，其特征在于，所述根据所述源脸关键点数据集确定源脸五官区域，包括：根据所述源脸关键点数据集中的五官关键点的编号，筛选出满足第一编号设定条件的五官关键点；对所述满足第一编号设定条件的五官关键点按第一排序规则排序，形成第一五官集合；基于所述第一五官集合中各五官关键点的位置信息，将所述第一五官集合中各元素顺次连线形成的封闭区域，确定为源脸五官区域。4.根据权利要求1所述的方法，其特征在于，所述确定所述目标脸图像对应的目标脸关键点数据集，包括：基于回归树参数集，检测所述目标脸图像中的脸部关键点；从所述脸部关键点中筛选出五官关键点，并获取所述五官关键点在所述目标脸图像中对应的位置信息和编号；将所述五官关键点的位置信息和编号的集合确定为目标脸关键点数据集。5.根据权利要求1所述的方法，其特征在于，所述根据所述目标脸关键点数据集确定目标脸五官区域，包括：根据所述目标脸关键点数据集中的五官关键点的编号，筛选出满足第二编号设定条件的五官关键点；对所述满足第二编号设定条件的五官关键点按第二排序规则排序，形成第二五官集合；基于所述第二五官集合中各五官关键点的位置信息，将所述第二五官集合中各元素顺次连线形成的封闭区域，确定为目标脸五官区域。6.根据权利要求1所述的方法，其特征在于，所述将所述源脸五官区域替换所述目标脸五官区域，生成新脸图像，包括：基于所述源脸五官区域对应的第一五官集合和所述目标脸五官区域对应的第二五官集合，计算所述源脸五官区域与所述目标脸五官区域间的变换参数集；根据所述变换参数集的缩放比例对所述源脸五官区域进行尺寸变换，根据所述变换参数集的旋转角度相关的正交矩阵对所述源脸五官区域进行旋转变换，根据所述变换参数集的位移对所述源脸五官区域进行位移变换；将变换后的源脸五官区域替换所述目标脸五官区域，生成新脸图像。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：提取所述目标脸图像对应的肤色信息，根据所述肤色信息，对所述新脸图像进行高斯平滑处理。8.根据权利要求6或7所述的方法，其特征在于，所述变换参数集的计算过程为：其中，pi为第一五官集合构成的矩阵中第i个元素的位置信息；qi为第二五官集合构成的矩阵中第i个元素的位置信息；n为第一五官集合中元素的个数；(s,R,T)为变换参数集，s为缩放比例，R为旋转角度相关的正交矩阵，T为平移的位移。9.根据权利要求4所述的方法，其特征在于，所述回归树参数集的训练过程包括：将目标脸训练图像和目标脸训练图像对应的标记关键点数据集，代入目标脸关键点检测模型，获得回归树参数集和检测关键点数据集；将当前获得的回归树参数集作为所述目标脸关键脸检测模型的输入，获得下一回归树参数集和检测关键点数据集；重复上述步骤，直至所述检测关键点数据集与所述标记关键点数据集的误差小于设定误差阈值；输出误差小于设定误差阈值的所述检测关键点数据集对应的所述回归树参数集。10.根据权利要求1所述的方法，其特征在于，所述方法还包括：提取待变图像和待变的风格类别；生成满足所述风格类别的模拟图片...

【专利技术属性】
技术研发人员：洪毅强，王琦，王乐，曾艺婷，
申请(专利权)人：咪咕动漫有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：福建,35