图像处理和图像合成方法、装置和存储介质制造方法及图纸

本申请公开了一种图像处理和图像合成方法、装置和存储介质；本申请实施例可以对待处理面部图像进行特征点识别，得到待处理面部部位特征点，待处理面部部位特征点为待处理面部图像的面部部位特征点；计算待处理面部部位特征点，相对于参考面部部位特征点之间的特征点位置偏移信息，参考面部特征点为参考面部图像对应面部部位特征点；基于特征点位置偏移信息对参考面部深度图像中的面部部位特征点进行位置调整，得到待处理面部图像对应的目标面部深度图像，参考面部深度图像为参考面部图像对应的面部深度图像；根据目标面部深度图像对待处理图像进行方向偏转，得到目标面部图像。由此，本方案可以简单、方便地将待处理面部图像偏转至目标方向。

【技术实现步骤摘要】
图像处理和图像合成方法、装置和存储介质
本申请涉及图像处理领域，具体涉及一种图像处理和图像合成方法、装置和存储介质。
技术介绍
一些图像处理应用可以为用户提供一些图像处理功能，比如，可以根据用户上传的正向面部图像，生成不同角度的面部图像，目前的图像处理应用通常采用3D面部重建技术，根据用户上传的正向面部图像生成3D模型，然后再根据该模型获取不同角度的面部图像。然而这种方式需要高精度的3D模型的创建与介入，而且需要可形变的3D模型动态匹配用户面部角度、面部与五官比例，另外需要较大的3D实现开发量，因此，会使应用的产品技术架构变复杂，从而影响图像处理的速度。
技术实现思路
本申请实施例提供一种图像处理和图像合成方法、装置和存储介质，可以简单、方便地将待处理面部图像偏转目标方向。本申请实施例提供一种图像处理方法，包括：获取待处理面部图像；对所述待处理面部图像进行特征点识别，得到待处理面部部位特征点；确定所述待处理面部部位特征点，与参考面部部位特征点之间的特征点位置偏移信息，其中，所述参考面部特征点为参考面部图像对应的面部部位特征点；基于所述特征点位置偏移信息对参考面部深度图像中的面部部位特征点进行位置调整，得到所述待处理面部图像对应的目标面部深度图像，其中，所述参考面部深度图像为所述参考面部图像对应的面部深度图像；根据所述目标面部深度图像对所述待处理图像进行方向偏转，得到目标面部图像。相应地，本申请还提供了一种图像合成方法，包括：获取待处理面部图像；根据所述待处理面部图像获取目标面部图像，其中，所述目标面部图像是根据上述图像处理方法的处理得到；将所述目标面部图像融合到模板图像中的面部区域，得到目标图像。本申请实施例还提供一种图像处理装置，包括：识别单元，用于对所述待处理面部图像进行特征点识别，得到待处理面部部位特征点；计算单元，用于确定所述待处理面部部位特征点，与参考面部部位特征点之间的特征点位置偏移信息，其中，所述参考面部特征点为参考面部图像对应的面部部位特征点；调整单元，用于基于所述特征点位置偏移信息对参考面部深度图像中的面部部位特征点进行位置调整，得到所述待处理面部图像对应的目标面部深度图像，其中，所述参考面部深度图像为所述参考面部图像对应的面部深度图像；偏转单元，用于根据所述目标面部深度图像对所述待处理图像进行方向偏转，得到目标面部图像。相应地，本申请实施例还提供一种图像处理装置，包括：获取单元，用于获取待处理面部图像；处理单元，用于根据所述待处理面部图像获取目标面部图像，其中，所述目标面部图像是根据上述图像处理方法的处理得到；融合单元，用于将所述目标面部图像融合到模板图像中的面部区域，得到目标图像。本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种图像处理方法或者图像合成方法中的步骤。在本申请实施中，可以获取待处理面部图像；对待处理面部图像进行特征点识别，得到待处理面部部位特征点，其中，所述待处理面部部位特征点为所述待处理面部图像的面部部位特征点；计算待处理面部部位特征点，相对于参考面部部位特征点之间的特征点位置偏移信息，其中，参考面部特征点为参考面部图像对应面部部位特征点；基于特征点位置偏移信息对参考面部深度图像中的面部部位特征点进行位置调整，得到待处理面部图像对应的目标面部深度图像，其中，参考面部深度图像为参考面部图像对应的面部深度图像；根据目标面部深度图像对待处理图像进行方向偏转，得到目标面部图像。由此，本方案可以简单、方便地将待处理面部图像偏转至目标方向。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a是本申请实施例提供的图像处理方法的场景示意图；图1b是本申请实施例提供的图像合成方法的场景示意图；图2a是本申请实施例提供的图像处理方法的流程示意图；图2b是本申请实施例提供的图像合成方法的流程示意图；图3a是本申请实施例提供的图像处理装置的结构示意图；图3b是本申请实施例提供的图像合成装置的结构示意图；图4是本申请实施例提供的电子设备的结构示意图；图5a是本申请实施例提供的图像处理方法的目标深度图像生成流程示意图；图5b是本申请实施例提供的图像处理方法的参考深度关系示意图；图5c是本申请实施例提供的图像处理方法的图像偏转示意图；图5d是本申请实施例提供的图像处理方法的面部方向矫正示意图；图5e是本申请实施例提供的图像合成方法的总体流程示意图；图6a是本申请实施例提供的图像合成方法的场景流程示意图；图6b是本申请实施例提供的图像合成方法与现有技术的对比示意图；图6c是本申请实施例提供的图像合成方法的融合过程示意图；图6d是本申请实施例提供的图像合成方法的合成结果示意图；图6e是本申请实施例提供的图像合成方法的视频合成示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例提供一种图像处理和图像合成方法、装置和存储介质。其中，该图像处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(PersonalComputer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。在一些实施例中，该图像处理装置还可以集成在多个电子设备中，比如，图像处理装置可以集成在多个服务器中，由多个服务器来实现本申请的图像处理方法。在一些实施例中，图像处理也可以以终端的形式来实现。例如，参考图1a，该电子设备可以获取待处理面部图像；对待处理面部图像进行特征点识别，得到待处理面部部位特征点，其中，所述待处理面部部位特征点为所述待处理面部图像的面部部位特征点；计算待处理面部部位特征点，相对于参考面部部位特征点之间的特征点位置偏移信息，其中，参考面部特征点为参考面部图像对应面部部位特征点；基于特征点位置偏移信息对参考面部深度图像中的面部部位特征点进行位置调整，得到待处理面部图像对应的目标面部深度图像，其中，参考面部深度图像为参考面部图像对应的面部深度图像；根据目标面部深度图像对待处理图像进行方向偏转，得到目标面部图像。由此，本方案可以简单、方便地将待处理面本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n对待处理面部图像进行特征点识别，得到待处理面部部位特征点，其中，所述待处理面部部位特征点为所述待处理面部图像的面部部位特征点；/n确定所述待处理面部部位特征点，与参考面部部位特征点之间的特征点位置偏移信息，其中，所述参考面部特征点为参考面部图像对应的面部部位特征点；/n基于所述特征点位置偏移信息对参考面部深度图像的面部部位特征点进行位置调整，得到所述待处理面部图像对应的目标面部深度图像，其中，所述参考面部深度图像为所述参考面部图像对应的面部深度图像；/n根据所述目标面部深度图像对所述待处理图像进行方向偏转，得到目标面部图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
对待处理面部图像进行特征点识别，得到待处理面部部位特征点，其中，所述待处理面部部位特征点为所述待处理面部图像的面部部位特征点；
确定所述待处理面部部位特征点，与参考面部部位特征点之间的特征点位置偏移信息，其中，所述参考面部特征点为参考面部图像对应的面部部位特征点；
基于所述特征点位置偏移信息对参考面部深度图像的面部部位特征点进行位置调整，得到所述待处理面部图像对应的目标面部深度图像，其中，所述参考面部深度图像为所述参考面部图像对应的面部深度图像；
根据所述目标面部深度图像对所述待处理图像进行方向偏转，得到目标面部图像。


2.如权利要求1所述的图像处理方法，其特征在于，所述根据所述目标面部深度图像对所述待处理图像进行方向偏转，得到目标面部图像，包括：
根据所述目标面部深度图像和参考深度关系，获取所述待处理面部图像中各像素点的深度信息；
根据所述待处理面部图像中各像素点的深度信息，生成所述待处理面部图像对应的立体面部图像；
将所述立体面部图像偏转至目标方向，得到偏转后的立体面部图像；
将所述偏转后的立体面部图像向所述待处理面部图像的方向进行投影，得到所述目标面部图像。


3.如权利要求2所述的图像处理方法，其特征在于，所述根据所述目标面部深度图像和参考深度关系，获取所述待处理面部图像中各像素点的深度信息，包括：
从所述目标面部深度图像中确定各像素的深度层次；
根据所述待处理面部部位特征点中的深度参考特征点与所述参考深度关系，确定所述待处理面部图像的面部深度参数；
基于所述面部深度参数和所述各像素的深度层次，确定所述待处理面部图像中各像素点的深度信息。


4.如权利要求1所述的图像处理方法，其特征在于，所述确定所述待处理面部部位特征点，与参考面部部位特征点之间的特征点位置偏移信息，包括：
以所述参考面部图像中的定位特征点为位置基准，确定所述待处理面部图像相对于所述参考面部图像的特征点位置偏移信息。


5.如权利要求1所述的图像处理方法，其特征在于，所述根据所述特征点位置偏移信息对参考面部深度图像中的面部部位特征点进行位置调整，得到所述待处理面部图像对应的目标面部深度图像，包括：
从所述特征点位置偏移信息中确定所述待处理部位特征点的偏移方向和偏移权重；
根据所述偏移方向和所述偏移权重对所述参考面部深度图像中的面部部位特征点进行位置调整，得到所述待处理面部图像对应的目标面部深度图像。


6.一种图像合成方法，其特征在于，包括：
获取待处理面部图像；
根据所述待处理面部图像获取目标面部图像，其中，所述目标面部图像是根据所述1至5任一项所述的图像处理方法的处理得到；
将所述目标面部图像融合到模板图像中的面部区域，得到目标图像。


7.如权利要求6所述的图像合成方法，其特征在于，所述根据所述待处理图像获取目标面部图像，还包括：
获取所述待处理面部图像中各像素点的深度信息；
根据所述各像素点的深度信息，生成所述待处理面部图像对应的立体面部图像；
将所述立体面部图像偏转至目标方向，得到偏转后的立体面部图像；
将所述偏转后的立体面部图像向所述待处理面部图像的方向进行投影，得到目标面部图像。


8.如权利要求6所述的图像合成方法，其特征在于，所述获取待处理面部图像，还包括：
获取面部区域在预设方向范围内的多个待处理图像；
根据所述多个待处理图像生成立体面部图像；
...

【专利技术属性】
技术研发人员：李晓懿，钱梦仁，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44