图像处理方法及装置、电子设备、存储介质制造方法及图纸

本申请的实施例公开了一种图像处理方法及装置、电子设备、存储介质，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，该方法包括：先获取用于描述待生成的面部图像的面部属性类别的面部属性需求信息，以从面部图像集包含的多张面部图像中，筛选出与面部属性类别相匹配的样本面部图像，根据样本面部图像调整设定的面部生成模型的模型参数，得到目标面部生成模型，并调用目标面部生成模型生成与面部属性需求信息相匹配的面部图像，得到合成面部图像。本申请实施例的技术方案能够生成满足面部属性需求信息的合成面部图像，提升合成面部图像的可控性和利用率。部图像的可控性和利用率。部图像的可控性和利用率。

【技术实现步骤摘要】
图像处理方法及装置、电子设备、存储介质


[0001]本申请涉及计算机领域，具体而言，涉及一种图像处理方法及装置、电子设备、存储介质、程序产品。

技术介绍

[0002]面部是人或动物等最重要的标识，在很多场景中，会使用面部生成技术来生成面部图像，例如，可以生成虚拟主播等。
[0003]相关技术中，通常机器学习模型生成合成面部图像，在生成的过程中，通常是任意构建面部特征，使得很多合成面部图像无法应用于对应的应用场景，降低了合成面部图像的可控性和利用率，浪费了计算资源。

技术实现思路

[0004]本申请的实施例提供了一种图像处理方法及装置、电子设备、存储介质、程序产品，可以生成满足面部属性需求信息的合成面部图像，提升合成面部图像的可控性和利用率，节约计算资源。
[0005]根据本申请实施例的一个方面，提供了一种图像处理方法，所述方法包括：获取面部属性需求信息；其中，所述面部属性需求信息用于描述待生成的面部图像的面部属性类别；从面部图像集包含的多张面部图像中，筛选出与所述面部属性类别相匹配的样本面部图像；根据所述样本面部图像调整设定的面部生成模型的模型参数，得到目标面部生成模型；调用所述目标面部生成模型生成与所述面部属性需求信息相匹配的面部图像，得到合成面部图像。
[0006]根据本申请实施例的一个方面，提供了一种图像处理装置，所述装置包括：获取模块，配置为获取面部属性需求信息；其中，所述面部属性需求信息用于描述待生成的面部图像的面部属性的属性类别；筛选模块，配置为从面部图像集包含的多张面部图像中，筛选出与所述面部属性需求信息相匹配的样本面部图像；调整模块，配置为根据所述样本面部图像调整设定的面部生成模型的模型参数，得到目标面部生成模型；生成模块，配置为调用所述目标面部生成模型生成与所述面部属性需求信息相匹配的面部图像，得到合成面部图像。
[0007]在一示例性实施例中，基于前述方案，所述装置还包括显示模块，配置为：获取包含至少两张所述合成面部图像的第一图像集；根据所述第一图像集中不同合成面部图像之间的相似度，从所述第一图像集中筛选出第一数量张待显示的合成面部图像；显示筛选出
的合成面部图像。
[0008]在一示例性实施例中，基于前述方案，所述显示模块具体配置为：从所述第一图像集中提取出第二数量张合成面部图像，以构建第二图像集，并计算所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度；其中，所述第二数量小于所述第一数量；根据计算出的相似度将所述第一图像集中包含的合成面部图像移动至所述第二图像集；其中，所述第一图像集中包含的合成面部图像被移动至所述第二图像集的概率与所对应的相似度负相关；重新计算所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度，并根据重新计算出的相似度将所述第一图像集中包含的合成面部图像移动至所述第二图像集，直至所述第二图像集中包含的合成面部图像的数量达到所述第一数量；将所述第二图像集中包含的合成面部图像作为所述待显示的合成面部图像。
[0009]在一示例性实施例中，基于前述方案，所述显示模块具体配置为：从所述第一图像集中，查找出所对应的相似度最低的合成面部图像，并将查找出的合成面部图像由所述第一图像集移动至所述第二图像集；或，从所述第一图像集中，查找出所对应的相似度低于设定相似度阈值的合成面部图像，并将查找出的合成面部图像由所述第一图像集移动至所述第二图像集。
[0010]在一示例性实施例中，基于前述方案，所述显示模块具体配置为：若所述第二图像集中包含多张合成面部图像，则计算所述第二图像集中包含的多张合成面部图像分别与所述第一图像集中包含的每张合成面部图像之间的相似度；计算所述第二图像集中包含的多张合成面部图像与所述第一图像集中包含的每张合成面部图像之间的相似度的平均值，以作为所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度。
[0011]在一示例性实施例中，基于前述方案，所述装置还包括删除模块，配置为：在所述根据所述第一图像集中不同合成面部图像之间的相似度，从所述第一图像集中筛选出第一数量张待显示的合成面部图像之前，获取指定对象对应的多张面部图像，并从所述指定对象对应的多张面部图像中提取出所述指定对象的面部特征；从所述第一图像集中查找出与所述指定对象的面部特征相匹配的合成面部图像，并从所述第一图像集中删除查找出的合成面部图像。
[0012]在一示例性实施例中，基于前述方案，所述装置还包括构建模块，具体配置为：获取包含面部的待处理图像，并从获取到的待处理图像中筛选出所对应的图像质量满足设定质量需求信息的图像；从筛选出的每张图像中识别出面部区域，并根据所述面部区域对所述每张图像进行裁剪；根据裁剪得到的面部图像构建所述面部图像集。
[0013]在一示例性实施例中，基于前述方案，所述生成模块具体配置为：在所述目标面部生成模型对应的隐空间中进行随机采样，得到隐向量；通过所述目标面部生成模型对所述隐向量进行非线性映射，得到在所述目标面部生成模型对应的风格空间中的风格向量；根据所述风格向量生成所述隐向量对应的合成面部图像。
[0014]在一示例性实施例中，基于前述方案，在所述目标面部生成模型包含多层依次连接的生成网络的条件下，所述生成模块具体配置为：通过所述多层生成网络依次生成特征图，并根据最后一层生成网络生成的特征图生成所述合成面部图像；其中，在通过任一层生成网络生成特征图的过程中，将所述风格向量输入至所述任一层生成网络，得到所述任一层生成网络根据前一层生成网络生成的特征图、以及所述风格向量生成的特征图。
[0015]在一示例性实施例中，基于前述方案，所述生成模块具体配置为：随机生成噪声数据；将所述噪声数据和所述风格向量输入至所述任一层生成网络，得到所述任一层生成网络根据前一层生成网络生成的特征图、所述风格向量、以及所述噪声数据生成的特征图。
[0016]在一示例性实施例中，基于前述方案，在所述隐向量的数量是多个的条件下，所述生成模块具体配置为：计算多个隐向量分别对应的风格向量的平均值，得到平均风格向量；根据每个隐向量对应的风格向量与所述平均风格向量之间的差异，以及所述平均风格向量，计算所述每个隐向量对应的目标风格向量；根据所述每个隐向量对应的目标风格向量，生成所述每个隐向量对应的合成面部图像。
[0017]在一示例性实施例中，基于前述方案，所述生成模块具体配置为：获取面部属性编辑信息；其中，所述面部属性编辑信息用于指示将指定面部属性的属性类别编辑为目标属性类别；从所述风格向量包含的多个向量中，查找出用于控制所述指定面部属性的目标向量；根据所述目标属性类别对所述目标向量进行修改，并根据目标向量修改后的风格向量生成所述隐向量对应的合成面部图像。
[0018]根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的图像处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取面部属性需求信息；其中，所述面部属性需求信息用于描述待生成的面部图像的面部属性类别；从面部图像集包含的多张面部图像中，筛选出与所述面部属性类别相匹配的样本面部图像；根据所述样本面部图像调整设定的面部生成模型的模型参数，得到目标面部生成模型；调用所述目标面部生成模型生成与所述面部属性需求信息相匹配的面部图像，得到合成面部图像。2.如权利要求1所述的方法，其特征在于，所述方法还包括：获取包含至少两张所述合成面部图像的第一图像集；根据所述第一图像集中不同合成面部图像之间的相似度，从所述第一图像集中筛选出第一数量张待显示的合成面部图像；显示筛选出的合成面部图像。3.如权利要求2所述的方法，其特征在于，所述根据所述第一图像集中不同合成面部图像之间的相似度，从所述第一图像集中筛选出第一数量张待显示的合成面部图像，包括：从所述第一图像集中提取出第二数量张合成面部图像，以构建第二图像集，并计算所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度；其中，所述第二数量小于所述第一数量；根据计算出的相似度将所述第一图像集中包含的合成面部图像移动至所述第二图像集；其中，所述第一图像集中包含的合成面部图像被移动至所述第二图像集的概率与所对应的相似度负相关；重新计算所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度，并根据重新计算出的相似度将所述第一图像集中包含的合成面部图像移动至所述第二图像集，直至所述第二图像集中包含的合成面部图像的数量达到所述第一数量；将所述第二图像集中包含的合成面部图像作为所述待显示的合成面部图像。4.如权利要求3所述的方法，其特征在于，所述根据计算出的相似度将所述第一图像集中包含的合成面部图像移动至所述第二图像集，包括：从所述第一图像集中，查找出所对应的相似度最低的合成面部图像，并将查找出的合成面部图像由所述第一图像集移动至所述第二图像集；或，从所述第一图像集中，查找出所对应的相似度低于设定相似度阈值的合成面部图像，并将查找出的合成面部图像由所述第一图像集移动至所述第二图像集。5.如权利要求3所述的方法，其特征在于，所述计算所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度，包括：若所述第二图像集中包含多张合成面部图像，则计算所述第二图像集中包含的多张合成面部图像分别与所述第一图像集中包含的每张合成面部图像之间的相似度；计算所述第二图像集中包含的多张合成面部图像与所述第一图像集中包含的每张合成面部图像之间的相似度的平均值，以作为所述第一图像集中包含的每张合成面部图像与
所述第二图像集之间的相似度。6.如权利要求2所述的方法，其特征在于，在所述根据所述第一图像集中不同合成面部图像之间的相似度，从所述第一图像集中筛选出第一数量张待显示的合成面部图像之前，所述方法还包括：获取指定对象对应的多张面部图像，并从所述指定对象对应的多张面部图像中提取出所述指定对象的面部特征；从所述第一图像集中查找出与所述指定对象的面部特征相匹配的合成面部图像，并从所述第一图像集中删除查找出的合成面部图像。7.如权利要求1所述的方法，其特征在于，所述方法还包括：获取包含面部的待处理图像，并从获取到的待处理图像中筛选出所对应的图像质量满足设定质量需求信息的图像；从筛选出的每张图像中识别出面部区域，并根据所述面部区域对所述每张图...

【专利技术属性】
技术研发人员：曹赟，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：