图像处理方法、装置、终端设备及计算机可读存储介质制造方法及图纸

本申请适用于图像处理技术领域，提供了一种图像处理方法、装置、终端设备及计算机可读存储介质，包括：根据第一线条生成第一生成图像，所述第一线条为第t时刻输入图像中存在的线条，所述t为正整数；根据所述第一生成图像和第二线条生成第二生成图像，其中，所述第二线条为第t+1时刻所述输入图像中存在的线条，所述第一生成图像和所述第二生成图像的图像风格相同。通过上述方法，能够有效提高AI绘画的智能化程度。智能化程度。智能化程度。

【技术实现步骤摘要】
图像处理方法、装置、终端设备及计算机可读存储介质


[0001]本申请属于图像处理
，尤其涉及一种图像处理方法、装置、终端设备及计算机可读存储介质。

技术介绍

[0002]近些年，AI技术不仅为人们的生活提供了各种便利，同时还丰富着我们的生活乐趣，AI与艺术的结合也给我们带来了奇妙的体验。例如，在绘画应用场景中，用户只需输入简单的线条，即可通过AI技术获得一张层次丰富、风格独特的绘画作品。
[0003]现有技术中，通常将用户输入的线条拆解为独立的笔画，然后根据各个独立的笔画生成绘画作品。这种方式往往忽略了线条之间的关联性，导致生成的绘画作品内容突变，风格不一致。可见，现有的AI绘画技术智能化程度较低，无法满足用户的绘画需求。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法、装置、终端设备及计算机可读存储介质，可以有效提高AI绘画的智能化程度。
[0005]第一方面，本申请实施例提供了一种图像处理方法，包括：
[0006]根据第一线条生成第一生成图像，所述第一线条为第t时刻输入图像中存在的线条，所述t为正整数；
[0007]根据所述第一生成图像和第二线条生成第二生成图像，其中，所述第二线条为第t+1时刻所述输入图像中存在的线条，所述第一生成图像和所述第二生成图像的图像风格相同。
[0008]本申请实施例中，当前时刻生成的图像，融合了上一时刻生成的图像以及当前时刻新增的线条；相当于将图像生成的过程转化为一个随着时间节点/笔画节点自回归的生成过程；这种自回归的生成过程能够增强图像生成过程中各个线条之间的相关性，使得生成的图像保持内容一致，进而有效提高AI绘画的智能化程度。
[0009]在第一方面的一种可能的实现方式中，所述根据所述第一生成图像和第二线条生成第二生成图像，包括：
[0010]根据随机噪声数据生成第一噪声图像；
[0011]根据所述第一生成图像、所述第二线条和所述第一噪声图像生成所述第二生成图像。
[0012]在第一方面的一种可能的实现方式中，所述根据所述第一生成图像和第二线条生成第二生成图像，包括：
[0013]将所述第一生成图像和所述第二线条输入训练后的生成模型中，输出所述第二生成图像；
[0014]其中，所述生成模型包括依次连接的第一网络、第二网络和第三网络，所述第一网络用于根据输入数据生成结构特征，所述第二网络用于根据所述第一网络层输出的结构特
征生成表示绘画风格的风格特征，所述第三网络用于根据所述第二网络输出的所述风格特征生成所述第二生成图像。
[0015]在第一方面的一种可能的实现方式中，所述方法还包括：
[0016]根据多组训练图像训练所述生成模型，获得训练后的所述生成模型，其中，每组训练图像中包括一张参考图像和一张与所述参考图像相匹配的样本图像，所述样本图像为线条图像，所述参考图像为具有预设绘画风格的图像。
[0017]在第一方面的一种可能的实现方式中，所述样本图像中包括依次绘制的M个笔画，所述M为正整数，根据每组训练图像训练所述生成模型的过程包括：
[0018]将所述训练图像中的参考图像输入到所述第二网络中，输出第一特征；
[0019]将第一组笔画输入到所述第一网络，得到第二特征，其中，所述第一组笔画中包含所述训练图像中的所述样本图像的第1个笔画到第m个笔画，所述m为不大于M的正整数；
[0020]将所述第一特征和所述第二特征输入所述第三网络，输出第三生成图像；
[0021]根据预设的判别器获取所述第三生成图像的第一判别结果，所述第一判别结果用于表示所述第三生成图像和所述参考图像之间的相似度；
[0022]根据所述第一判别结果更新所述生成模型的参数和所述判别器的参数，获得更新后的所述生成模型和更新后的所述判别器。
[0023]在第一方面的一种可能的实现方式中，在根据所述第一判别结果更新所述生成模型的参数和所述判别器的参数，获得更新后的所述生成模型和更新后的所述判别器之后，所述方法还包括：
[0024]若m不等于M，则将第二组笔画输入到更新后的所述第一网络，得到第三特征，其中，所述第二组笔画中包含所述训练图像中的样本图像的第m+1个笔画到第n个笔画，所述n为正整数，且m+1<n≤M；
[0025]将所述第一特征、所述第三特征和所述第三生成图像输入所述第三网络，输出第四生成图像；
[0026]根据更新后的所述判别器获取所述第四生成图像的第二判别结果，所述第二判别结果用于表示所述第四生成图像和参考图像之间的相似度；
[0027]根据所述第二判别结果更新所述生成模型的参数和所述判别器的参数，直到所述样本图像中所有的笔画均已参与训练，获得训练后的所述生成模型。
[0028]第二方面，本申请实施例提供了一种图像处理装置，包括：
[0029]第一生成单元，用于根据第一线条生成第一生成图像，所述第一线条为第t时刻输入图像中存在的线条，所述t为正整数；
[0030]第二生成单元，用于根据所述第一生成图像和第二线条生成第二生成图像，其中，所述第二线条为第t+1时刻所述输入图像中存在的线条，所述第一生成图像和所述第二生成图像的图像风格相同。
[0031]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的图像处理方法。
[0032]第四方面，本申请实施例提供了一种计算机可读存储介质，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序
被处理器执行时实现如上述第一方面中任一项所述的图像处理方法。
[0033]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的图像处理方法。
[0034]可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0035]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本申请实施例提供的生成模型的示意图；
[0037]图2是本申请实施例提供的模型训练过程的示意图；
[0038]图3是本申请实施例提供的图像处理方法的流程示意图；
[0039]图4是本申请实施例提供的图像生成过程示意图；
[0040]图5是本申请实施例提供的图像处理装置的结构框图；
[0041]图6是本申请实施例提供的终端设备的结构示意图。
具体实施方式
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：根据第一线条生成第一生成图像，所述第一线条为第t时刻输入图像中存在的线条，所述t为正整数；根据所述第一生成图像和第二线条生成第二生成图像，其中，所述第二线条为第t+1时刻所述输入图像中存在的线条，所述第一生成图像和所述第二生成图像的图像风格相同。2.如权利要求1所述的图像处理方法，其特征在于，所述根据所述第一生成图像和第二线条生成第二生成图像，包括：根据随机噪声数据生成第一噪声图像；根据所述第一生成图像、所述第二线条和所述第一噪声图像生成所述第二生成图像。3.如权利要求1所述的图像处理方法，其特征在于，所述根据所述第一生成图像和第二线条生成第二生成图像，包括：将所述第一生成图像和所述第二线条输入训练后的生成模型中，输出所述第二生成图像；其中，所述生成模型包括依次连接的第一网络、第二网络和第三网络，所述第一网络用于根据输入数据生成结构特征，所述第二网络用于根据所述第一网络层输出的结构特征生成表示绘画风格的风格特征，所述第三网络用于根据所述第二网络输出的所述风格特征生成所述第二生成图像。4.如权利要求3所述的图像处理方法，其特征在于，所述方法还包括：根据多组训练图像训练所述生成模型，获得训练后的所述生成模型，其中，每组训练图像中包括一张参考图像和一张与所述参考图像相匹配的样本图像，所述样本图像为线条图像，所述参考图像为具有预设绘画风格的图像。5.如权利要求4所述的图像处理方法，其特征在于，所述样本图像中包括依次绘制的M个笔画，所述M为正整数，根据每组训练图像训练所述生成模型的过程包括：将所述训练图像中的参考图像输入到所述第二网络中，输出第一特征；将第一组笔画输入到所述第一网络，得到第二特征，其中，所述第一组笔画中包含所述训练图像中的所述样本图像的第1个笔画到第m个笔画，所述m为不大于M的正整数；将所述第一特征和所述第二特征输入所述第三网络，输出第三生成图像；根据预设的判别器获取所述第三生成图像的第一判别结果，所述第一判别结果用于表示所述第三...

【专利技术属性】
技术研发人员：赵妙云，焦继超，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：