本发明专利技术公开了一种人物线稿生成方法，包括：获取目标人物图片；将所述目标人物图片输入至预先训练好的人物线稿模型中，通过人物线稿模型对目标人物图片进行转换，得到人物线稿；其中，人物线稿模型的训练方法，包括：获取人物图片和与人物图片对应的人物线稿；将人物图片输入至人物线稿模型的生成器中，生成与人物图片对应的线条图以及将线条图与人物图片对应的人物线稿输入至人物线稿模型的判别器中；分别计算第一损失函数、第二损失函数、第三损失函数，进行加权求和，得到总损失函数；对生成器与判别器进行迭代更新，使总损失函数达到预设条件。本发明专利技术可以让网络获得更好的几何信息及语义信息的提取及结合能力，以此生成更加优质及信息完整的线稿图像。优质及信息完整的线稿图像。优质及信息完整的线稿图像。
【技术实现步骤摘要】
人物线稿生成方法、装置、设备及介质
[0001]本专利技术属于计算机视觉、多媒体技术及数字娱乐领域，具体涉及一种人物线稿生成方法、装置、设备及介质。
技术介绍
[0002]人物线描(Character Line Drawing，简称Line Art)的目的是将图片/图像域中的信息转化为一个简化的表示域，并用基本的图形元素(如直线或曲线)表示平面的变化。它是一种抽象而灵活的艺术形式，其应用包括多种场景，如娱乐、关键艺术、漫画和计算机生成动画。高质量的线稿的绘制通常需要专业的艺术家或领域专家花费相当大的精力。更多的细节意味着在绘制过程中更多的困难，因此线稿艺术是被认为是一项劳动密集、费时费力、富有挑战性的艺术。
[0003]在深度学习领域关于线稿图的研究中，Zhang等人提出了一种分割填充机制来进行线稿艺术着色。首先将输入的用户涂鸦分成几组进行影响区域估计，然后对每组进行数据驱动的颜色生成过程。这些输出最终被合并，形成高质量的填充结果。Zheng等人首先设计了一个ShapeNet来学习线稿图中的三维几何信息，然后使用RenderNet来产生三维阴影。SmartShadow应用程序由三个数据驱动的工具组成，一个用于确定用户想要创建阴影的区域的阴影刷，一个控制阴影边界的阴影刷，以及一个基于估计的全局阴影方向生成整个图像阴影的全局阴影发生器。Li等人利用残差网络和对称跳过网络的思想，建立了基于CNN的方法来解决漫画图像的结构线提取问题。为了生成多种风格和未见过的肖像画。Yi等人利用非对称循环结构设计了一个新颖的肖像画生成架构，首次采用回归网络来计算APDrawing的质量分数。基于这个模型，定义了一个质量损失来指导网络生成高质量的APDrawings。Im2Pencil和将线稿图的生成过程作为一个独立的子任务，以促进漫画和插图的合成。
[0004]利用这些人工智能技术，是否可以自动完成人物图片到线稿风格的转换？本质上，这个问题可以看作是一个将人物图片/图片转换为线稿图表示域的图像到图像的翻译问题，而基于GAN的方法实际上也适用于解决这个问题。
[0005]图像翻译方法(例如Pix2pix、Cycle GAN)也可以自动完成人物图片到线稿风格的转换。但由于，(1)手工绘制的人物线条是抽象的和稀疏的，完全不同于其他图像翻译应用；(2)语义信息缺失导致线条不清晰和不完整的问题，无法实现高质量的人物绘图。
技术实现思路
[0006]鉴于以上所述现有技术的缺点，本专利技术提供一种人物线稿生成方法、装置、设备及介质，以解决上述技术问题。
[0007]本专利技术提供的一种人物线稿生成方法，所述方法包括：
[0008]获取目标人物图片；
[0009]将所述目标人物图片输入至预先训练好的人物线稿模型中，通过所述人物线稿模
型对所述目标人物图片进行转换，得到人物线稿；其中，所述人物线稿模型的训练方法，包括：
[0010]获取人物图片和与人物图片对应的人物线稿；
[0011]将人物图片输入至人物线稿模型的生成器中，生成与人物图片对应的线条图，以及将所述线条图与所述人物图片对应的人物线稿输入至人物线稿模型的判别器中；
[0012]分别计算第一损失函数、第二损失函数、第三损失函数，所述第一损失函数为生成器的损失函数，所述第二损失函数用于表示所述人物线稿与所述线条图之间的误差，所述第三损失函数为判别器的损失函数；
[0013]对所述第一损失函数、所述第二损失函数、所述第三损失函数进行加权求和，得到总损失函数；
[0014]对所述生成器与所述判别器的参数进行迭代更新，使所述总损失函数达到预设条件，以完成所述人物线稿模型的训练。
[0015]于本专利技术一实施例中，所述生成器包括：
[0016]编码器，用于对所述人物图片进行编码，得到编码结果；
[0017]解码器，用于对所述编码结果进行解码，得到线条图；
[0018]所述编码器包括多层编码层，用于对所述人物图片进行多尺度采样，并对采样得到的多尺度特征进行特征融合，得到融合特征；
[0019]所述解码器包括多层解码层，在对所述编码结果进行解码的过程中，将每个编码层输出的特征图嵌入到不同的解码层中。
[0020]于本专利技术一实施例中，所述编码器采用预先训练好的ResNeXt
‑
50作为编码器，编码层表示为：
[0021]第n
‑
i+1层编码层的输入表示为
[0022][0023]其中，表示n
‑
i层编码层的输出，到表示第1到第i层编码层的输出，PDS()表示渐进式降采样操作，表示求和操作；
[0024][0025]UP()表示对特征图进行上采样；
[0026][0027]表示第i层编码层的输出，表示第i层编码层的输入，C表示组的数量，表示变换函数。
[0028]于本专利技术一实施例中，所述判别器包括多个依次连接的判别器块，每一个判别器块包括依次连接的卷积层、归一化层和残差层。
[0029]根据权利要求1所述的人物线稿生成方法，其特征在于，所述第一损失函数表示为：
[0030][0031]其中，f1为均方误差损失，f2表示平均运算，f4对输入的图片进行调整，其大小与判别器D的输出相同，f3和f5分别为标量值1和0的填充张量。
[0032]于本专利技术一实施例中，所述第三损失函数表示为：
[0033][0034]于本专利技术一实施例中，所述第二损失函数表示为：
[0035][0036]本专利技术提供的一种人物线稿生成装置，所述装置包括：
[0037]图片获取模块，用于获取目标人物图片；
[0038]人物线稿生成模块，用于将所述目标人物图片输入至预先训练好的人物线稿模型中，通过所述人物线稿模型对所述目标人物图片进行转换，得到人物线稿；其中，所述人物线稿模型的训练通过训练模块实现，所述训练模块包括：
[0039]数据获取子模块，用于获取人物图片和与人物图片对应的人物线稿；
[0040]输入子模块，用于将人物图片输入至人物线稿模型的生成器中，生成与人物图片对应的线条图以及将所述线条图与所述人物图片对应的人物线稿输入至人物线稿模型的判别器中；
[0041]损失函数计算子模块，用于分别计算第一损失函数、第二损失函数、第三损失函数，所述第一损失函数为生成器的损失函数，所述第二损失函数用于表示所述人物线稿与所述线条图之间的误差，所述第三损失函数为判别器的损失函数；
[0042]求和子模块，用于对所述第一损失函数、所述第二损失函数、所述第三损失函数进行加权求和，得到总损失函数；
[0043]训练子模块，用于对所述生成器与所述判别器的参数进行迭代更新，使所述总损失函数达到预设条件，以完成所述人物线稿模型的训练。
[0044]本专利技术提供的一种电子设备，所述电子设备包括：
[0045]一个或多个处理器；
[0046]存储装置，用于存储本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人物线稿生成方法，其特征在于，所述方法包括：获取目标人物图片；将所述目标人物图片输入至预先训练好的人物线稿模型中，通过所述人物线稿模型对所述目标人物图片进行转换，得到人物线稿；其中，所述人物线稿模型的训练方法，包括：获取人物图片和与人物图片对应的人物线稿；将人物图片输入至人物线稿模型的生成器中，生成与人物图片对应的线条图，以及将所述线条图与所述人物图片对应的人物线稿输入至人物线稿模型的判别器中；分别计算第一损失函数、第二损失函数、第三损失函数，所述第一损失函数为生成器的损失函数，所述第二损失函数用于表示所述人物线稿与所述线条图之间的误差，所述第三损失函数为判别器的损失函数；对所述第一损失函数、所述第二损失函数、所述第三损失函数进行加权求和，得到总损失函数；对所述生成器与所述判别器的参数进行迭代更新，使所述总损失函数达到预设条件，以完成所述人物线稿模型的训练。2.根据权利要求1所述的人物线稿生成方法，其特征在于，所述生成器包括：编码器，用于对所述人物图片进行编码，得到编码结果；解码器，用于对所述编码结果进行解码，得到线条图；所述编码器包括多层编码层，用于对所述人物图片进行多尺度采样，并对采样得到的多尺度特征进行特征融合，得到融合特征；所述解码器包括多层解码层，在对所述编码结果进行解码的过程中，将每个编码层输出的特征图嵌入到不同的解码层中。3.根据权利要求2所述的人物线稿生成方法，其特征在于，所述编码器采用预先训练好的ResNeXt
‑
50作为编码器，编码层表示为：第n
‑
i+1层编码层的输入表示为其中，表示n
‑
i层编码层的输出，到表示第1到第i层编码层的输出，PDS()表示渐进式降采样操作，表示求和操作；UP()表示对特征图进行上采样；UP()表示对特征图进行上采样；表示第i层编码层的输出，表示第i层编码层的输入，C表示组的数量，表示变换函数。4.根据权利要求3所述的人物线稿生成方法，其特征在于，所述判别器包括多个依次连接的判别器块，每一个判别器...
【专利技术属性】
技术研发人员：方承煜，韩先锋，
申请(专利权)人：西南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。