一种衣服褶皱祛除方法和装置制造方法及图纸

本发明专利技术公开了一种衣服褶皱祛除方法和装置。其中，所述方法包括：包括：利用褶皱检测网络提取原始图像中的全部褶皱块；对每个褶皱块进行重建获得纯净的图像块，将获得的图像块填充至原始图像获得结果图。本发明专利技术可以精细化消除图像中衣物的褶皱，能够保留用户因动作姿势产生的自然美观的部分褶皱，能够处理极高分辨率图像，处理效果可以覆盖4K分辨率。本发明专利技术能够快速定位并调整修复拍摄时用户衣服产生不美观褶皱的问题。美观褶皱的问题。美观褶皱的问题。

【技术实现步骤摘要】
一种衣服褶皱祛除方法和装置


[0001]本专利技术涉及衣服图像修饰
，尤其涉及一种衣服褶皱祛除方法和装置。

技术介绍

[0002]目前市面上对图像内容修缮的AI功能多停留在人体皮肤、头发或者面部五官和整体画质。对衣物的瑕疵修缮基本空白，而商业修图中衣物褶皱的淡化和消除是衣物瑕疵修整的重要环节。当前已有的自动修整衣服褶皱应用功能远远达不到商业修图的质量要求，如果依靠手动图像编辑工具，纯手工调整达到合格的修整质量是非常繁琐且耗时的。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提出一种衣服褶皱祛除方法和装置，能够快速定位并调整修复拍摄时用户衣服产生不美观褶皱的问题。
[0004]根据本专利技术的一个方面，提供一种衣服褶皱祛除方法，包括：
[0005]利用褶皱检测网络提取原始图像中的全部褶皱块；
[0006]对每个褶皱块进行重建获得纯净的图像块，将获得的图像块填充至原始图像获得结果图。
[0007]在上述技术方案中，可以精细化消除图像中衣物的褶皱，能够保留用户因动作姿势产生的自然美观的部分褶皱，能够处理极高分辨率图像，处理效果可以覆盖4K分辨率。
[0008]在一些实施例中，利用褶皱检测网络提取原始图像中的全部褶皱块，具体的：
[0009]将原始图像输入预先建立的褶皱检测模型，预测得到褶皱所处位置的热力图；基于预设阈值、连通性判定对热力图进行筛选获得原始图像中的全部褶皱区；利用褶皱区对原始图像进行裁切获得全部褶皱块。
[0010]在上述技术方案中，褶皱检测模型没有特殊性，通过标注了褶皱位置的数据训练获得即可。做裁切的目的在于，整体的一次性的处理是困难的，难以达到预期效果，裁剪可以将任务更具体化，将我们的生成过程约束在一个小的空间，简化问题让它变得高效可行。热力图的检测能最大程度保留褶皱“位置”、“形状”、“程度”等信息如热力图上亮度的强弱，代表了褶皱的程度，形状的连通性又决定了分块的依据，和粒度控制这为后续【筛选】和【修补】过程都提供的可以人工设计规则的空间(直接检测褶皱位置或者语义分割网络是做不到的)。
[0011]在一些实施例中，对每个褶皱块进行重建获得纯净的图像块，将获得的图像块填充至原始图像获得结果图，具体的
[0012]利用扩散生成网络对所有褶皱块分别进行重建获得对应的图像块，再对图像块进行预处理后填充至原始图像获得结果图。
[0013]在上述技术方案中，GAN、VAE和自回归模型这样的深度生成模型可以处理图像合成问题。此处选择扩散生成网络的目的在于：GAN等模型在效果上，自然美观程度不如扩散生成网络，在训练数据上也更要求有配对的数据或者两个明确的数据类别(如有褶皱和无
褶皱)。采用扩散生成网络对数据要求更低，效果更稳定，更自然。
[0014]在一些实施例中，再对图像块进行预处理后填充至原始图像获得结果图，具体的：
[0015]将图像块和褶皱块进行拟合得到每个块的映射关系系数，再通过映射关系系数将所有图像块填充至原始图像获得结果图。
[0016]在上述技术方案中，图像块虽然是干净的，没有褶皱的，但容易与褶皱块的内容不一致，如错位、颜色偏差等等，所以需要拟合两者的映射关系系数，来确保填充之后的图像块不会出现错位、颜色偏差等。
[0017]在一些实施例中，将图像块和褶皱块进行拟合得到每个块的映射关系系数，之后还包括：
[0018]对每个块的映射关系系数进行平滑处理。
[0019]在上述技术方案中，因为每个块都有一组映射关系系数，但是每个块都映射关系系数都不一定相同，为了确保相邻块之间过渡平滑，需要对映射关系系数进行平滑，确保图像块与原图、其他图像块之间过度平滑。diffusion生成扩散模型在生成效果上是比较好的，但仅仅限于“较小的局部区域”，整体的生成会导致与原图内容不完全对齐等问题，在实际生产生活中，这样的偏差是不可接受的。所以我们采用局部块扩散生成，获得拟合系数，并平滑拟合系数，最终获得整体协调的【修补映射】系数，以此达到既【干净平整】又内容位置对齐，整体协调的结果。
[0020]根据本专利技术的另一个方面，提供一种衣服褶皱祛除装置，包括：包括：依次电连接的提取模块、分析模块；
[0021]所述提取模块，用于利用褶皱检测网络提取原始图像中的全部褶皱块；
[0022]所述分析模块，用于对每个褶皱块进行重建获得纯净的图像块，将获得的图像块填充至原始图像获得结果图；
[0023]在上述技术方案中，使用该装置处理褶皱衣服图像可以精细化消除图像中衣物的褶皱，能够保留用户因动作姿势产生的自然美观的部分褶皱，能够处理极高分辨率图像，处理效果可以覆盖4K分辨率。
[0024]在一些实施例中，所述提取模块，具体用于将原始图像输入预先建立的褶皱检测模型，预测得到褶皱所处位置的热力图；基于预设阈值、连通性判定对热力图进行筛选获得原始图像中的全部褶皱区；利用褶皱区对原始图像进行裁切获得全部褶皱块。
[0025]在上述技术方案中，褶皱检测模型没有特殊性，通过标注了褶皱位置的数据训练获得即可。利用提取模块做裁切的目的在于，整体的一次性的处理是困难的，难以达到预期效果，裁剪可以将任务更具体化，将我们的生成过程约束在一个小的空间，简化问题让它变得高效可行。
[0026]在一些实施例中，所述分析模块，具体用于利用扩散生成网络对所有褶皱块分别进行重建获得对应的图像块，再对图像块进行预处理后填充至原始图像获得结果图。
[0027]在上述技术方案中，GAN、VAE和自回归模型这样的深度生成模型可以处理图像合成问题。此处分析模块的分析部分采用扩散生成网络的目的在于：GAN等模型在效果上，自然美观程度不如扩散生成网络，在训练数据上也更要求有配对的数据或者两个明确的数据类别(如有褶皱和无褶皱)。采用扩散生成网络对数据要求更低，效果更稳定，更自然。
[0028]在一些实施例中，所述分析模块具体包括：
[0029]第一分析模块，用于将图像块和褶皱块进行拟合得到每个块的映射关系系数，再通过映射关系系数将所有图像块填充至原始图像获得结果图。
[0030]在上述技术方案中，图像块虽然是干净的，没有褶皱的，但容易与褶皱块的内容不一致，如错位、颜色偏差等等，所以利用第一分析模块拟合两者的映射关系系数，来确保填充之后的图像块不会出现错位、颜色偏差等
[0031]在一些实施例中，所述分析模块具体包括：
[0032]第二分析模块，用于将图像块和褶皱块进行拟合得到每个块的映射关系系数，对每个块的映射关系系数进行平滑处理，再通过映射关系系数将所有图像块填充至原始图像获得结果图。
[0033]在上述技术方案中，因为每个块都有一组映射关系系数，但是每个块都映射关系系数都不一定相同，为了确保相邻块之间过渡平滑，利用第二分析模块对映射关系系数进行平滑，确保图像块与原图、其他图像块之间过度平滑。
附图说明
[0034]为了更清楚地说明本专利技术实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种衣服褶皱祛除方法，其特征在于，包括：利用褶皱检测网络提取原始图像中的全部褶皱块；对每个褶皱块进行重建获得纯净的图像块，将获得的图像块填充至原始图像获得结果图。2.如权利要求1所述的一种衣服褶皱祛除方法，其特征在于，利用褶皱检测网络提取原始图像中的全部褶皱块，具体的：将原始图像输入预先建立的褶皱检测模型，预测得到褶皱所处位置的热力图；基于预设阈值、连通性判定对热力图进行筛选获得原始图像中的全部褶皱区；利用褶皱区对原始图像进行裁切获得全部褶皱块。3.如权利要求1所述的一种衣服褶皱祛除方法，其特征在于，对每个褶皱块进行重建获得纯净的图像块，将获得的图像块填充至原始图像获得结果图，具体的利用扩散生成网络对所有褶皱块分别进行重建获得对应的图像块，再对图像块进行预处理后填充至原始图像获得结果图。4.如权利要求3所述的一种衣服褶皱祛除方法，其特征在于，再对图像块进行预处理后填充至原始图像获得结果图，具体的：将图像块和褶皱块进行拟合得到每个块的映射关系系数，再通过映射关系系数将所有图像块填充至原始图像获得结果图。5.如权利要求3所述的一种衣服褶皱祛除方法，其特征在于，将图像块和褶皱块进行拟合得到每个块的映射关系系数，之后还包括：对每个块的映射关系系数进行平滑处理。6.一种衣服褶皱祛除装置，其特征在于...

【专利技术属性】
技术研发人员：吴善思源，张伟，柯凌捷，林冠宇，
申请(专利权)人：厦门真景科技有限公司，
类型：发明
国别省市：