一种基于风格迁移的场景图像文字编辑方法技术

一种基于风格迁移的场景图像文字编辑方法，提出一种基于高效语义分割的数据集扩充方法，扩充数据集中的字符对，并提出了一种基于字符颜色与组合的数据集增强方法，通过优化字符图像颜色分布和扩充字符组合类型,合成字符颜色迁移增强数据集CCT；提出了一种基于控制点组确定文本整体几何属性、文本形状、字符旋转角度的字符纠偏方法，以深度学习网络为基础,结合背景修复方法，利用增强数据集训练出字符风格迁移网络模型，从而生成更高质量的图像，并以此为基础实现自动化场景图像文字编辑工作。工作。工作。

【技术实现步骤摘要】
一种基于风格迁移的场景图像文字编辑方法


[0001]本专利技术属于计算机视觉图像处理领域，具体涉及一种基于风格迁移的场景图像文字编辑方法。

技术介绍

[0002]文字在人与人之间的沟通交流中提供了大量信息，而且文字也是平面设计中很重要的视觉元素,设计师需要投入大量时间来设计不同的字体，并填充合适的颜色使得文字与其他设计元素在视觉方面相协调。自然场景图像文字编辑技术在生活中应用的十分广泛，例如在广告图片编辑、文字纠错、文物修复、AR翻译等应用场景中都需要在保证图片整体视觉效果的情况下，对图片中的文字内容进行替换。自从Photoshop这类软件问世以来，人们就可以通过使用这类工具来改变图像大小、颜色、对比度、亮度、锐度等图像基础属性，甚至可以改变图像的内容。但是这些软件往往需要相关美术设计功底和丰富的工具使用经验的专业人士才能对图片有较好的处理效果。文字设计一旦完成之后，对于没有美术设计基础或是没有相关图片修改专业工具使用经验的用户来说，想要对场景图片中的文字信息进行修改且保留其原本的美术风格，是一个极具挑战性的任务。因此自动化场景图像文字编辑方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于风格迁移的场景图像文字编辑方法，其具体步骤如下：(1)基于字符颜色分布与组合优化对现有数据集进行增强，使用基于高效交互式语义分割的数据集扩充方法对数据集的字符颜色和字符组合类型进行优化，构建CCT增强数据集；(2)在进行字符编辑之前，提出一种文本纠偏方法，对场景图像文本区域进行检测并分割出单个字符图像，同时获取整个文本的几何属性，以便于对文本区域进行纠偏；(3)将步骤(2)得到的原字符二值化图像和目标字母的one
‑
hot编码作为输入通过字形结构迁移网络模型得到目标字符二值图像，并将其与彩色原字符图像作为输入通过字符颜色迁移网络模型得到目标字符彩色图像；(4)通过插值算法对去除掉字符区域的背景进行修复，先处理待修复区域边缘上的像素点，并通过待修复点临近点的像素值和距离来计算待修复点的像素值，再层层推进直到修复完所有像素点，得到修复好的背景图像；(5)最后将目标字符彩色图像通过薄板样条插值算法还原为原本的文本形状，并且放置在修复好的背景图像中完成整个场景图像文字编辑的过程。2.如权利要求1所述的一种基于风格迁移的场景图像文字编辑方法，其特征在于：步骤(1)具体包括：(1
‑
1)提出一种基于高效交互式语义分割方法，基于EdgeFlow模型和SHAP方法对图像进行交互式分割，用以低成本标注图像并快速扩充数据集；(1
‑
2)对现有数据集图像的颜色分布进行可视分析，发现现有公开数据集中存在的颜色分布方面的问题，并对数据集图像的颜色信息部分进行增强；(1
‑
3)对现有数据集图像的字符组合进行可视分析，发现现有公开数据集中存在的字符组合类型方面的问题，并使用步骤(1
‑
1)提出的基于高效交互式语义分割的数据集扩充方法对现有公开数据集进行字符组合类型优化；(1
‑
4)通过优化后的字符颜色图像和字符对二值图来生成CCT增强数据集，CCT增强数据集直接参与字符颜色迁移网络的训练，用于提高模型的准确率和泛化能力。3.如权利要求2所述的一种基于风格迁移的场景图像文字编辑方法，其特征在于：步骤(1
‑
2)中通过字符图片的一元灰度熵来区分图片的颜色是否为渐变色，用如下数学公式表述：其中P
i
表示图像中灰度值为i(0≤i≤255)的像素所占的比例，熵非负。4.如权利要求1所述的一种基于风格迁移的场景图像文字编辑方法，其特征在于：步骤(2)包括：(2
‑
1)通过CRAFT网络模型检测文本区域得到两个分数图region score和affinity score，分别表示给定的像素是字符中心的概率和相邻两个字符中间空白区域中心的概率，并且使用高斯热力图对字符中心的概率进行编码；(2
‑
2)对得到的高斯热力图进行几何处理生成多边形字符区域，通过几何处理得到的两组控制点，并通过薄板样条插值(Thin plate splines)算法来对文本形状进行控制达到纠偏的效果...

【专利技术属性】
技术研发人员：梁浩然，朱泽浩，梁荣华，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：