一种去锯齿的图像增强方法技术

本发明专利技术提出了一种去锯齿的图像增强方法，所述方法包括：获得原始低分辨率图像，通过融合超分大模型进行图像超分，得到第一高分辨率图像；对原始低分辨率图像进行人物检测识别，并对人物部分进行去锯齿优化后得到第二高分辨率图像；对第一高分辨率图像进行文字检测识别，并对文字部分进行文字图像质量增强，得到第三高分辨率图像；将第二高分辨率图像与第三高分辨率图像进行图像融合，得到第四高分辨率图像；原始低分辨率图像与第四高分辨率图像构成一个高低分辨率数据对；借由上述方法能保证在图像中人物去锯齿的同时文字部分不失真，从而得到高质量的高低分辨率数据对用于超分模型训练。型训练。型训练。

【技术实现步骤摘要】
一种去锯齿的图像增强方法


[0001]本专利技术涉及图像处理领域，具体涉及一种去锯齿的图像增强方法。

技术介绍

[0002]借助超分模型进行图像超分辨率是当前在云游戏领域进行图像超分辨率的主要方式之一。而在云游戏超分中，因游戏画面场景复杂，存在包括人物、草木、建筑、文字对话等诸多随机因素，现有的超分模型的应用效果欠佳。
[0003]对于画面中的人物，采用恢复效果较好的超分模型时，可将低分辨率图像的像素进行放大变清晰，但同样低分辨率图像中线条存在的锯齿也会被同步放大，使得超分后的线条锯齿感会变更强。这将会导致在人物动态情况下产生人物线条闪烁感较强的问题。而采用平滑去锯齿超分模型时，尽管可以有效遏制锯齿感，但往往存在过度平滑的问题，导致人物整体的线条失真以及细节丢失。
[0004]对于画面中的文字内容，因上述模型存在的问题，也比较难做到文字部分完整清晰且非文字部分锯齿感少、画面清晰。
[0005]由于超分模型依赖于高低分辨率数据对进行训练，高低分辨率数据对的质量将直接影响超分模型的效果；故产生高质量的高低分辨率数据对是一个亟待解决的问题。

技术实现思路

[0006]针对上述存在的拘束局限性，本专利技术提出了一种去锯齿的图像增强方法，利用分区域优化的策略，保证在图像中人物去锯齿的同时文字部分不失真，从而得到高质量的高低分辨率数据对用于超分模型训练。
[0007]为实现上述目的，本专利技术采用了以下技术方案：
[0008]一种去锯齿的图像增强方法，所述方法包括以下步骤：
[0009]S11、获得原始低分辨率图像，通过融合超分大模型进行图像超分，得到第一高分辨率图像；
[0010]S12、对原始低分辨率图像进行人物检测识别，并对人物部分进行去锯齿优化后得到第二高分辨率图像；
[0011]S13、对第一高分辨率图像进行文字检测识别，并对文字部分进行文字图像质量增强，得到第三高分辨率图像；
[0012]S14、将第二高分辨率图像与第三高分辨率图像进行图像融合，得到第四高分辨率图像；原始低分辨率图像与第四高分辨率图像构成一个高低分辨率数据对。
[0013]本专利技术与现有技术相对比，本专利技术具有以下优点：
[0014](1)利用分区域优化的策略，保证在图像中人物去锯齿的同时文字部分不失真，并且保证除文字外的画面质量不变时对文字部分进行效果增强；
[0015](2)为了使得超分的效果最佳，通过融合多个结构复杂的盲超分大模型生产的超分结果，利用不同超分模型其学习能力及特征表达的不同，从而完成多样语义信息的融合；
[0016](3)解决了游戏中人物在运动状态中的线条的闪烁，以及文字不清晰的情况，使得生产的游戏场景下高低分辨率数据对的质量提升，从而有利于端侧小模型超分的训练。
[0017]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
[0018]图1为本专利技术实施例提供的一种去锯齿的图像增强方法的步骤图。
[0019]图2为本专利技术实施例提供的一种人物部分进行去锯齿优的步骤图。
[0020]图3为本专利技术实施例提供的一种超分模型卷积模块的结构图。
具体实施方式
[0021]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了进一步了解本专利技术，下面结合最佳实施例对本专利技术作进一步的详细说明。
[0022]如下为本专利技术实施例中涉及名词术语的解释：
[0023]SwinIR模型：一种基于Swin Transformer的超分模型，在论文《SwinIR:Image Restoration Using Swin Transformer》中被提出和公开，由浅层特征提取、深度特征提取和高质量图像重建模块组成；和现有模型相比具有更少的参数，且超分效果更好。
[0024]HAT模型：一种基于Swin Transformer的超分模型，在论文《Activating More Pixels in Image Super
‑
Resolution Transformer》中被提出和公开，该模型结合了通道注意力(CAB)和自注意力([S]W
‑
MSA)方案，从而利用它们的互补优势；同时引入了重叠交叉注意模块(OCAB)来增强相邻窗口特征之间的交互。
[0025]Real
‑
ESRGAN模型：由腾讯ARC实验室发布的一个盲图像超分辨率模型，该模型在ESRGAN的基础上使用纯合成数据来进行训练，Real
‑
ESRGAN目前提供了五种模型，分别是realesrgan
‑
x4plus(默认)、reaesrnet
‑
x4plus、realesrgan
‑
x4plus
‑
anime(针对动漫插画图像优化，有更小的体积)、realesr
‑
animevideov3(针对动漫视频)和realesrgan
‑
x4plus
‑
anime
‑
6B。
[0026]在下文中，将结合前述名词术语及附图具体介绍本专利技术的示例性实施例。
[0027]本专利技术的专利技术点是提供一种去锯齿的图像增强方法，参考图1，所述方法包括以下步骤：
[0028]S11、获得原始低分辨率图像，通过融合超分大模型进行图像超分，得到第一高分辨率图像；
[0029]S12、对原始低分辨率图像进行人物检测识别，并对人物部分进行去锯齿优化后得到第二高分辨率图像；
[0030]S13、对第一高分辨率图像进行文字检测识别，并对文字部分进行文字图像质量增强，得到第三高分辨率图像；
[0031]S14、将第二高分辨率图像与第三高分辨率图像进行图像融合，得到第四高分辨率图像；此时，原始低分辨率图像与第四高分辨率图像将构成一个高低分辨率数据对。
[0032]作为一种实施例，所述融合超分大模型是指SwinIR模型与HAT模型的融合模型。
[0033]SwinIR模型与HAT模型均为大参数量的盲超分模型，基于SwinTransformer实现；由于二者学习到的图像特征不一致，将二者进行融合可起到特征互补的作用。
[0034]具体的，所述融合超分达模型的实现方式为：
[0035]分别将原始低分辨率图像输入到SwinIR模型与HAT模型中，得到第一临时高分辨率图像和第二临时高分辨率图像；将第一临时高分辨率图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去锯齿的图像增强方法，其特征在于，所述方法包括以下步骤：S11、获得原始低分辨率图像，通过融合超分大模型进行图像超分，得到第一高分辨率图像；S12、对原始低分辨率图像进行人物检测识别，并对人物部分进行去锯齿优化后得到第二高分辨率图像；S13、对第一高分辨率图像进行文字检测识别，并对文字部分进行文字图像质量增强，得到第三高分辨率图像；S14、将第二高分辨率图像与第三高分辨率图像进行图像融合，得到第四高分辨率图像；原始低分辨率图像与第四高分辨率图像构成一个高低分辨率数据对。2.根据权利要求1所述的方法，其特征在于，所述融合超分大模型是指SwinIR模型与HAT模型的融合模型；S11的具体实现方式为：分别将原始低分辨率图像输入到SwinIR模型与HAT模型中，得到第一临时高分辨率图像和第二临时高分辨率图像；将第一临时高分辨率图像与第二临时高分辨率图像相加融合，得到第一高分辨率图像。3.根据权利要求1所述的方法，其特征在于，S12还包括以下步骤：S121、对原始低分辨率图像进行人物检测识别得到人物坐标；S122、根据人物坐标对原始低分辨率图像进行人物裁剪，得到第一低分辨率人物子图像；同时根据人物坐标对第一高分辨率图像进行人物裁剪，得到第一高分辨率人物子图像及第一高分辨率非人物子图像；S123、将第一低分辨率人物子图像通过Real
‑
ESRGAN模型进行超分辨率操作，得到第二高分辨率人物子图像；所述第二高分辨率人物子图像与所述第一高分辨率人物子图像的分辨率相同；S124、通过边缘提取算子提取第一高分辨率人物子图像的人物轮廓线条并将人物轮廓线条转换为掩膜mask；S125、利用掩膜mask对第一高分辨率人物子图像进行平滑线条提取，得到人物高频线条区域子图像；...

【专利技术属性】
技术研发人员：郭建君，
申请(专利权)人：北京蔚领时代科技有限公司，
类型：发明
国别省市：