一种用于高分辨率图像修复的计算机实现的方法，包括以下步骤：提供高分辨率输入图像；提供至少一个修复蒙版，所述修复蒙版指示至少一组要去除和合成的像素；选择所述输入图像的至少一个矩形子区域和所述修复蒙版的至少一个对齐的矩形子区域，使得所述输入图像的所述矩形子区域包含至少一组要移除和合成的像素，所述输入图像的至少一个所述子区域和所述修复蒙版上对应的对齐子区域具有相同的最小可能尺寸，所述输入图像的至少一个所述子区域和所述修复蒙版上对应的对齐子区域在一位置处计算出的信息增益不降低；在接收所述输入图像的已修复子区域和至少一组合成的像素的情况下，所述至少一组合成的像素同时在语义和视觉上与所述输入图像的周围部分适配，利用机器学习模型处理所述输入图像的所述子区域和所述修复蒙版上对应的对齐子区域；生成高分辨率输出图像，所述输出图像包括所述已修复子区域，所述已修复子区域具有至少一组合成的像素，所述至少一组合成的像素同时在语义和视觉上与所述输入图像的周围部分适配。所述输入图像的周围部分适配。所述输入图像的周围部分适配。
【技术实现步骤摘要】
【国外来华专利技术】修复高分辨率图像的方法、处理系统和计算机程序产品
[0001]本专利技术涉及一种用于修复高分辨率图像的方法，特别是应用于移动设备。本专利技术还涉及能够实现所述方法的处理系统以及与所述方法相关联的计算机程序产品。
[0002]“修复”是重建图像和视频中缺失、丢失或恶化的部分的过程。它可用于编辑自动场景、修饰照片、恢复旧照片和旧视频以及许多其他应用中。
[0003]目前有很多基于经典计算机视觉方法的修复技术，例如在Jiahui Yu,Zhe Lin,Jimei Yang,Xiaohui Shen,Xin Lu,Thomas S.Huang“Generative Image Inpainting with Contextual Attention”,2018(关注上下文的图像生成修复技术)中公开的技术。还有许多基于机器学习方法的修复技术，例如在Connelly Barnes,Eli Shechtman,Adam Finkelstein,and Dan B Goldman“PatchMatch:A Randomized Correspondence Algorithm for Structural Image Editing”,2009(补丁匹配：一种针对图像结构编辑的随机对应方法)中和在Guilin Liu,Fitsum A.Reda,Kevin J.Shih,Ting
‑
Chun Wang,Andrew Tao,Bryan Catanzaro“Image Inpainting for Irregular Holes Using Partial Convolutions”,2019(利用部分卷积修复图像上的不规则孔洞)中公开的技术。
[0004]然而，现有技术存在缺陷。经典的计算机视觉方法对于复杂的场景通常会产生非现实的效果，因为它们不包含任何语义信息，并且通常基于补丁匹配和复制粘贴。通常在低分辨率(例如256
×
256或512
×
512)下能确认机器学习方法的结果，而无法在具有高分辨率图像(例如4K图像)的移动平台上应用所述机器学习方法。
[0005]因此，尤其是对于内存和计算能力存在限制的移动设备，需要提供一种对于复杂场景可靠并且适用于高分辨率图像的修复方法。
技术实现思路
[0006]从所描述的现有技术出发，本专利技术的目的在于开发一种修复图像的方法，所述方法首先适合无需额外算力就能确保高分辨率图像的处理过程，其次能够在手机上实施并保证良好的修复质量。
[0007]所述目的通过修复高分辨率图像的方法、包括本专利技术的图像处理管线的处理系统以及相关联的计算机程序产品来实现。
[0008]本专利技术的第一方面提供了一种在计算机上实现的修复高分辨率图像的方法。所述方法包括提供高分辨率输入图像；提供至少一个修复蒙版，所述修复蒙版指示至少一组要去除和合成的像素；选择所述输入图像的至少一个矩形子区域和所述修复蒙版的至少一个对齐的矩形子区域，使得所述输入图像的所述矩形子区域包含至少一组要移除和合成的像素，所述输入图像的至少一个所述子区域和所述修复蒙版上对应的对齐子区域具有相同的最小可能尺寸，所述输入图像的至少一个所述子区域和所述修复蒙版上对应的对齐子区域在一位置处计算出的信息增益不降低；在接收所述输入图像的已修复子区域和至少一组合成的像素的情况下(所述至少一组合成的像素同时在语义和视觉上与所述输入图像的周围部分适配)，利用机器学习模型处理所述输入图像的所述子区域和所述修复蒙版上对应的对齐子区域；生成高分辨率输出图像，所述输出图像包括所述已修复子区域，所述已修复子
区域具有至少一组合成的像素，所述至少一组合成的像素同时在语义和视觉上与所述输入图像的周围部分适配。
[0009]本专利技术的修复高分辨率图像方法的有利发展在从属权利要求中详细说明。特别地，本专利技术的方法还可以单独具有或联合具有以下一个或多个特征：
[0010]选择所述输入图像的至少一个矩形子区域和所述修复蒙版的至少一个对齐的矩形子区域这一步骤包括获取关于选中的所述修复蒙版内的蒙版区域的信息。
[0011]选择所述输入图像的至少一个矩形子区域和所述修复蒙版的至少一个对齐的矩形子区域这一步骤还包括将蒙版区域聚集的步骤。
[0012]提供修复蒙版这一步骤包括自动提议修复蒙版。
[0013]所述方法还包括对提供的修复蒙版进行后处理的步骤，以满足机器学习模型的要求。
[0014]对修复蒙版进行后处理这一步骤还包括用户定义的手动蒙版细化。
[0015]所述方法还包括在由所述机器学习模型处理之前旋转选中的图像子区域和选中的蒙版子区域的步骤。
[0016]所述方法还包括回旋所述机器学习模型输出的已修复子区域的步骤。
[0017]所述方法还包括缩小至少一个选中的图像子区域和至少一个选中的蒙版子区域的步骤，以将分辨率调整为属于所述机器学习模型支持的一组预定义分辨率。
[0018]所述方法还包括放大所述机器学习模型输出的修复子区域的步骤。
[0019]生成高分辨率输出图像这一步骤包括使用提供的所述修复蒙版将所述已修复子区域混合到高分辨率输入图像中。
[0020]本专利技术的第二方面提供了一种实现本专利技术所述方法的处理系统。
[0021]本专利技术的第三方面提供了一种包括根据本专利技术所述处理系统的移动电话。
[0022]本专利技术的第四方面提供了一种计算机程序产品，包括指令，所述指令在由处理器执行时使所述处理器执行本专利技术所述修复高分辨率图像的方法。
[0023]本专利技术允许用户选择应该从图像中去除的部分图像(手动或半自动)，并且基于图像的“非缺失(non
‑
missing)”区域自动重建缺失部分。本专利技术可以有效地应用在移动设备上并且可以直接在移动设备上处理高分辨率(例如4K分辨率)的图像。
[0024]由于图像/蒙版裁剪选择这一步骤，有可能找到最佳图像/蒙版裁剪，所述最佳图像/蒙版裁剪允许在存在某些算力限制的情况下进行处理，同时提供足够的信息以在所述机器学习模型的输出处接收高质量的修复图像裁剪。
[0025]本专利技术所提出的管线允许在移动设备上实现高质量的修复特性。所述修复特性支持对高分辨率图像(高达4K)进行修复，利用强大的机器学习模型实现具有竞争力的视觉质量结果，并直接在移动计算平台上运行(无需任何外部服务)。
[0026]通过阅读本专利技术的描述和附图，其他优点和特征将变得显而易见，其中：
[0027]图1示出了本专利技术所述修复图像的方法的一般步骤；
[0028]图2示出了本专利技术所述图像处理过程的一种可能效果；
[0029]图3为本专利技术一实施例的方法流程图；
[0030]图4A
‑
4C示出了蒙版和裁剪的示例图；
[0031]图5示出了本专利技术所述蒙版区域聚集的示例性结果；
[0032]图6示出了本专利技术所述的图像管线；
[0033]图7示出了在移动设备上本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种在计算机上实现的修复高分辨率图像的方法，其特征在于，包括：提供高分辨率输入图像；提供至少一个修复蒙版，所述修复蒙版指示至少一组要去除和合成的像素；选择所述输入图像的至少一个矩形子区域和所述修复蒙版的至少一个对齐的矩形子区域，使得所述输入图像的所述矩形子区域包含至少一组要移除和合成的像素，所述输入图像的至少一个所述子区域和所述修复蒙版上对应的对齐子区域具有相同的最小可能尺寸，所述输入图像的至少一个所述子区域和所述修复蒙版上对应的对齐子区域在一位置处计算出的信息增益不降低；在接收所述输入图像的已修复子区域和至少一组合成的像素的情况下，所述至少一组合成的像素同时在语义和视觉上与所述输入图像的周围部分适配，利用机器学习模型处理所述输入图像的所述子区域和所述修复蒙版上对应的对齐子区域；生成高分辨率输出图像，所述输出图像包括所述已修复子区域，所述已修复子区域具有至少一组合成的像素，所述至少一组合成的像素同时在语义和视觉上与所述输入图像的周围部分适配。2.根据权利要求1所述的方法，其特征在于，所述选择所述输入图像的至少一个矩形子区域和所述修复蒙版的至少一个对齐的矩形子区域，包括：获取关于选中的所述修复蒙版内的蒙版区域的信息。3.根据权利要求2所述的方法，其特征在于，所述选择所述输入图像的至少一个矩形子区域和所述修复蒙版的至少一个对齐的矩形子区域，还包括：将蒙版区域聚集。4.根据权利要求1所述的方法，其特征在于，所述提供修复蒙版，包括：自动提议修复蒙版。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：对提供的修复蒙版进行后处理，以满足机器学习模型的要求。6.根据权利要求5所述的方法，其特征在于，所述对修复蒙版进行后处理，还包括：用户定义的手动蒙版细化。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在由所述机器学习模型处理之前旋转选中的图像子区域和选中的蒙版子区域。8.根据权利要求7所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：米豪，
申请(专利权)人：TCL欧洲研发中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。