用于多模态结构引导下的室内图像修复的系统和方法技术方案

一种修复方法包括识别与从电子装置获得的图像内的移除对象相应的区域。所述方法还包括通过以下步骤来重建与所述移除对象相应的区域：(i)应用语义掩模和表面法线贴图来识别所述区域的相邻上下文并对识别的相邻上下文进行排序，并且(ii)基于排序的上下文的排序对所述排序的上下文进行采样。所述方法还包括基于采样的上下文呈现具有重建区域的所述图像。于采样的上下文呈现具有重建区域的所述图像。于采样的上下文呈现具有重建区域的所述图像。

【技术实现步骤摘要】
【国外来华专利技术】用于多模态结构引导下的室内图像修复的系统和方法


[0001]本公开总体上涉及成像系统。更具体地，本公开涉及用于基于多模态结构引导的室内图像修复以调整图像中的内容的系统和方法。

技术介绍

[0002]移动电子装置(诸如，智能电话和平板计算机)已经成为用于捕捉、上传和共享数字图像的最普遍的装置类型。在许多情况下，用户希望在上传或共享之前编辑他们的数字图像。这通常是由于难以在可控的时间成本下捕捉(根据用户判断的)“完美的”数字图像。不想要的对象移除或其他不想要的内容移除是用户通常希望在上传或共享数字图像之前执行的一种类型的编辑功能。例如，用户可能希望从数字图像中移除不想要的人或其他不想要的对象。为了执行不想要的内容移除，用户通常可识别数字图像的至少一个对象将被移除和替换的区域。然后卷积神经网络用于将替换内容填充到该区域中，其中，替换内容通常基于数字图像内剩余的其他内容。令人遗憾的是，卷积神经网络在将替换内容填充到不想要的内容被移除的区域中时通常引起不好的结果。例如，卷积神经网络通常在编辑的数字图像中生成可见的伪影。

技术实现思路

[0003]问题的技术方案
[0004]移动电子装置(诸如，智能电话和平板计算机)已经成为用于捕捉、上传和共享数字图像的最普遍的装置类型。在许多情况下，用户希望在上传或共享之前编辑他们的数字图像。这通常是由于难以在可控的时间成本下捕捉(根据用户判断的)“完美的”数字图像。不想要的对象移除或其他不想要的内容移除是用户通常希望在上传或共享数字图像之前执行的一种类型的编辑功能。例如，用户可能希望从数字图像中移除不想要的人或其他不想要的对象。为了执行不想要的内容移除，用户通常可识别数字图像的至少一个对象将被移除和替换的区域。然后卷积神经网络用于将替换内容填充到该区域中，其中，替换内容通常基于数字图像内剩余的其他内容。令人遗憾的是，卷积神经网络在将替换内容填充到不想要的内容被移除的区域中时通常引起不好的结果。例如，卷积神经网络通常在编辑的数字图像中生成可见的伪影。
[0005]本公开涉及一种用于基于多模态结构引导修复室内区域的图像以调整图像中的内容的系统和方法。
[0006]在第一实施例中，一种修复方法包括识别与从电子装置获得的图像内的移除对象相应的区域。所述方法还包括通过以下步骤来重建与所述移除对象相应的区域：(i)应用语义掩模和表面法线贴图来识别所述区域的相邻上下文并对识别的相邻上下文进行排序，并且(ii)基于排序的上下文的排序对所述排序的上下文进行采样。所述方法还包括基于采样的上下文呈现具有重建区域的所述图像。
[0007]在第二实施例中，一种设备包括被配置为识别与图像内的移除对象相应的区域的
至少一个处理器。至少一个处理器还被配置为重建与所述移除对象相应的区域。为了重建所述区域，至少一个处理器被配置为：(i)应用语义掩模和表面法线贴图来识别所述区域的相邻上下文并对识别相邻上下文进行排序，并且(ii)基于排序的上下文的排序对所述排序的上下文进行采样。所述至少一个处理器还被配置为基于采样的上下文来呈现具有重建区域的所述图像。
[0008]在第三实施例中，一种计算机可读介质包含指令，其中，所述指令在被执行时促使至少一个处理器识别与图像内的移除对象相应的区域。所述介质还包括在被执行时促使所述至少一个处理器重建与所述移除对象相应的区域的指令。在被执行时促使所述至少一个处理器重建所述区域的所述指令包括在被执行时促使所述至少一个处理器执行以下操作的指令：(i)应用语义掩模和表面法线贴图来识别所述区域的相邻上下文并对识别的相邻上下文进行排序，以及(ii)基于排序的上下文的排序对所述排序的上下文进行采样。所述介质还包含在被执行时促使所述至少一个处理器基于采样的上下文来呈现具有重建区域的所述图像的指令。
[0009]根据以下附图、描述和权利要求，其他技术特征对于本领域技术人员而言可以是显而易见的。
附图说明
[0010]为了更完整地理解本公开及其优点，现在参考结合附图进行的以下描述，其中，相同的附图标号表示相同的部件：
[0011]图1示出根据本公开的包括电子装置的示例网络配置；
[0012]图2示出根据本公开的示例布局引导的修复处理；
[0013]图3示出根据本公开的示例布局引导的预处理模型；
[0014]图4示出根据本公开的具有编码器
‑
解码器架构的示例修复模型；
[0015]图5A至图5C示出根据本公开的示例卷积内的多模态结构引导上下文采样；
[0016]图6示出根据本公开的示例卷积处理内的多模态结构引导上下文采样；
[0017]图7示出根据本公开的示例恢复模型；
[0018]图8A和图8B示出根据本公开的可使用布局引导的图像修复获得的示例结果；以及
[0019]图9示出根据本公开的用于室内图像修复的示例方法。
具体实施方式
[0020]阐述在整个本专利文档中使用的某些词语和短语的定义可能是有利的。术语“发送”、“接收”和“通信”及其派生词包括直接通信和间接通信。术语“包括”和“包含”及其派生词意指包括但不限于此。术语“或”是包含性的，意指和/或。短语“与
……
相关联”及其派生词意指包括、被包括在
……
内、与
……
互连、包含、被包含在
……
内、连接到或与
……
连接、结合到或与
……
结合、能够与
……
通信、与
……
协作、交织、并置、接近于、绑定到或与
……
绑定、具有、具有
……
的性质、与
……
具有关系或和
……
具有关系等。
[0021]此外，下面描述的各种功能可由一个或更多个计算机程序实现或支持，计算机程序中的每一个由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指适于在合适的计算机可读程序代码中实现的一个或更多个计算机程序、软件组件、
指令集、过程、功能、对象、类、实例、相关数据或者计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据的一部分。短语“计算机可读程序代码”包括包含源代码、目标代码和可执行代码的任何类型的计算机代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如，只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或者任何其他类型的存储器。计算机可读介质包括可永久存储数据的介质以及可存储数据并随后重写数据的介质，诸如，可重写光盘或可擦除存储器装置。
[0022]如这里所使用的，诸如“具有”、“可具有”、“包括”或“可包括”特征(比如数字、功能、操作或组件(诸如，部件))的术语和短语指示所述特征的存在，并且不排除其他特征的存在。此外，如这里所使用的，短语“A或B”、“A和/或B中的至少一个”或“A和/或B中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种修复方法，包括：识别与从电子装置获得的图像内的移除对象相应的区域；通过以下步骤重建与所述移除对象相应的所述区域：应用语义掩模和表面法线贴图来识别所述区域的相邻上下文并对识别的所述相邻上下文进行排序；并且基于排序的上下文的排序来对所述排序的上下文进行采样；并且基于采样的上下文来呈现具有重建区域的所述图像。2.根据权利要求1所述的修复方法，其中，应用所述语义掩模和所述表面法线贴图的步骤包括：应用基于多模态结构引导(MSG)的卷积来识别所述区域的所述相邻上下文并对识别的所述相邻上下文进行排序。3.根据权利要求2所述的修复方法，其中，应用所述基于MSG的卷积的步骤包括：在所述区域内设置参考像素；基于距所述参考像素的距离来识别所述相邻上下文；并且基于所述参考像素与所述相邻上下文之间的关系对所述相邻上下文中的每一个相邻上下文进行分级。4.根据权利要求3所述的修复方法，其中，对所述排序的上下文进行采样的步骤包括：从最高相关性级别到较低相关性级别和从最近距离到较远距离连续地进行采样。5.根据权利要求2所述的修复方法，其中，应用所述基于MSG的卷积的步骤包括：针对所述图像的不包括所述区域的至少一部分的每一个部分，生成针对所述图像的所述部分的语义类标签和表面矢量；针对所述图像的包括所述区域的所述至少一部分的每一个部分，(i)识别多个语义类中的与所述图像的所述部分相关联的语义类，以及(ii)基于与识别的语义类相关联的一个或更多个相邻语义代码矢量来生成针对所述图像的所述部分的表面矢量；并且基于所述语义类标签，确定所述图像的哪部分属于相同的类和相同的表面。6.根据权利要求1所述的修复方法，其中，对所述排序的上下文进行采样的步骤包括：基于所述排序的上下文的所述排序来对最相关的上下文进行采样和聚合；基于至少一个特征图估计用于应用于所述采样的上下文的注意力权重；并且将加权的上下文的部分传播到所述区域中。7.根据权利要求6所述的修复方法，其中，所述至少一个特征图包括以下特征图中的至少一个：基于语义代码矢量的第一子集的第一特征图，其中，所述语义代码矢量的第一子集包括：(i)针对所述图像的包含第一语义类的图像数据的一个或更多个部分的语义代码矢量、以及(ii)针对所述图像的包含第二语义类的图像数据的一个或更多个部分的掩模语义代码矢量；以及基于语义代码矢量的第二子集的第二特征图，其中，所述语义代码矢量的所述第二子集包括：(i)针对所述图像的包含第二语义类的所述图像数据的所述一个或更多个部分的语义代码矢量、以及(ii)针对所述图像的包含第一语义类的所述图像数据的所述一个或更多个部分的掩模语义代码矢量。
8.一种设备，包括：至少一个处理器，被配置为：识别与图像内的移除对象相应的区域；重建与所述移除对象相应的所述区域，其中，为了重建所述区域，所述至少一个处理器被配置为：应用语义掩模和表面法线贴图来识别所述区域的相邻上下文并对识别的所述相邻上下文进行排序；以及基于排序的上下文的排序来对所述排序的上下文进行采样；以...

【专利技术属性】
技术研发人员：李文博，金红霞，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：