用于从纹理中去除对象的方法技术

本发明专利技术涉及用于从纹理中去除对象的方法，方法包括：利用多个语义类在多个数字输入图像中执行语义分割；在至少第一输入图像中标识属于目标对象类的对象的表示的一个或更多个可能实例，各个可能实例由图像像素中的多个连续实例像素构成；确定实例像素是否是目标像素；以及将纹理中的目标像素替换成由一个或更多个数字输入图像获得的替换像素，确定实例像素是否是目标像素的步骤包括：使用从运动恢复结构算法以及已知位置和取向来将单独分割的输入图像组合成单个3D模型；将实例像素映射至公共坐标系；将所映射的实例像素投影至其它输入图像；以及基于多个输入图像的分割，来确定所映射的实例像素是否构成属于目标对象类的对象的表示。象的表示。象的表示。

【技术实现步骤摘要】
用于从纹理中去除对象的方法


[0001]本专利技术关于这样一种计算机实现方法：用于从多个输入图像创建区域的纹理，从而从纹理中去除在所述输入图像中的一个或更多个输入图像中成像的对象的表示。特别地，该纹理被用于纹理化区域的三维网格，并且被去除的对象是诸如汽车的移动载具。

技术介绍

[0002]从许多观点来看，城市中交通量的增加是个问题。关于建模景观和城市的3D网格的纹理化，交通导致了拥挤以及视觉上相当不愉快的结果。因此，对于许多应用，希望从纹理中去除载具。
[0003]图像中移动对象的检测是研究的既定课题。基于比较在不同摄像机位置拍摄的图像以及至少部分地捕获同一场景，存在多种不同的方法。这些方法例如包括“帧差方法”、“背景减除方法”或者基于光学流场中的不连续性的方法。通常，这样的方法依赖于多个照片或后续视频帧的直接比较。例如，US 10,303,966B2公开了一种基于图像的变化检测的方法。

技术实现思路

[0004]本专利技术的目的是，提供一种用于从多个输入图像自动生成纹理的改进的计算机实现方法，其中，在输入图像中成像的某些对象未在纹理中成像。
[0005]另一目的是，提供这样的一种方法，即，允许减少或防止纹理中的伪像。
[0006]另一目的是，提供这样的一种方法，即，其中被去除的对象是移动对象，特别地是载具。
[0007]另一目的是，提供这样的一种方法，即，其中对象被替换成现实背景。
[0008]另一目的是，提供这样的一种方法，即，其中纹理可以被用于纹理化区域的3D三角形网格。
[0009]本专利技术的第一方面关于一种基于多个数字输入图像来自动生成区域的纹理的计算机实现方法。所述方法包括在计算机系统中执行的以下步骤：
[0010]‑
接收所述多个数字输入图像，各个输入图像至少部分地对区域成像并且包括大量图像像素，各个输入图像皆是从已知位置并且以相对于公共坐标系的已知取向来捕获的；
[0011]‑
在所述输入图像的至少子集中执行语义分割，语义分割是利用多个语义类来执行的，所述语义类中的至少一个语义类涉及目标对象类，其中，属于目标对象类的对象的表示不在所生成的纹理中成像；
[0012]‑
在至少第一输入图像(例如，在所述输入图像的子集中或者在所有输入图像中)中标识属于目标对象类的对象的表示的一个或更多个可能实例，各个可能实例皆由所述图像像素中的多个连续实例像素构成；
[0013]‑
确定实例像素是否是将从纹理中被去除的目标像素，目标像素是构成属于目标
对象类的对象的表示的像素；以及
[0014]‑
将纹理中的目标像素替换成由所述多个数字输入图像中的一个或更多个数字输入图像获得的替换像素。
[0015]根据本专利技术的这个方面，确定实例像素是否是目标像素的步骤包括：
[0016]‑
至少使用第一从运动恢复结构(structure
‑
from
‑
motion(SfM))算法以及已知位置和取向，来将单独分割的输入图像组合成单个3D模型；
[0017]‑
将实例像素映射至公共坐标系；
[0018]‑
将所映射的实例像素投影至其它输入图像的至少子集，该子集至少包括将区域的同一位点成像为所映射的实例像素的那些其它输入图像；以及
[0019]‑
基于多个输入图像的分割，来确定所映射的实例像素是否构成属于目标对象类的对象的表示。
[0020]根据一些实施方式，所述方法包括以下步骤：将包括替换像素的纹理指派给区域的3D网格，以生成区域的纹理化网格。例如，3D网格是三维三角形网格。
[0021]在一些实施方式中，所述方法还包括以下步骤：接收区域的3D网格；和/或基于3D网格，从数据库请求所述多个输入图像。
[0022]根据所述方法的一些实施方式，目标像素是构成属于目标对象类的移动对象(例如，移动载具)的表示的像素，并且所述方法还包括以下步骤：基于3D模型和/或使用第一从运动恢复结构算法或者第二从运动恢复结构算法，来确定所映射的实例像素是否构成移动对象的表示。在一些实施方式中，替换所映射的实例像素的步骤包括：仅替换构成属于目标对象类的移动对象的表示的那些映射的实例像素。
[0023]在一些实施方式中，在多个输入图像中(例如，在所有输入图像中)，单独标识属于目标对象类的对象的表示的可能实例，并且组合所述多个输入图像以检测对象是否是移动对象。例如，如果对象在其中可以看到对象的位置的图像子集(例如，多于一半的图像)中不可见(考虑遮挡信息)，则认为对象正在移动。
[0024]根据一些实施方式，将单独分割的输入图像组合成单个3D模型的步骤包括：在现实与摄像机之间投影点和背投影点，即，现实点和图像点。
[0025]根据一些实施方式，将多个邻近实例像素定义为像素组块(component of pixels)，其中，确定所映射的实例像素是否构成移动对象的表示的步骤包括：
[0026]‑
使用来自组块的像素的合计值，并针对组块的所有像素使用同一合计值；和/或
[0027]‑
向组块的各个像素指派数据成本和平滑度成本并求解优化问题，特别地使用图形切割算法来求解优化问题。
[0028]根据所述方法的一些实施方式，多个邻近实例像素被定义为像素组块，并且确定所映射的实例像素是否构成属于目标对象类的对象的表示的步骤包括：使用来自组块的像素的合计值，并针对组块的所有像素使用同一合计值。
[0029]根据所述方法的一些实施方式，纹理示出所述区域的鸟瞰图(aerial用于从纹理中去除对象的方法iew)(例如，天底视图或倾斜视图)，并且所述输入图像中的一个或更多个输入图像是航拍图像(aerial image)，例如，其中，纹理是或包括区域的正像(orthoimage)。
[0030]根据一些实施方式，纹理是基于作为航拍图像的一个或更多个输入图像的，例如，
至少第一输入图像是航拍图像。航拍图像可以由安装在卫星、飞机或无人驾驶飞行器处的一个或更多个航空摄像机(aerial camera)来捕获。
[0031]可选地，纹理的不是替换像素的至少那些像素是基于作为航拍图像的所述一个或更多个输入图像的。
[0032]根据一些实施方式，所述输入图像中的至少一个附加输入图像不是航拍图像，例如，由固定安装的摄像机捕获的图像。
[0033]根据一些实施方式，所述方法包括以下步骤：基于分割，例如对于各个输入图像或者至少对于其它输入图像的子集，来为至少第一输入图像创建掩模，例如，二元掩模。
[0034]根据所述方法的一些实施方式，执行语义分割的步骤包括：向所述至少第一输入图像的所述像素中的各个像素指派所述多个语义类中的一个语义类。例如，所述多个语义类可以包括：
[0035]‑
正好两个类，包括目标类和不是目标类的第二类；和/或
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多个数字输入图像(11至15)来自动生成区域(1)的纹理(10)的计算机实现方法(100)，所述方法包括以下步骤：在计算机系统(4)中，
‑
接收(110)所述多个数字输入图像(11至15)，各个输入图像至少部分地对所述区域(1)成像并且包括大量图像像素，各个输入图像是从已知位置并且以相对于公共坐标系的已知取向来捕获的；
‑
在所述多个数字输入图像(11至15)的至少子集中执行语义分割(120)，所述语义分割(120)是利用多个语义类来执行的，所述语义类中的至少一个语义类涉及目标对象类，其中，属于所述目标对象类的对象(2)的表示(20)将不在所生成的纹理(10)中成像；
‑
在至少第一输入图像中标识(140)属于所述目标对象类的对象的表示(20)的一个或更多个可能实例，各个可能实例是由所述图像像素中的多个连续实例像素构成的；
‑
确定所述实例像素是否是将从所述纹理(10)中被去除的目标像素，目标像素是构成属于所述目标对象类的对象(2)的表示(20)的像素；以及
‑
将所述纹理(10)中的目标像素替换(190)成从所述多个数字输入图像(11至15)中的一个或更多个数字输入图像获得的替换像素，其特征在于，确定所述实例像素是否是目标像素的步骤包括：
‑
至少使用第一从运动恢复结构算法(45)以及所述已知位置和取向，来将单独分割的输入图像(11至15)组合(130)成单个3D模型(75)；
‑
将所述实例像素映射(150)至所述公共坐标系；
‑
将所映射的实例像素投影(160)至其它输入图像(11至15)的至少子集，所述子集至少包括将所述区域(1)的同一位点成像为所映射的实例像素的那些其它输入图像；以及
‑
基于多个数字输入图像(11至15)的分割，来确定(170)所映射的实例像素是否构成属于所述目标对象类的对象(2)的表示(20)。2.根据权利要求1所述的方法(100)，所述方法包括以下步骤：将包括所述替换像素的所述纹理(10)指派给所述区域(1)的三维网格(70)，以生成所述区域(1)的纹理化网格(71)，特别地其中，所述方法包括以下步骤：
‑
接收所述区域(1)的所述三维网格(70)；和/或
‑
基于接收到的三维网格(70)，从数据库请求所述多个数字输入图像(11至15)，特别地其中，所述三维网格是三维三角形网格。3.根据权利要求1或权利要求2所述的方法(100)，其中，
‑
所述目标像素是构成属于所述目标对象类的移动对象(2)的表示(20)的像素，并且
‑
所述方法还包括以下步骤：基于所述3D模型和/或使用所述第一从运动恢复结构算法或者第二从运动恢复结构算法，来确定(180)所映射的实例像素是否构成移动对象(2)的表示(20)，特别地其中，替换(190)所映射的实例像素的步骤包括：仅替换构成属于所述目标对象类的移动对象(2)的表示(20)的那些映射的实例像素。4.根据权利要求3所述的方法(100)，其中，多个邻近实例像素被定义为像素组块，其中，确定(180)所映射的实例像素是否构成移动对象(2)的表示(20)的步骤包括：
‑
使用来自所述组块的像素的合计值，并针对所述组块的所有像素使用同一合计值；和/或
‑
向所述组块的各个像素指派数据成本和平滑度成本，并求解优化问题，特别地使用图形切割算法来求解优化问题。5.根据前述权利要求中的任一项所述的方法(100)，其中，
‑
多个邻近实例像素被定义为像素组块，并且
‑
确定(170)所映射的实例像素是否构成属于所述目标对象类的对象(2)的表示(20)的步骤包括：使用来自所述组块的像素的合计值，并针对所述组块的所有像素使用同一合计值。6.根据前述权利要求中的任一项所述的方法(100)，其中，所述纹理(10)示出所述区域(1)的鸟瞰图，并且所述多个数字输入图像中的一个或更多个输入图像是航拍图像(11、12)，特别地其中，所述纹理(10)是所述区域(1)的正像。7.根据权利要求6所述的方法(100)，其中，所述纹理(10)是基于作为航拍图像(11、12)的所述一个或更...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：梅隆科技公司，
类型：发明
国别省市：