用于使用结构化光直接恢复场景中的平面表面的系统、方法和介质技术方案

根据一些实施例，用于使用结构化光直接恢复场景中的平面表面的系统、方法和介质被提供。在一些实施例中，系统包括：光源；图像传感器；处理器，该处理器被编程成用于：使光源发射图案，该图案包括具有在极线上相交的两条线段的图案特征；使图像传感器捕获包括图案的图像；标识图像中的图像特征，该图像特征包括在与第一极线相对应的图像中的一点处相交的两条相交线段；基于图案特征的属性和图像特征的属性来估计与图案特征相关联的平面假设，该平面假设与表征平面的参数的集合相关联；以及基于平面假设来标识场景中的平面表面。于平面假设来标识场景中的平面表面。于平面假设来标识场景中的平面表面。

【技术实现步骤摘要】
【国外来华专利技术】用于使用结构化光直接恢复场景中的平面表面的系统、方法和介质
相关申请的交叉引用
[0001]本申请基于2020年7月31日提交的美国专利申请第16/945449号，要求该专利申请的权益并要求该专利申请的优先权，该专利申请籍此通过引用以其整体并入本文中以用于所有目的。关于联邦资助研究的声明
[0002]本专利技术是在由NAVY/ONR授予的N00014
‑
16
‑1‑
2995下的政府支持下完成的。政府具有本专利技术中的特定权利。

技术介绍

[0003]最近，3D成像用于各种应用中的使用已经爆炸式普及。例如，配备有3D相机的机器人已被用于驾驶汽车、探索空间和管理工厂。尽管这些应用中的一些应用需要对周围环境进行高分辨率3D扫描，但其他任务并不明确需要密集的3D点云。此类应用的示例包括自主导航(例如，在室内空间或城市街区)，或试图在房间中找到在其上放置虚拟对象的表面的增强现实(augmented reality，AR)系统。在此类应用中，系统可以捕获相对高清晰度的点云，并且然后可以试图从点云中确定环境的特征。这总体上要求大量的计算成本用于从点云数据中找到表面，这可能是相对嘈杂的。
[0004]因此，用于使用结构化光直接恢复场景中的平面表面的新系统、方法和介质是可期望的。

技术实现思路

[0005]根据所公开的主题的一些实施例，用于使用结构化光直接恢复场景中的平面表面的系统、方法和介质被提供。
[0006]根据所公开的主题的一些实施例，用于恢复场景中的平面的系统被提供，该系统包括：光源；图像传感器，该图像传感器包括像素阵列；至少一个硬件处理器，该至少一个硬件处理器被编程成用于：使光源向场景发射二维光图案，其中该二维光图案包括被设置在第一极线上的图案特征，该图案特征包括在位于该第一极线上的一点处相交的两条相交线段；使图像传感器捕获包括光图案的至少一部分的场景的图像；标识图像中的图像特征，该图像特征包括在与第一极线相对应的图像中的一点处相交的两条相交线段；基于与第一极线相关联的图像特征和图案特征两者，将图案特征至少标识为潜在地与图像特征相对应；基于图案特征的属性和图像特征的属性来估计与图案特征相关联的平面假设，其中该平面假设与表征平面的参数的集合相关联；以及基于该平面假设来标识场景中的平面表面。
[0007]在一些实施例中，二维光图案包括N个图案特征的集合{P1，
…
，P
N
}，该N个图案特征的集合{P1，
…
，P
N
}包括各自被设置在第一极线上的图案特征；并且其中至少一个硬件处理器被进一步编程成用于：基于图像特征和N个图案特征的集合全部与第一极线相关联，将N个图案特征的集合标识为潜在地与图像特征相对应；估计N个平面假设的第一集合，每个平
面假设与N个图案特征的集合中的相应的图案特征相关联，N个平面假设的第一集合中的每个平面假设基于图像特征的属性和相应的图案特征的属性，其中N个平面假设的第一集合的每个平面假设与表征平面的参数的集合相关联；标识与第一极线相关联的图像中的第二图像特征，该第二图像特征包括在与第一极线相对应的一点处相交的两条相交线段；基于第二图像特征和N个图案特征的集合全部与第一极线相关联，将N个图案特征的集合标识为潜在地与第二图像特征相对应；估计N个平面假设的第二集合，每个平面假设与N个图案特征的集合的相应的图案特征相关联，N个平面假设的第二集合中的每个平面假设基于第二图像特征的属性和相应的图案特征的属性，其中N个平面假设的第二集合中的每个平面假设包括表征平面的参数的集合；以及基于既是N个平面假设的第一集合的成员又是N个平面假设的第二集合的成员的平面假设来标识场景中的平面表面。
[0008]在一些实施例中，N＞2，并且沿图案特征P1与图案特征P2之间的第一极线的距离不同于沿图案特征P
N
‑1与图案特征P
N
之间的第一极线的距离，使得N个图案特征的集合{P1，
…
，P
N
}是非均匀间隔的。
[0009]在一些实施例中，二维光图案包括N个图案特征的第二集合{P
N+1
，
…
，P
2N
}，每个图案特征被设置在第二极线上，并且其中沿图案特征P
N1
与图案特征P
N+2
之间的第二极线的距离不同于沿图案特征P
2N
‑1与图案特征P
2N
之间的第二极线的距离，以及沿图案特征P
N1
与图案特征P
N+2
之间的第二极线的距离不同于沿图案特征P1与图案特征P2之间的第一极线的距离，使得N个图案特征的第二集合{P
N+1
，
…
，P
2N
}是非均匀间隔的，并且与N个图案特征的集合{P1，
…
，F
N
}的间隔不同。
[0010]在一些实施例中，至少一个硬件处理器进一步被编程成用于基于两条线段相交的点与第一极线之间的接近度来确定图像特征与第一极线相关联。
[0011]在一些实施例中，光源包括多个行，并且图像传感器包括第二多个行，并且光源和图像传感器被校正使得多个行中的每一行与第二多个行中的一行共享极线。
[0012]在一些实施例中，图案特征的第一线段相对于第一极线成35
°
至55
°
的范围内的角度，并且图案特征的第二线段相对于第一极线成125
°
至145
°
的范围内的角度。
[0013]在一些实施例中，图案特征的属性包括与图案特征的第一线段相对应的第一向量u
p
、与图案特征的第二线段相对应的第二向量v
p
、以及第一向量u
p
与第二向量v
p
相交处的点的坐标p
p
，以及其中图像特征的属性包括与图像特征的第一线段相对应的第三向量u
c
，与图像特征的第二线段相对应的第四向量v
c
特征、以及第三向量u
c
与第四向量v
c
相交处的点的坐标p
c
。
[0014]在一些实施例中，与平面假设相关联的参数的集合定义平面Π并且包括与相机坐标系的原点c
c
到平面Π之间的最短距离相对应的距离D、平面法向量n与延伸通过c
c
和由图像传感器定义的图像平面的中心的Z轴线之间的极角θ，以及平面法向量n与沿图像平面的水平方向延伸的x轴线之间的方位角
[0015]在一些实施例中，处理器进一步被编程成用于：使用关系确定平面法向量n；以及使用关系确定距离D，其中b是相机坐标系的原点c
c
与图案坐标系的原点c
p
之间的距离。
[0016]在一些实施例中，处理器进一步被编本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于恢复场景中的平面的系统，所述系统包括：光源；图像传感器，所述图像传感器包括像素阵列；至少一个硬件处理器，所述至少一个硬件处理器被编程成用于：使所述光源向所述场景发射二维光图案，其中，所述二维光图案包括被设置在第一极线上的图案特征，所述图案特征包括在位于所述第一极线上的点处相交的两条相交线段；使所述图像传感器捕获包括所述光图案的至少一部分的所述场景的图像；标识所述图像中的图像特征，所述图像特征包括在与所述第一极线相对应的所述图像中的一点处相交的两条相交线段；基于所述图像特征和所述图案特征两者都与所述第一极线相关联，将至少所述图案特征标识为潜在地与所述图像特征相对应；基于所述图案特征的属性和所述图像特征的属性来估计与所述图案特征相关联的平面假设，其中，所述平面假设与表征平面的参数的集合相关联；以及基于所述平面假设来标识所述场景中的平面表面。2.如权利要求1所述的系统，其中，所述二维光图案包括具有N个图案特征的集合{P1，...，P
N
}，所述N个图案特征的集合{P1，...，P
N
}包括各自被设置在所述第一极线上的图案；以及其中，所述至少一个硬件处理器被进一步编程成用于：基于所述图像特征和所述N个图案特征的集合都与所述第一极线相关联，将至少所述N个图案特征的集合标识为潜在地与所述图像特征相对应；估计N个平面假设的第一集合，每个平面假设与所述N个图案特征的集合中的相应的图案特征相关联，所述N个平面假设的第一集合中的每个平面假设基于所述图像特征的属性和相应的图案特征的属性，其中，所述N个平面假设的第一集合中的每个平面假设与表征平面的参数的集合相关联；标识与所述第一极线相关联的所述图像中的第二图像特征，所述第二图像特征包括在与所述第一极线相对应的一点处相交的两条相交线段；基于所述第二图像特征和所述N个图案特征的集合都与所述第一极线相关联，将所述N个图案特征的集合标识为潜在地与所述第二图像特征相对应；估计N个平面假设的第二集合，每个平面假设与所述N个图案特征的集合中的相应的图案特征相关联，所述N个平面假设的第二集合中的每个平面假设基于所述第二图像特征的属性和相应的图案特征的属性，其中，所述N个平面假设的第二集合中的每个平面假设包括表征平面的参数的集合；以及基于既是所述N个平面假设的第一集合的成员又是所述N个平面假设的第二集合的成员的平面假设来标识所述场景中的所述平面表面。3.如权利要求2所述的系统，其中N＞2，并且沿图案特征P1与图案特征P2之间的所述第一极线的距离不同于沿图案特征P
N
‑1与图案特征P
N
之间的所述第一极线的距离，使得所述N个图案特征的集合{P1，...，P
N
}是非均匀间隔的。
4.如权利要求3所述的系统，其中，所述二维光图案包括N个图案特征的第二集合{P
N+1
，...，P
2N
}，每个所述图案特征被设置在第二极线上，并且其中，沿图案特征P
N1
与图案特征P
N+2
之间的所述第二极线的距离不同于沿图案特征P
2N
‑1与图案特征P
2N
之间的所述第二极线的距离，并且沿图案特征P
N1
与图案特征P
N+2
之间的所述第二极线的距离不同于沿图案特征P1与图案特征P2之间的所述第一极线的距离，使得所述N个图案特征的第二集合{P
N+1
，...，P
2N
}是非均匀间隔的，并且与所述N个图案特征的集合{P1，...，P
N
}的间隔不同。5.如权利要求1所述的系统，其中，所述至少一个硬件处理器进一步被编程成用于基于所述两条线段相交的点与所述第一极线之间的接近度来确定所述图像特征与所述第一极线相关联。6.如权利要求1所述的系统，其中，所述光源包括多个行，并且所述图像传感器包括第二多个行，并且所述光源和所述图像传感器被校正，使得所述多个行中的每一行与所述第二多个行中的一行共享极线。7.如权利要求1所述的系统，其中，所述图案特征的第一线段相对于所述第一极线成35
°
至55
°
的范围内的角度，并且所述图案特征的第二线段相对于所述第一极线成125
°
至145
°
的范围内的角度。8.如权利要求1所述的系统，其中，所述图案特征的属性包括与所述图案特征的第一线段相对应的第一向量u
p
、与所述图案特征的第二线段相对应的第二向量v
p
、以及所述第一向量u
p
与所述第二向量v
p
相交的点的坐标p
p
，以及其中，所述图像特征的属性包括与所述图像特征的第一线段相对应的第三向量u
c
、与所述图像特征的第二线段相对应的第四向量v
c
、以及所述第三向量u
c
与所述第四向量v
c
相交的点的坐标p
c
。9.如权利要求8所述的系统，其中，与所述平面假设相关联的所述参数的集合定义平面Π并且包括与相机坐标系的原点c
c
到所述平面Π之间的最短距离相对应的距离D、平面法向量n与延伸通过c
c
和由所述图像传感器定义的图像平面的中心的Z轴线之间的极角θ，以及所述平面法向量n与沿所述图像平面的水平方向延伸的x轴线之间的方位角10.如权利要求9所述的系统，其中，所述处理器进一步被编程成用于：使用关系确定所述平面法向量n；以及使用关系确定所述距离D，其中b是所述相机坐标系的原点c
c
与图案坐标系的原点c
p
之间的距离。11.如权利要求1所述的系统，其中，所述处理器进一步被编程成用于：使所述图像传感器捕获不包括所述光图案的所述场景的第二图像；基于所述图像与所述第二图像之间的差异来计算差异图像；以及使用所述差异图像来标识所述图像中的所述图像特征。
12.一种用于恢复场景中的平面的方法，所述方法包括：使光源向所述场景发射二维光图案，其中，所述二维光图案包括被设置在第一极线上的图案特征，所述图案特征包括在位于所述第一极线上的一点处相交的两条相交线段；使图像传感器捕获包括所述光图案的至少一部分的所述场景的图像；标识所述图像中的图像特征，所述图像特征包括在与...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：威斯康星校友研究基金会，
类型：发明
国别省市：