场景三维(3D)重建的方法技术

本发明专利技术涉及一种适用于场景三维(3D)重建的方法，所述方法包括根据成本函数(E)的最小化(609)将第一个传感器的第一组异步连续事件之中的第一个事件与第二个传感器的第二组异步连续事件之中的第二个事件相匹配(610)。成本函数包括以下分量中的至少一个分量：‑亮度分量(EI)，至少取决于通过卷积核(gσ(t))卷积的第一个亮度信号(Iu)，所述像素的亮度取决于所述第一个信号的最大值(te‑，u，te+，u)之间的差值；以及通过所述卷积核卷积的第二个亮度信号(Iv)，所述像素的亮度取决于所述第二个信号的最大值(te‑，v，te+，v)之间的差值；‑运动分量(EM)，至少取决于与其位置与第一个传感器的像素相间隔预定距离的事件的发生相关的时间值，以及与其位置与第二个传感器的像素相间隔预定距离的事件的发生相关的时间值。

The method of 3D (3D) reconstruction of scene

The present invention relates to a scene of three-dimensional (3D) reconstruction method, the method includes according to the cost function minimization (E) (609) of the second groups the first group of the first sensor asynchronous asynchronous continuous event the first event with second sensor events among second consecutive match events (610). The cost function includes at least one component of the following components: luminance component (EI), depends on at least through the convolution kernel (g sigma (T)) the first brightness signal convolution (Iu), the brightness of the pixels on the first signal of the maximum (TE, u, te+ U), the difference between the second; and by the luminance signal convolution convolution (Iv), depending on the brightness of pixels in the second signal maximum value (TE, V, te+, V) the difference between the; motion component (EM), and white pixel depends on at least with the position and a sensor by a predetermined distance events related to the time value, time value and its relative position with second sensor pixels spaced a predetermined distance event.

【技术实现步骤摘要】
【国外来华专利技术】场景三维(3D)重建的方法
本专利技术涉及适用于场景三维(3D)重建的领域，尤其是利用异步传感器来捕捉所述场景。
技术介绍
与以常规采样间隔来记录连续图像的标准摄像机不同，生物视网膜仅仅只能传递有关待观察的场景的少量重复性信息，而且这一过程是异步的。基于事件的异步视觉传感器传送以事件形式压缩的数字数据。这种传感器的介绍可以查看由T.Delbrück等人发表的《活动驱动型基于事件的视觉传感器》文章(详见在2010年IEEE国际电路与系统研讨会(ISCAS)的会议记录第2426-2429页，“Activity-Driven,Event-BasedVisionSensors”,T.Delbrück,etal.,Proceedingsof2010IEEEInternationalSymposiumonCircuitsandSystems(ISCAS),pp.2426-2429)。与标准摄像机相比，基于事件的视觉传感器的优点是提高重复性、减少延迟时间以及增加时间动态和灰度级的范围。这种视觉传感器的输出可包括针对每一个像素地址的一系列异步事件，以表示在产生场景时场景反射系数的变化。传感器的各个像素都是独立的，并且通过最后一个事件(例如，强度对数的对比度为15％)的传递来检测出高于阈值的光强度的变化。当强度变化超出阈值集时，可由像素根据强度增加或者减少(DVS传感器)来产生ON事件或者OFF事件。某些异步传感器将所检测到的事件与光强度(ATIS传感器)的绝对测量值相连接。该传感器，不像标准传感器那样采用时钟进行采样，而是通过非常高的时间精确度(例如，约为1μs)来绘制事件排序的图表。与标准摄像机的几十赫相比较，如果利用这种传感器来重建一系列图像，则可以达到数千赫的图像率。此外，在场景三维(3D)重建的框架中，要针对传感器的每个像素来计算空间中的位置。为了实现这一点，有利用多个摄像机或其它标准传感器的很多方法。因此，这些方法利用标准的二维(2D)图像来实现测定，其中，像素具有至少一个值(即，像素是确定的)。对于异步传感器而言，如前文所定义的，显然不能采用这种方法，因为“标准”二维(2D)图像不适合离开传感器：为了采用这些方法，有必要人为地通过来自传感器的异步信息来“重建”二维(2D)图像。然而，这种重建可能比较繁重，而且处理完整的图像还需要后续的处理装置。此外，如此重建使得时间信息离散，并因此，实际上忽略了可视信息的时间依赖性。因此，需要开发三维(3D)场景重建方法，该方法适合于异步传感器。
技术实现思路
本专利技术的目的旨在改善现状。为此目的，本专利技术提出一种方法，尤其适合于重建通过三维(3D)观察的场景的异步传感器。因此，本专利技术的目的在于一种适合于场景三维(3D)重建的方法，该方法包括：-接收来自第一个传感器的第一条异步信息，所述第一个传感器具有面对场景的第一个像素矩阵，对于第一个矩阵的每个像素而言，第一条异步信息包括来自所述像素的第一组连续事件；-接收来自第二个传感器的第二条异步信息，所述第二个传感器具有面对场景的第二个像素矩阵，对于第二个矩阵的每个像素而言，第二条异步信息包括来自所述像素的第二组连续事件，第二个传感器是与第一个传感器分离的；-根据成本函数的最小化，匹配第一组连续事件之中的第一个事件与第二组连续事件之中的第二个事件；其中，成本函数包括下列分量之中的至少一个分量：-亮度分量，所述亮度分量至少取决于：-来自具有卷积核的第一个卷积传感器的像素的第一亮度信号，所述像素的亮度取决于所述第一个信号最大值之间的差值；以及，-来自具有卷积核的第二个卷积传感器的像素的第二亮度信号，所述像素的亮度取决于所述第二个信号最大值之间的差值；-运动分量，所述运动分量至少取决于：-与相距第一个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值；-与相距第二个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值。因此，对于重建利用数个DVS或ATIS异步传感器来捕捉三维(3D)场景而言，就没有必要重建标准的二维(2D)图像，以便利用适用于这些图像的现有技术的方法。因此，这种三维(3D)重建的精确度非常精确/高，对异步时间信息进行更精确的采样。此外，成本函数可额外包括：-时间分量，所述时间分量取决于以下两者之差：-关于第一个传感器的事件的时间值；-关于第二个传感器的事件的时间值。因此，就有可能避免连接时间上分隔太大的事件。在一个具体实施例中，成本函数还可额外包括：-几何分量，所述几何分量取决于：-在极线直线处或者由第一个传感器的至少一个像素界定的极线直线交叉处的第二个传感器的像素的空间距离。因此，就有可能避免连接不与场景同一个点X(t)相对应的事件。有利的是，第一个传感器的像素和第二个传感器的像素的亮度信号包括最大值，给亮度变化的发生时间编码，卷积核可以是预定的高斯方差。在一个具体实施例中，所述亮度分量还可额外取决于：-第一个传感器的像素的亮度信号，其空间位置与第一个传感器的第一个像素相间隔预定的距离，与卷积核相卷积；以及，-第二个传感器的像素的亮度信号，其空间位置与第二个传感器的第二个像素相间隔预定的距离，与卷积核相卷积。因此，考虑到接近待连接的像素的事件，使之能够检查整体是否对应，并且检查实现两个像素的局部对应这一事实就不再是简单的伪像或简单的奇点。此外，所述运动分量还可额外取决于：-与相距第一个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值的平均值；-与相距第二个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值的平均值。在一个具体实施例中，所述运动分量可取决于，对于给定时间而言：-对于空间位置与第一个传感器的像素相间隔预定距离的事件所发生相关的每个当前时间值而言，它可取决于函数值，所述函数值从所述给定时间的距离减少到所述当前时间值；-对于与空间位置与第二个传感器的像素相间隔预定距离的事件的发生相关的每个当前时间值而言，它可取决于函数值，所述函数值从所述给定时间的距离减少到所述当前时间值。在一个选择性实施例中，所述运动分量可取决于：-递减函数与信号的第一个卷积，其信号包括与空间位置与第一个传感器的像素相间隔预定距离的事件所发生相关的每个时间值的狄拉克Dirac；-递减函数与信号的第二个卷积，其信号包括与空间位置与第二个传感器的像素相间隔预定距离的事件所发生相关的每个时间值的狄拉克Dirac。本专利技术的目的还在于一种场景三维重建的装置，该装置包括：-接口，用于接收来自第一个传感器的第一条异步信息，所述第一个传感器具有面对场景的第一个像素矩阵，对于第一个矩阵的每个像素而言，第一条异步信息包括来自所述像素的第一组连续事件；-接口，用于接收来自第二个传感器的第二条异步信息，所述第二个传感器具有面对场景的第二个像素矩阵，对于第二个矩阵的每个像素而言，第二条异步信息包括来自所述像素的第二组连续事件，第二个传感器是与第一个传感器分离的；-处理器，适合于根据成本函数的最小化来匹配第一组连续事件之中的第一个事件与第二组连续事件之中的第二个事件；其中，成本函数包括下列分量之中的至少一个分量：-亮度分量，所述亮度分量至少取决于：-来自于与卷积核相卷积的第一个传感器的像素的第一个亮度信号，所述像素的亮度取决于所述第一个信号本文档来自技高网...

【技术保护点】
场景三维(3D)重建的方法，该方法包括：‑接收(601)来自第一个传感器(501)的第一条异步信息，所述第一个传感器(501)具有面对场景的第一个像素矩阵，对于第一个矩阵的每个像素(p)而言，第一条异步信息包括来自所述像素的第一组连续事件；‑接收(602)来自第二个传感器(502)的第二条异步信息，所述第二个传感器(502)具有面对场景的第二个像素矩阵，对于第二个矩阵的每个像素(q)而言，第二条异步信息包括来自所述像素的第二组连续事件，第二个传感器是与第一个传感器分离的；‑根据成本函数(E)的最小化(609)，匹配(610)第一组连续事件之中的第一个事件与第二组连续事件之中的第二个事件；其中，成本函数包括下列分量之中的至少一个分量：‑亮度分量(EI)，所述亮度分量至少取决于：‑来自通过卷积核(gσ(t))卷积的第一个传感器的像素的第一亮度信号(Iu)，所述像素的亮度取决于所述第一个信号最大值(te‑，u，te+，u)之间的差值；以及，‑来自通过所述卷积核卷积的第二个卷积传感器的像素的第二亮度信号(Iv)，所述像素的亮度取决于所述第二个信号最大值(te‑，v，te+，v)之间的差值；‑运动分量(EM)，所述运动分量至少取决于：‑与相距第一个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值；‑与相距第二个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值。...

【技术特征摘要】
【国外来华专利技术】2015.03.16 FR 15521541.场景三维(3D)重建的方法，该方法包括：-接收(601)来自第一个传感器(501)的第一条异步信息，所述第一个传感器(501)具有面对场景的第一个像素矩阵，对于第一个矩阵的每个像素(p)而言，第一条异步信息包括来自所述像素的第一组连续事件；-接收(602)来自第二个传感器(502)的第二条异步信息，所述第二个传感器(502)具有面对场景的第二个像素矩阵，对于第二个矩阵的每个像素(q)而言，第二条异步信息包括来自所述像素的第二组连续事件，第二个传感器是与第一个传感器分离的；-根据成本函数(E)的最小化(609)，匹配(610)第一组连续事件之中的第一个事件与第二组连续事件之中的第二个事件；其中，成本函数包括下列分量之中的至少一个分量：-亮度分量(EI)，所述亮度分量至少取决于：-来自通过卷积核(gσ(t))卷积的第一个传感器的像素的第一亮度信号(Iu)，所述像素的亮度取决于所述第一个信号最大值(te-，u，te+，u)之间的差值；以及，-来自通过所述卷积核卷积的第二个卷积传感器的像素的第二亮度信号(Iv)，所述像素的亮度取决于所述第二个信号最大值(te-，v，te+，v)之间的差值；-运动分量(EM)，所述运动分量至少取决于：-与相距第一个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值；-与相距第二个传感器的像素相间隔预定距离的空间位置发生事件相关的时间值。2.根据权利要求1所述的方法，其特征在于，所述成本函数(E)还额外包括：-时间分量(ET)，所述时间分量取决于以下两者之差：-关于第一个传感器的事件的时间值；-关于第二个传感器的事件的时间值。3.根据前述权利要求任一项所述的方法，其特征在于，所述成本函数(E)还额外包括：-几何分量(EG)，所述几何分量取决于：-相距极线直线处或者由第一个传感器的至少一个像素所界定的极线直线交叉处的第二个传感器的像素的空间距离。4.根据前述权利要求任一项所述的方法，其特征在于，所述第一个传感器的像素和第二个传感器的像素的亮度信号(Iu，Iv)包括最大值，给亮度变化的发生时间编码，卷积核是预定的高斯方差。5.根据前述权利要求任一项所述的方法，其特征在于，所述亮度分量(EI)还额外取决于：-第一个传感器的像素的亮度信号，其空间位置与第一个传感器的第一个像素相间隔预定的距离，与卷积核相卷积；以及，-第二个传感器的像素的亮度信号，其空间位置与第二个传感器的第二个像素相间隔预定的距离，与卷积核相卷积。6.根据前述权利要求任一项所述的方法，其特征在于，所述运动分量(EM)取决于：-与第一个传感器的像素事件发生相关的时间值的平均值...

【专利技术属性】
技术研发人员：伊恩格·西奥霍伊，贝诺斯梅恩·尔亚德，施·伯特拉姆，
申请(专利权)人：皮埃尔和玛利居里大学巴黎第六大学，国家科学研究中心，法国国家健康和医学研究院，
类型：发明
国别省市：法国,FR