基于事件相机的高速结构光三维重建系统及重建方法技术方案

本发明专利技术提供了一种基于事件相机的高速结构光三维重建方法，所述三维重建方法包括：产生随机散斑，通过投影仪将所述随机散斑投影到目标物体表面经反射后触发事件，产生事件流；对于事件相机接收到的所述事件流，采用自适应事件帧提取算法，将事件流转化为图片帧的形式；将包含目标物体的数据提取的事件帧作为形变帧；将另一组不包含目标物体的数据提取的事件帧作为参考帧，计算所述参考帧和所述形变帧之间的像素偏移；通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体的三维点云，完成三维重建。完成三维重建。完成三维重建。

【技术实现步骤摘要】
基于事件相机的高速结构光三维重建系统及重建方法


[0001]本专利技术涉及计算机图像处理领域，尤其涉及一种基于事件相机的高速 结构光三维重建系统及重建方法。

技术介绍

[0002]结构光系统通常由投影仪和相机组成，通过投影仪投射含有特定结构 信息的图片模板到物体表面，再由相机同步采集相应的图片。通过对比原 始图片模板与经过物体反射而产生偏移的图片模板，从而计算出物体的位 置和深度信息。传统结构光系统受限于相机的有限传输带宽(扫描速度通 常为每秒30帧到60帧)，远远达不到高速三维测量的要求。而利用了高 速相机的结构光系统虽然能达到高速测量的效果，但是其昂贵的价格和高 功耗的缺点也往往令人诟病。

技术实现思路

[0003]有鉴于此，本专利技术的主要目的在于提供一种基于事件相机的高速结构 光三维重建系统及重建方法，以期部分地解决上述技术问题中的至少之一。
[0004]为了实现上述目的，作为本专利技术的一方面，提供了一种基于事件相机 的高速结构光三维重建方法，所述三维重建方法包括：
[0005]产生随机散斑，通过投影仪将所述随机散斑投影到目标物体表面经反 射后触发事件，产生事件流；
[0006]对于事件相机接收到的所述事件流，采用自适应事件帧提取算法，将 事件流转化为图片帧的形式；
[0007]将包含目标物体的数据提取的事件帧作为形变帧；将另一组不包含目 标物体的数据提取的事件帧作为参考帧，计算所述参考帧和所述形变帧之 间的像素偏移；
[0008]通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体 的三维点云，完成三维重建。
[0009]其中，所述事件相机和所述投影仪在使用前需要进行标定。
[0010]其中，所述事件相机将事件以事件流的形式存储为二进制文件，其中， 所述事件相机的工作频率为100MHz。
[0011]其中，所述参考帧和所述形变帧之间的像素偏移是通过数字图像相关 算法计算得到的。
[0012]其中，所述触发事件的关键是在每个投影周期中加入一定比例的非投 影时间，即通过固定频率地开启和关闭投影仪的控制开关，使物体表面产 生亮暗变化，从而触发事件。
[0013]其中，所述自适应事件帧提取算法以行为单位，统计事件流中相邻且 行数相同的事件数，当某一行事件数大于给定阈值时，设此行数的时间戳 为初始扫描时间t
begin
，行数为r。然后接着扫描直到当前扫描的行数大于r， 记录此时的行时间戳t
end
。将所有时间戳在
范围[t
begin
,t
end
)内的事件进行提取 并转换成图片帧的形式。
[0014]其中，所述自适应事件帧提取算法包括：依据事件的二维位置将对应 的像素点设为255，如果某个像素点没有对应的事件则设为0。
[0015]作为本专利技术的另一方面，提供了一种基于事件相机的高速结构光三维 重建系统，包括投影仪和事件相机。
[0016]其中，所述投影仪使用型号为德州电子TI
‑
DLP6500的投影仪。
[0017]其中，所述事件相机使用型号为芯仑CeleX
‑
V的事件相机。
[0018]基于上述技术方案可知，本专利技术的基于事件相机的高速结构光三维重 建系统及重建方法相对于现有技术至少具有如下有益效果的一部分：
[0019]本专利技术与其他基于事件相机的结构光系统相比，大大提高了系统的扫 描速度和精度，达到了1000fps的扫描速度，在一米的距离上，三维重建 精度为0.27mm。
附图说明
[0020]图1为本专利技术实施例提供的基于事件相机的高速结构光三维重建方法 的流程图。
具体实施方式
[0021]事件相机(Event Camera)是一种新型的仿视网膜机制的传感器，它能 响应局部的亮度变化，具有低延迟(1微秒)、高动态范围(140dB)、低 功耗(1mW)等优势。事件相机的这些特性十分适合应用到结构光领域。 然后事件相机独特的成像机制阻碍其进一步应用到结构光系统中。近几年， 国外出现了一些基于事件相机的结构光系统的相关研究：Brandli等人利用 激光以固定频率闪烁地投射到物体表面来触发事件，然后通过激光按行扫 描物体从而恢复物体的三维结果；Mangalore等人利用投影仪连续投影移 动条纹的方式来触发事件，该方法等效于并行地按线扫描。然而这些现有 的基于事件相机的结构光系统并没有利用到事件相机的低延时特性，他们 需要多次投影才能实现一次有效重建，这大大降低了结构光系统的扫描频 率。
[0022]本专利技术的目的在于搭建一套基于事件相机的高速结构光系统并从事 件相机产生的事件流中提取物体的三维信息。
[0023]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本专利技术作进一步的详细说明。
[0024]如图1所示，为基于事件相机的高速结构光三维重建方法的流程图。 该方法具体包括：
[0025]产生随机散斑，通过投影仪将所述随机散斑投影到目标物体表面经反 射后触发事件，产生事件流；
[0026]对于事件相机接收到的所述事件流，采用自适应事件帧提取算法，将 事件流转化为图片帧的形式；
[0027]将包含目标物体的数据提取的事件帧作为形变帧；将另一组不包含目 标物体的数据提取的事件帧作为参考帧，计算所述参考帧和所述形变帧之 间的像素偏移；
[0028]通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体 的三维点云，完成三维重建。
[0029]在本专利技术进一步的实施例中，首先通过业界已有的算法产生随机散斑， 并通过投影仪高速投影该随机散斑到物体表面。其中触发事件的关键是在 每个投影周期中加入一定比例的非投影时间，即通过固定频率地开启和关 闭投影仪的控制开关，使物体表面产生亮暗变化，从而触发事件。
[0030]在本专利技术进一步的实施例中，对于接收到的事件流，本专利技术提出了一 种自适应事件帧提取算法，将事件流转化为图片帧的形式，便于利用图像 处理算法得到三维信息。由于事件相机容易受到外界噪声干扰，因此其输 出的事件分布往往带有随机性，因此无法利用传统结构光系统常用的触发 线来实现硬同步，而本专利技术的事件帧提取算法可以实现事件相机与投影仪 的软同步。该算法对事件流定义为Es，Es是事件e＝(x，y，p，t)的集合，其中 (x，y)表示事件触发的二维平面坐标，t代表事件触发的时间戳，p表示触 发事件的极性。本算法以行为单位，统计事件流中相邻且行数相同的事件 数，当某一行事件数大于给定阈值th时，设此行数的时间戳为初始扫描时 间t
begin
，行数为r。然后按事件的存储顺序扫描直到当前扫描的行数大于r， 记录此时的行时间戳t
end
。将所有时间戳在范围[t
begin
，t
end
)内的事件进行提取 并转换成图片帧的形式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的高速结构光三维重建方法，其特征在于，所述三维重建方法包括：产生随机散斑，通过投影仪将所述随机散斑投影到目标物体表面经反射后触发事件，产生事件流；对于事件相机接收到的所述事件流，采用自适应事件帧提取算法，将事件流转化为图片帧的形式；将包含目标物体的数据提取的事件帧作为形变帧；将另一组不包含目标物体的数据提取的事件帧作为参考帧，计算所述参考帧和所述形变帧之间的像素偏移；通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体的三维点云，完成三维重建。2.根据权利要求1所述的三维重建方法，其特征在于，所述事件相机和所述投影仪在使用前需要进行标定。3.根据权利要求1所述的三维重建方法，其特征在于，所述事件相机将事件以事件流的形式存储为二进制文件，其中，所述事件相机的工作频率为100MHz。4.根据权利要求1所述的三维重建方法，其特征在于，所述参考帧和所述形变帧之间的像素偏移是通过数字图像相关算法计算得到的。5.根据权利要求1所述的三维重建方法，其特征在于，所述触发事件的关键是在每个投影周期中加入一定比例的非投影时间，即通过固定频率地开启和关闭投影仪的控制开关，使物体表面产生亮暗...

【专利技术属性】
技术研发人员：张越一，熊志伟，黄雪岩，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：