【技术实现步骤摘要】
本专利技术涉及视觉识别，更具体地说，涉及一种基于双目立体视觉系统的多视角三维重建方法。
技术介绍
1、事件相机，如动态视觉传感器(dvs,dynamic vision sensor)(lichtsteiner etal.2008)，其工作原理与传统相机非常不同，它具有独立的像素，仅在场景发生亮度变化时发送信息(称为“事件”)，因此，输出不是强度图像，而是微秒分辨率的异步事件流，其中每个事件由其时空坐标和亮度变化的标志(即没有强度)组成，由于事件是由亮度随时间变化引起的，因此事件相机自然会对存在相对运动的场景中的边缘做出反应。
2、事件相机是受生物启发的传感器，它为动态视觉信息的获取和处理提供了一种新的范例，事件相机的每个像素都独立于其他像素运行，持续监测其强度水平，并仅在给定(“事件”)发生时以微秒分辨率异步传输有关亮度变化的信息，具体来说，如果i(u,t)为图像平面上像素u＝(x,y)t处亮度或强度的对数，事件相机一个事件表示yk,tk,pk,如果在像素上的亮度变化为对数uk＝(xk,yk)t达到阈值c(通常为10-15％的相对亮度变化)：
3、
4、其中tk是事件的时间戳，δt是相邻事件在相同像素uk的间隔时间，pk＝±1是事件的极性(亮度变化的符号)，标准摄像机以固定速率输出帧，因此在场景中没有运动时发送冗余信息，相比之下，事件相机是数据驱动的传感器，其输出像素级亮度变化与微秒延迟，因此，如果场景中没有视觉变化，它们不会受到运动模糊的影响，也不会产生任何输出，以及微秒级的延迟，然而，新的
5、事件相机在实时交互系统，如机器人或可穿戴电子设备(2016)，其中在不受控制的照明条件下操作，延迟和功率是重要的，事件相机已经使用了对象跟踪(2007；2011；2013)，监视和监测(2012)，目标识别(2012；2015；2016)和手势控制(2014)，它们也被用于立体深度估计(2012；2013)，3d全景成像(2015)，结构光三维扫描(matsuda光流估计(2012；2014；2016)，高动态范围(hdr)图像重建(2016)，拼接(2014)和视频压缩(2014)，在自我运动估计中，事件相机已被用于姿态跟踪(2012；2014；2017)，视觉里程计和同步定位和地图绘制(slam,2013；2014；2016；2017)，基于事件的视觉是一个不断发展的研究领域，随着事件相机的广泛普及，预计会出现更多的应用。
6、大多数基于事件深度估计的工作都是通过使用两个或更多的事件相机来解决3d重建问题，这些事件相机是刚性连接的(即，具有固定的基线)，并共享一个共同的时钟，这些方法采用两步方法：首先解决跨图像平面的事件对应问题，然后对图像的位置进行三角测量3d点，事件以两种方式匹配：要么使用传统的立体方法对随着时间累积事件生成的人工框架进行匹配(schraml等人，2010)，或利用传感器间事件的同时性和时间相关性(kogler等人，2011；rogister等人，2012；camunas-mesa等人，2014)。
7、单应事件相机的深度估计更具挑战性，因为不能利用时间相关性跨多个图像平面之间的事件，单应事件的深度估计问题涉及两方面的考虑：(1)单个相机，(2)不需要同时观察事件，要在不解决数据关联问题的情况下做到立体重建，方法类似流水线即事件流，使用三个并行运行的过滤器来联合估计事件相机的运动、场景的3d地图和强度图像，深度估计需要使用一个额外的量→强度图像→来解决数据关联，使用事件相机并行跟踪和映射，与基于事件的姿态跟踪算法相结合，以产生轨迹估计和半密集3d地图→3d重建。
技术实现思路
1、为了解决上述技术问题，本申请提供了一种基于双目立体视觉系统的多视角三维重建方法，算法能够生成准确的、半密集的数据深度图，不需要任何明确的数据关联或强度估计。
2、一种基于双目立体视觉系统的多视角三维重建方法：
3、传统相机的mvs(multiple view stereo)解决从已知视点固有校准相机拍摄的图像集合中估计3d结构，事件相机是仿生视觉传感器，输出像素级亮度变化，而不是标准强度帧，与标准相机相比，它们具有显著的优势，即具有非常高的动态范围，没有运动模糊，延迟在微秒量级，然而，由于输出是由一系列异步事件而不是实际强度图像组成，传统的视觉算法无法应用，因此需要进行范式转换，基于事件的多视点立体(emvs，event-based multi-view stereo)问题与传统的mvs方法不同，传统的mvs方法解决了从一组已知视点估计密集3d结构的问题，emvs方法从具有已知轨迹的事件相机估计半密集3d结构，传统的mvs算法在完整的图像上工作，因此它们不能应用于传感器提供的异步事件流，emvs必须考虑到事件的稀疏性和异步性，事件是由强度边缘引起的，所以emvs的自然输出是半密集的3d地图，而不是传统mvs的密集地图；
4、利用事件相机的两个属性解决emvs方案：
5、(1)利用场景边缘的响应能力，自然地提供半密集的几何信息，而无需任何预处理操作；
6、(2)利用传感器移动时提供连续测量。
7、算法能够生成准确的、半密集的数据深度图，不需要任何明确的数据关联或强度估计。成功地在合成数据和实际数据上验证方法，方法在计算上非常高效，并且在cpu上实时运行。
8、emvs从具有已知视点的移动事件摄像机获得的稀疏异步事件流中获得场景的三维重建，基于事件的方法建立在传统mvs的先前工作基础上(seitz等人，2006)，遵循场景空间mvs方法的求解策略，在感兴趣的离散体(视差空间图像)中计算聚合一致性分数(dsi，disparity space image)，通过扭曲图像测量，然后在该体积中找到三维结构信息，dsi可交替用于体积的投影采样(即离散体积)或其中定义的标量函数(即分数)，通过考虑提供视觉信息的方式，在emvs中，dsi可能有空洞(没有得分值的体素)，因为扭曲的事件也是稀疏的，寻找半密集结构(例如，点，曲线)与dsi的稀疏性更好地匹配，采用低分辨率的传感器和高噪点的典型事件相机，在各种运动和场景的合成和真实数据上得到了验证，显示出非常精确的3d重建能力。
9、离散空间反向投影算法原理：
10、目标：反向投影事件位置{(uj,vj)}到投影dsi；
11、输入：虚拟摄像机定义的dsi投影p＝(i|0)，nz深度平面z＝zi；点{(uj,vj)}在事件摄像机pe＝(r|t)的当前位置；
12、过程：
13、①根据单应性hz0(h-1zi～r+(1/zi)te3t)，通过规范平面z＝z0将点从事件相机映射到虚拟相机，并以全精度存储转移点{(xj(z0)，yj(z0))}；
14、②对于每个深度平面z＝zi：
【技术保护点】
1.一种基于双目立体视觉系统的多视角三维重建方法，其特征在于，与大多数依赖像素强度值的经典MVS方法相反，空间扫描法仅依赖于从不同视点的场景的二值边缘图像，利用视点相关边缘地图的稀疏性或半密度来确定3D结构，包括三个步骤：
2.根据权利要求1所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述空间扫描法的解决方式为动态事件流输入，包括：
3.根据权利要求2所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述事件反投影的特征视点射线处理，包括：
4.根据权利要求3所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述用于(DSI)视差空间图像的创建，包括：
5.根据权利要求4所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述射线密度最大化的场景结构发现处理，包括：
6.根据权利要求5所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述基于多视点深度图合并，包括：
7.根据权利要求6所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述图像洁化
8.根据权利要求7所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述视差空间图像体素投影采样一致性：
9.根据权利要求8所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述投影采样情况下反向投影光线的性质对DSI的反向投影操作的影响：
10.根据权利要求9所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述反向投影锥的大小：
...【技术特征摘要】
1.一种基于双目立体视觉系统的多视角三维重建方法，其特征在于，与大多数依赖像素强度值的经典mvs方法相反，空间扫描法仅依赖于从不同视点的场景的二值边缘图像，利用视点相关边缘地图的稀疏性或半密度来确定3d结构，包括三个步骤：
2.根据权利要求1所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述空间扫描法的解决方式为动态事件流输入，包括：
3.根据权利要求2所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述事件反投影的特征视点射线处理，包括：
4.根据权利要求3所述的基于双目立体视觉系统的多视角三维重建方法，其特征在于，所述用于(dsi)视差空间图像的创建，包括：
5.根据权利要求4所述的基于双目立体视觉系统的多视角三维重建...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。