本发明专利技术公开了一种使用时域视觉传感器的双目立体深度匹配方法，并给出具体实现步骤。与目前广泛使用的基于“帧图像”的双目立体深度匹配方法不同，本发明专利技术使用一种新型成像器件‑‑时域视觉传感器进行视觉信息采集，以其输出事件序列作为算法输入来进行空间运动目标的立体深度匹配与计算。由于这种成像器件只对拍摄场景中的光强变化进行采样与输出，因此具有很高的时间分辨率以及极低的信息冗余。与现有的方法相比，本发明专利技术提出的立体深度匹配方法可以显著地降低计算量，提高算法的实时性与连续性。
【技术实现步骤摘要】
本专利技术设及计算机视觉、数字图像处理W及图像传感器设计等多个
，具体设 及。
技术介绍
-、双目立体深度匹配方法 双目立体视觉系统模拟生物双眼的视差功能，使用两台性能相同、相对位置固定的摄 像机，同时从不同的角度获取同一场景的两幅图像，然后计算原空间中任意一点在运两幅 图像中的（位置)视差，进而通过=角测距原理计算出该点的=维坐标信息。双目立体视觉 是机器视觉的重要分支之一，已应用于工业检测、追踪定位、=维重建、机器人导航避障、图 像分割等很多领域。 双目立体视觉通过W下几个步骤获取空间点的立体深度:摄像机标定、图像获取、 图像校正、立体深度匹配、计算深度和表面差。其中核屯、的立体深度匹配是使用图像匹配算 法获取空间一点在左右图像中的匹配点对，根据左右匹配点对的视差信息获得视差图，为 进一步计算深度及其它处理奠定基础。 附图1给出双目视觉立体深度计算的基本原理。经过严格配准与标定的两台相同 像机平行固定，则空间一点P在两台相机中的成像原理如左图所示。图中Or和化为两个成像 面的焦点，他们之间的连线称为基线，长度为b;成像焦距为f。空间一点P距基线为Z，其在左 右成像面的成像点分别为P和P'（双目立体视觉系统中的左右相机经过配准及校正后，两个 匹配点P和P'应当具有相同的行坐标和不同的列坐标）。设P点的横坐标为Xr，p'的横坐标为 财。由相似S角形定理可得： 上式变形可得： 上式中d=XR-村为P和P'的横坐标之差(左右两个成像面的相同行）。由此只要获得了坐 标差d，就可W获得空间点到基线的距离Z，然后根据坐标平面的变换可W确定空间点的深 度距离。上述寻找空间点P在两个成像面中的两个投影点P和P'的过程称为立体(深度）匹 配。 在匹配过程中均W-幅图像为参考图像，另外一幅为目标图像。如果左视图中一 点（x，y)，在右视图中对应的匹配点为(X'，y'），运两个匹配点的坐标差值为d(x，y)。则对 于已经校正过的左、右视图，运两个匹配点只在横向扫描线 上存在差异。因此有：对于参考图像中的每一像素点(x，y)，均能求出视差d，进而形成与像素坐标一致的视 差图。附图I右图为最常见的左右相机平行匹配方法。 已经提出的基于"帖图像"的立体匹配算法有很多种，大体分为基于区域的匹配与 基于特征的匹配。基于区域的匹配通过度量左右图像中两个小区域的某种相似度来判断其 是否匹配。而基于特征的匹配则是首先提取参考图像中的某种特征，例如边缘、角点等，然 后在目标图像中寻找对应的特征并计算其位置差。在实际双目相机产品中基于区域的匹配 方法得到了广泛使用。通常匹配算法由四个步骤组成：匹配代价函数计算、代价叠加、视差 计算和一致性检查优化。代价函数表示图像像素（局部）的相似性测度，一般W能量最小化 策略构成，即同一空间点在左右两幅图像中的对应成像点(或周围小区域)之间具有最小的 亮度差。常用的代价函数有：SAD(绝对差值之和）、SSD(差平方和）、归一化SSD、归一化相关 等。W上运些代价函数的基本形式在实际应用中可进行各种变形。 图2给出双目立体深度匹配的示例说明。W左图为参考，使用右图进行匹配得到的 深度图如（C)所示，由图可见，距离相机较近的空间点（高亮度)具有较大的视差，距离愈远 则视差越小。[000引二、视觉传感器 依据成像原理，当前规范使用的半导体图像传感器忍片（CCD及CMOS)都是基于"帖采 样"模式进行图像采集的： 1、 所有像素在复位后开始感光(收集光电荷），在达到设定曝光时间后停止感光； 2、 依次读出每个像素所收集的光电荷，并将其转换为电压； 3、 该电压经模数转换后变为数字量，输出后存储。该数字量即为该点的亮度值。所有像 素亮度值组成的二维矩阵即为所拍摄图像。 在使用上述"帖采样"图像传感器相机的机器视觉系统中，图像序列(视频)的拍摄 速度通常为30帖/秒。机器视觉系统中的计算机执行图像处理算法提取目标并进行判别与 分析。 上述"帖采样"成像方式存在的缺点： (1) 、背景数据冗余。相邻两帖间存在大量的冗余背景信息，不变的背景区域被重复采 样读出，对系统的处理和存储能力带来巨大压力。拍摄速度越高，则传输、存储和处理压力 越大，实时性差； (2) 、高响应延迟。场景中的变化不能立即被图像传感器感知并输出，而必须按照"帖" 的节奏被感知和输出。运种高响应延迟对于高速运动目标的跟踪与识别非常不利，运动速 度越快则检测结果的间断性和误差越明显。
技术实现思路
本专利技术针对上述现有技术中存在的技术问题，提供了一种使用时域视觉传感器的 双目立体深度匹配方法。 本专利技术为解决运一问题所采取的技术方案是： ，该方法使用一对经标定配准的时 域视觉传感器作为视觉输入源，W左视觉传感器输出的事件序列为参考，对右视觉传感器 的事件序列进行时间--空间的双重比较来得到匹配代价，选取具有最小匹配代价且满足匹 配顺序一致性和视差平滑性检查的事件作为匹配对象。该方法包括如下步骤： 设空间运动点在经过标定校正的左右TVS产生的AE序列分别为{其中L代表左相机，R代表右相机;上标 1〇分别表示左、右相机产生的第1和第^个46，？为事件极性，*1，^'为46的时间标记； 循环执行W下步骤： (1) 接收AE，根据其来源归入A垃或AEr: FPGA控制器收集来自左右相机的AE，进行时间戳标记和来源标记，输出的AE流为：(式1)匹配计算将左TVS的AE流作为参考序列，在右AE流中寻找其对应的AE;因此根据时间戳 t及来源source将AE流分为依时间排序的左右两列： (式2) (式3) 更新Tc; (2) 若Tc < AT,返回（1);否则继续； (3) 自中选择未被处理且与Tc间隔大于A T的最近、.片扔心.I;作为参考事件，将 满足W下条件自^扣入匹配目标候选集合：I、时间差有限 泣、视差距离宅 鎌、极线平行： 跋、事件属性： 扛、匹配唯一性:，衣与其他AE匹配； (4) 计算匹配代价;使用W下公式计算；与匹配目标集合中每 个AE的匹配代价：上式中Wl为极线差权重，当yL=y拙寸，此项为0 ;W2为时间差权重； 巧)匹配事件确定： $:、选择匹配目标集中具有最小匹配代价的AE进行匹配顺序一致性检查:对深度匹配图 中（)周围A L范围内的视差值进行匹配顺序一致性检查； 妓、视差平滑性检查:将当前所得视差与（心周围A L范围内的已有视差平滑一致 性检查;若当前视差为公C，周围已有视差的平均值为志，标准差为^溢、若当前AE满足W上条件，认为其为匹配AE，将视差M-Jl写入深度匹配图口^〇心 )位置，标记为已匹配；若不满足，则选取具有 次最小代价的AE重复上述过程;若选择匹配目标集中的AE均不满足上述条件，则深度匹配 图位置标记为0; (6)返回（1)继续或结束。 本专利技术具有的优点和积极效果是： 本专利技术根据双目立体深度测量的原理，使用TVS为输入源，通过比较左右TVS产生的AE 序列进行时间-空间匹配。由于TVS采用变化采样、异步输出、地址事件表示的成像原理，因 此具有极低数据冗余、高实时性与时间分辨率的优势，非常适合于运动目标的立体深度测 量计算。 同时由于采用"变化采样+像素异步输出"的采样原理，因此场景中的变化能本文档来自技高网...
【技术保护点】
一种使用时域视觉传感器的双目立体深度匹配方法，其特征在于：该方法使用一对经标定配准的时域视觉传感器作为视觉输入源，以左视觉传感器输出的事件序列为参考，对右视觉传感器的事件序列进行时间‑‑空间的双重比较来得到匹配代价，选取具有最小匹配代价且满足匹配顺序一致性和视差平滑性检查的事件作为匹配对象。
【技术特征摘要】
【专利技术属性】
技术研发人员：胡燕翔，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津;12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。