本发明专利技术公开了一种基于图像匹配的高分辨率深度图实时提取装置及方法。本装置包括双目SDI摄像机和FPGA开发板，双目SDI摄像机通过两路BNC接口单向连接FPGA开发板，FPGA开发板通过PCIE接口单向连接3DTV编码服务器；利用双目SDI摄像机获取图像，在FPGA开发板上实现深度图实时提取，获取的深度图实时传输至编码服务器。本方法的操作步骤是：Ⅰ.SDI解析，Ⅱ.立体匹配，Ⅲ.WTA最优选择-生成深度图。本发明专利技术可直接接受高清双路SDI输入，实时地提取高清晰度视频深度图，且可插在PC主板上，将得到的深度图直接通过PCIE接口输入编码服务器，大大加速3DTV应用以及真实场景重现的实现和普及。
【技术实现步骤摘要】
本专利技术涉及3DTV领域，基于图像匹配原理，应用于3DTV前端双视或多视视频的快速深度提取，即基于图像匹配的高分辨率深度图实时提取装置及方法。
技术介绍
双视或多视点视频3DTV实时显示系统，包含了前端视频采集，编码传送，解码显示等部分。多视点视频的数据量远比单视数据量要大。例如多视点是9个视点，如果9个视点采用基于H.264联播方式编码就是原来数据量的9倍。鉴于此，在2009年JVT和MPEG的推出了 MVD (多视+深度)数据模式。在该模式中，对传输的视频端除了原来视点的纹理彩色视频外，对于每个视点都附加一个与之相应的深度图视频。提出深度图的概念有2个最直观的好处: (a):深度图较平坦，对编码来说效率极高，即使采用H.264的编码方式其编码比特率也仅是彩色视频编码比特率的20-30%。(b):通过提取具有场景几何信息的深度，可绘制出高质量的虚拟视。综上所述，快速准确地提取深度图是实时3DTV系统的关键，也是MVD模式的核心，因此诸多学者对此从未停止探索的脚步。
技术实现思路
本专利技术目的在于提供，以满足3DTV前端深度提取效率低下不能满足实时应用的现状。利用图像匹配的原理以及FPGA平台并行结构，在单片FPGA上编程和实现，可以较高质量地进行深度的实时提取。为达到上述目的，本专利技术的构思是: I.将双路同步SDI输入视频解析为视频数据信号，同时提取水平同步标识信号、垂直同步标识信号、视频有效数据标志信号，对于隔行扫描的视频格式还将提取出帧数标识信号; I1.利用基于非参数化区域变换的匹配算法对两路视频进行立体匹配，对于已解析的视频数据，通过识别水平同步标识信号、垂直同步标识信号、视频有效数据标志信号和帧数标识信号，准确地判断出完整的一场、一行有效数据开始的位置，再配合FPGA内部BlockRam和寄存器资源，有效地将动态的视频匹配转化为静态的图像匹配； II1.利用WinnerTakes All优选策略进行视差候选值选定，采用6级两两比较的方法找出视差范围内匹配代价最小像素点的位置，该位置所对应的深度即为参考点深度值； 将所得深度图进行DDR2缓存，再通过PCIE接口输出至绘制服务器； 本专利技术将以上所述的SDI解析、Census区域变换实现、匹配代价计算、匹配代价最优选择和DDR2缓存控制等均在单片FPGA芯片中完成，携带安装方便，且功能更新、升级方便。在上述模块实现过程中采用Verilog HDL编程，对各个模块采用流水线设计，并对代码优化布局布线，添加合理的时序约束，对Block Ram采用下降沿读取的方式，可避免多数亚稳态，在高分辨率视频数据的时钟下高速稳定地进行深度提取。根据上述专利技术构思，本专利技术采用下述技术方案: 一种基于图像匹配的高分辨率深度图实时提取装置，包括双目SDI摄像机和FPGA开发板，双目SDI摄像机通过两路BNC接口单向连接FPGA开发板，FPGA开发板通过PCIE接口单向连接3DTV编码服务器；利用双目SDI摄像机获取图像，在FPGA开发板上实现深度图实时提取，获取的深度图实时传输至编码服务器。所述双目SDI摄像机采用PanasonicAG-3DA1MC双目高清摄像机，摄像机可通过SDI输出高清视频，两路视频经过了图像校正，可直接进行立体匹配。所述FPGA开发板采用EP2AGX260 FPGA芯片，芯片双向连接IGB DDR2SODIMM作为数据缓存模块，FPGA开发板前端设计两路SDI接收模块，LMH0344均衡器对SDI信号进行DC恢复，LMH0341解串器自动检测输入数据速率并提取时钟，FPGA开发板后端通过PCIE接口以全双工方式将深度图输出至3DTV编码服务器。一种基于图像匹配的高分辨率深度图实时提取方法，采用上述装置进行深度图的实时提取，其特征在于通过在FPGA芯片内设计数字电路实现深度图的提取，操作步骤如下: I.SDI解析:将经过解串之后的两路同步SDI视频输入解析为视频数据信号； II.匹配代价估计:以数字电路方式实现匹配代价函数的构建和匹配代价的估计； III.WTA最优选择-生成深度图:以数字电路方式在视差范围内对最优匹配进行选择。所述步骤I SDI 解析是通过 FPGA 编程，配合 SDI Receiver (protocol )MegaCore从双路同步SDI视频解析出视频数据信号，并提取出水平同步标识信号，垂直同步标识信号，视频有效数据标志信号，对于隔行扫描的视频格式还将提取出场标识信号；利用这些标识信号配合FPGA芯片内部的RAM和寄存器资源将动态的同步视频的匹配转化为静态的每一帧的图像匹配。所述步骤II匹配代价估计针对每一路视频实现Census变换，通过例化FPGA内部资源Block Ram作为Line Buffer，将每一行数据进行存储，选用15X 15像素大小的匹配窗口，在匹配窗口内部采用隔行稀疏十字交叉矩阵进行选值，达到匹配精度与复杂度的平衡。所述步骤III WTA最优选择-生成深度图是通过Winner Takes All的优选方式在待匹配视图上找出64像素视差范围内的匹配代价最小的点，选取该点为候选点。采用分级两两进行比较的方法，经过6级比较则可选出匹配代价最小的点，同时标记匹配代价次小点的匹配代价值。本专利技术的积极效果是:可直接接受高清双路SDI输入，实时地提取高清晰度的深度，且可插在PC主板上，将得到的深度图直接通过PCIE接口输入绘制服务器，大大加速了实时3DTV制作和真实场景重现的实现和普及。该装置及方法可自动检测双视输入视频分辨率，可支持最高达1920 X 1080的高清视频，输出的深度图与输入分辨率相同。图像匹配采用非参数化的匹配方法，有效消除两路输入视频的光线差异等因素对深度提取结果造成的影响。将提取出的深度图像通过DDR2实时缓存，使深度图像稳定地输出。SDI协议解析、图像匹配、深度提取、DDR2缓存控制等模块均在单片FPGA芯片上完成，利用FPGA的并行结构实行提取，使深度提取过程灵活高效。一般情况下深度提取的复杂度会随着分辨率的增加而急剧增加，提取效率也会随之急剧下降，该装置及方法可实现对双路1920 X 1080分辨率视频的实时深度提取，有效解决了 3DTV系统中深度提取效率过于低下的问题，是3DTV真实场景实时重现至关重要的环节。附图说明下面结合附图和实施例对本专利技术进一步说明。图1为本专利技术的整体结构图。图2为本专利技术匹配代价估计准则构建原理图。图3为本专利技术WTA最优选择过程中分级两两比较原理示意图。图4为本专利技术深度提取算法在FPGA芯片内部实现的总体示意图。具体实施例方式为了能够更清楚地理解本专利技术的
技术实现思路
，以下结合附图对本专利技术的优选实施例作详细描述: 实施例一: 参考图1，本基于图像匹配的高分辨率深度图实时提取装置，包括双目SDI摄像机(I)和FPGA开发板(2)，其特征在于所述的双目SDI摄像机(I)单向连接FPGA开发板(2)，所述FPGA开发板单向连接一个3DTV编码服务器(3);利用双目SDI摄像机(I)获取图像，在FPGA开发板(2)上实现深度实时提取，获取深度图通实时传输至3DTV编码服务器。实施例二: 本实施例与实施例一基本相同，特别之处是:所述双目SDI摄像机采用本文档来自技高网...
【技术保护点】
一种基于图像匹配的高分辨率深度图实时提取装置，包括双目SDI摄像机（1）和FPGA开发板（2），其特征在于所述的双目SDI摄像机（1）单向连接FPGA开发板（2），所述FPGA开发板（2）单向连接一个3DTV编码服务器（3）；利用双目SDI摄像机（1）获取图像，在FPGA开发板（2）上实现深度实时提取，获取深度图通实时传输至3DTV编码服务器（3）。
【技术特征摘要】
1.一种基于图像匹配的高分辨率深度图实时提取装置，包括双目SDI摄像机(I)和FPGA开发板(2)，其特征在于所述的双目SDI摄像机(I)单向连接FPGA开发板(2)，所述FPGA开发板(2 )单向连接一个3DTV编码服务器(3 );利用双目SDI摄像机(I)获取图像，在FPGA开发板(2)上实现深度实时提取，获取深度图通实时传输至3DTV编码服务器(3)。2.根据权利要求1所述的一种基于图像匹配的高分辨率深度图实时提取装置，其特征在于所述双目SDI摄像机(I)采用Panasonic AG-3DA1MC双目高清摄像机。该摄像机可通过SDI输出高清视频，两路视频经过了图像校正，可直接进行立体匹配。3.根据权利要求1所述的一种基于图像匹配的高分辨率深度图实时提取装置，其特征在于所述FPGA开发板(2)上采用EP2AGX260 FPGA芯片(4)，芯片(4)双向连接IGB DDR2SODIMM (5)作为数据缓存模块。FPGA开发板(2)前端设计两路SDI接收模块，LMH0344均衡器对SDI信号进行DC恢复，LMH0341解串器自动检测输入数据速率并提取时钟；FPGA开发板(2 )后端通过PCIE接口( 6 )，以全双工方式将深度图输出至3DTV编码服务器(3 )。4.一种基于图像匹配的高分辨率深度图实时提取方法，采用权利要求1所述的一种基于图像匹配的高分辨率深度图实时提取装置进行深度图的实时提取，其特征在于通过在FPGA芯片(4)内设计数字电路实现，操作步骤如下: I.SDI解析(7):将解串之后的两路同步SDI视频输入解析为...
【专利技术属性】
技术研发人员：王建伟，滕国伟，鲁超，邹雪妹，李火生，成益龙，路龙龙，崔大海，
申请(专利权)人：上海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。