一种双目立体匹配算法的硬件实现系统和方法技术方案

本发明专利技术公开一种双目立体匹配算法的硬件实现系统和方法，属于立体匹配算法的实现方式技术领域。包括：一个支持图像拼接和深度融合的立体匹配专用电路，支持将输入图像按照分辨率或者深度范围分割成若干子图，分别通过流水线和并行运算进行加速，然后再将计算得到的子目标图通过融合计算电路，最终得到目标深度图。实现在兼顾运算速度的同时，大幅降低了电路存储器开销，并且可以针对不同的应用场景进行扩展。本发明专利技术解决了现有技术中立体匹配算法实现方法运算速度较慢、电路存储器成本较大且不能针对不同的应用场景进行扩展的问题。

【技术实现步骤摘要】
一种双目立体匹配算法的硬件实现系统和方法
本专利技术属于立体匹配算法的实现方式
，尤其涉及一种双目立体匹配算法的硬件实现系统和方法。
技术介绍
立体匹配是一种从平面图像中恢复深度信息的技术，广泛应用在三维重建、3D活体检测、无人驾驶领域。目前立体匹配算法实现方法包括软件实现和硬件实现两种。软件实现就是将算法交由CPU或者DSP进行执行。硬件实现就是将算法通过专用的电路执行。这两种实现方法存在不能在兼顾运算速度的同时，大幅降低存储器资源，减小大规模并行计算的峰值功耗，硬件更加灵活，提升支持的分辨率和视差范围问题。
技术实现思路
本专利技术的目的是提供一种双目立体匹配算法的硬件实现系统和方法，以解决现有技术中立体匹配算法实现方法运算速度较慢、电路存储器成本较大且不能针对不同的应用场景进行扩展的问题。为了实现上述目的，本专利技术提供如下技术方案：一种双目立体匹配算法的硬件实现方法，包括：S101，配置一个双目图像采集装置。双目图像采集装置包括一个第一图像采集装置和一个第二图像采集装置。第一图像采集装置能够采集本文档来自技高网...

【技术保护点】
1.一种双目立体匹配算法的硬件实现方法，其特征在于，包括：/nS101，配置一个双目图像采集装置；所述双目图像采集装置包括一个第一图像采集装置和一个第二图像采集装置；所述第一图像采集装置能够采集第一图像，所述第二图像采集装置能够采集第二图像；标定所述双目图像采集装置的内外参数；/nS102，一个极线校正模块，其配置为能够接收所述第一图像采集装置输出的第一输出数据和所述第二图像采集装置输出的第二输出数据；/n所述极线校正模块通过极线校正得到处于同一水平方向的第一图像和第二图像；/n所述极线校正模块通过所述双目图像采集装置的内外参数对接收到的第一输出数据和第二输出数据双线性插值；/nS103，配置...

【技术特征摘要】
1.一种双目立体匹配算法的硬件实现方法，其特征在于，包括：
S101，配置一个双目图像采集装置；所述双目图像采集装置包括一个第一图像采集装置和一个第二图像采集装置；所述第一图像采集装置能够采集第一图像，所述第二图像采集装置能够采集第二图像；标定所述双目图像采集装置的内外参数；
S102，一个极线校正模块，其配置为能够接收所述第一图像采集装置输出的第一输出数据和所述第二图像采集装置输出的第二输出数据；
所述极线校正模块通过极线校正得到处于同一水平方向的第一图像和第二图像；
所述极线校正模块通过所述双目图像采集装置的内外参数对接收到的第一输出数据和第二输出数据双线性插值；
S103，配置一个像素代价模块，其通过像素代价计算并行运算一个时钟周期得到n个像素代价，所述像素代价模块流水线依次遍历第一图像的每一个像素点，得到一个n维像素代价图；
S104，配置一个块代价计算模块，其将一个搜索窗范围内的像素代价相加得到该像素的代价，所述块代价计算模块通过并行计算和流水线输出一个时钟周期的n维块像素代价图；
S105，一个代价聚合模块，其配置为能够接收所述n维块像素代价图；所述代价聚合模块通过动态规划的方式进行代价聚合；所述代价聚合模块根据接收到的n维块像素代价图并行计算得到n维聚合代价图；
S106，一个视差计算模块，其配置为能够接收n维聚合代价图；所述视差计算模块根据接收到的n维聚合代价图比较得到一个最小的代价值；所述最小代价值对应的视差是该像素点的视差；所述视差计算模块能够输出一张一维原始视差图；
所述视差计算模块能够将次小聚合代价值、最小聚合代价值、最小聚合代价值维度相邻的两个聚合代价值合成一张四维聚合代价图；
S107，一个视差优化模块，其配置为能够接收所述四维聚合代价图，所述视差优化模块接收所述四维聚合代价图后对所述原始视差图进行优化；
S108，一个视差融合模块，融合模式能够将m视差范围切割成若干个n范围分别进行S102～S107的计算；
融合模式能够将图像数据进行纵向切割；
融合模式下，所述视差融合模块能够输出一个一维视差图；
S109，一个视差滤波模块，其能够对所述一维视差图和所述一维原始视差图进行处理；所述视差滤波器通过滤波算法分别对所述一维视差图和所述一维原始视差图平滑处理；
S110，一个视差填充模块，其通过连通域检查的方式将平滑处理后视差图存在的小范围噪声检查出来，通过视差替换，输出一张视差图；
S111，配置一个外部存储器，融合模式下，视差优化模块将优化后的视差图输出到所述外部存储器；
非融合模式下，视差优化模块将优化后的视差图输出到视差滤波模块；
其能够接收所述n维聚合代价图、n维块像素代价图和视差图。


2.如权利要求1所述的双目立体匹配算法的硬件实现方法，其特征是，所述双目图像采集装置采集若干幅棋盘格图像，根据每幅图像棋盘格角点在像素坐标系与世界坐标系的坐标转换关系计算双目图像采集装置的内参数f和外参数R、T；
f表示双目图像采集装置的归一化焦距，R表示双目图像采集装置的旋转矩阵，T表示双目图像采集装置的平移向量。


3.如权利要求2所述的双目立体匹配算法的硬件实现方法，其特征是，所述视差融合模块将需要计算的视差范围拆分成多个相同视差范围的计算；所述拆分是视差范围的拆分，不涉及分辨率的切割。


4.如权利要求3所述的双目立体匹配算法的硬件实现方法，其特征是，所述第一图像和所述第二图像每行都有A个像素，需要计算的视差范围是B，拆分为C次计算，那么每次计算的视差范围是B/C；用m表示行像素序号，用n表示第几次计算，第一图像的第m个像素与第二图像的m-((n-1)B/C)到m-nB/C范围的像素计算得到B/C维像素代价。

【专利技术属性】
技术研发人员：李超，胡运飞，高军军，欧阳鹏，
申请(专利权)人：南京蕴智科技有限公司，
类型：发明
国别省市：江苏;32