【技术实现步骤摘要】
本专利技术属于图像处理领域，具体涉及一种针对roi区的高吞吐金字塔立体匹配方法及其硬件架构。
技术介绍
1、在实际落地任务中，一般需要能处理高分辨图像以及保持高吞吐率和低延迟处理的硬件加速系统。然而传统的立体匹配算法随着图像分辨率的增加，计算时间和内存消耗也随之增加，因此有针性地设计具有高吞吐量的硬件架构至关重要。以往对非roi区进行降采样、依赖性松弛方法等，虽然可以大大提升硬件系统的吞吐量，但是这些方法获得高吞吐和低系统延时的代价是牺牲了匹配精度和增加消耗电路面积，这对于针对roi区的处理是不合适的。故需要提出一种针对roi区的、保证匹配精度以及减少电路消耗的匹配策略。
技术实现思路
1、本专利技术针对传统立体匹配算法在处理高分辨率图像时，其硬件系统吞吐量、处理延时、匹配精度以及资源消耗难以平衡的问题，提供一种针对roi区的高吞吐金字塔立体匹配方法及其硬件架构，可以在损失精度很小的情况下实现高吞吐。
2、为实现上述目的，本专利技术采用以下技术方案：
3、一种针对roi区的高吞吐金字塔立体匹配方法，其特征在于，包括如下步骤：
4、输入一对左右图像作为原始图像，对左图像和右图像进行降采样，将图像分辨率逐级缩小1/2，分别构建三级图像金字塔；其中，左图像为待匹配图像，右图像为候选图像；
5、在图像金字塔的第三级，对1/4分辨率的左图像和右图像采用sgbm算法进行匹配，得到1/4分辨率的视差图；对1/4分辨率的视差图进行升采样，得到1/2分
6、在图像金字塔的第二级，将1/2分辨率的视差图作为视差搜索范围的限定，对1/2分辨率的左图像和右图像采用sgbm算法进行匹配，得到第二级输出的1/2分辨率的视差图；对第二级输出的1/2分辨率的视差图进行升采样，得到原始分辨率的视差图；
7、在图像金字塔的第一级，将原始分辨率的视差图作为视差搜索范围的限定，对原始分辨率的左图像和右图像采用sgbm算法进行匹配，输出最终的视差图。
8、为优化上述技术方案，采取的具体措施还包括：
9、进一步地，所述对左图像和右图像进行降采样的方式采用2×2的均值池化。
10、进一步地，所述sgbm算法具体如下：
11、采用代价函数衡量左图像和右图像中像素的相似度，根据相似度来计算左图像和右图像的初始匹配代价；
12、采用sgm方式，结合sobel边缘检测来保留边缘，对初始匹配代价进行代价聚合，得到左图像的代价矩阵；
13、根据左图像的代价矩阵确定左图像每个像素的最优视差值，得到初步的视差图；
14、对初步的视差图剔除异常值，对异常值的位置进行空洞填充，最后执行亚像素细化，得到优化后的视差图，作为各分辨率的视差图。
15、进一步地，所述对初步的视差图剔除异常值，具体为：首先对初步的视差图进行唯一性检测，然后计算右图像的视差矩阵，结合右图像的视差矩阵进行左右一致性检测，经过这两步检测剔除异常值。
16、进一步地，所述对1/4分辨率的视差图进行升采样以及对第二级输出的1/2分辨率的视差图进行升采样的方式均采用邻近差值。
17、进一步地，所述视差搜索范围采用如下方式进行限定：
18、在三级图像金字塔中，下一级的每个像素点(i，j)的视差搜索范围r(i，j)被限定在：
19、r(i，j)∈[2*dlast-tmin，2*dlast+tmax]
20、式中，dlast是上一级对应位置的视差，dlast＝dn-1([i/2]，[j/2])，dn-1表示上一级的视差矩阵，tmin和tmax分别是搜索范围的上下限。
21、本专利技术还提出了一种支持如上所述的针对roi区的高吞吐金字塔立体匹配方法的硬件架构，其特征在于，包括升采样模块、降采样模块、行缓存模块、边缘检测模块、代价聚合模块、右图像代价矩阵构建模块、唯一性检测模块、左右一致性检测模块、空洞填充模块和亚像素插值模块；所述原始图像从soc和ddr读出后输入降采样模块，实现金字塔第二级和第三级的图像输入，并在行缓存模块中进行缓存；所述升采样模块对上一级输出的视差图进行升采样，升采样后的数据与行缓存模块中缓存的数据经过边缘检测模块进行边缘检测后，输入代价聚合模块进行代价聚合操作，得到初步的视差图；所述唯一性检测模块对初步的视差图进行唯一性检测，所述右图像代价矩阵构建模块计算右图像的视差矩阵，所述左右一致性检测模块结合右图像的视差矩阵对唯一性检测后的视差图进行左右一致性检测，左右一致性检测后的视差图再依次经过空洞填充模块和亚像素插值模块，得到优化后的视差图。
22、所述降采样模块中，在axi空间内开辟两个原始图像空间，当一张图像处理时，另一张图像写入空闲的原始图像空间，其余空间用于先验视差图的存储。
23、所述降采样模块使用四个深度为8、位宽32字节的fifo实现，fifo输出时使用一个32字节转4字节的并转串结构，在降采样至1/4分辨率时，每个时钟周期更新一次像素数据，在降采样至1/2分辨率时，每两个时钟周期更新一次像素数据，输出位宽8bit。
24、所述代价聚合模块使用16个并行聚合结构进行代价聚合。
25、本专利技术的有益效果是：
26、(1)本专利技术结合实际场景的应用需求，提出了适合硬件加速的分层匹配策略，采用改进的sgbm算法结合影像金字塔进行多级匹配，利用低分辨率的视差结果插值来对低级金字塔进行先验约束，在算法层面就减小复杂度，以实现硬件加速。本专利技术提出的匹配方法复杂度小，在三级金字塔的理想条件情况下，算法的实际运行时间能够得到一倍左右的优化。
27、(2)根据金字塔形成先验信息，需要反复输入视差，若输出全分辨率的精准视差，三级金字塔需要输入1.375倍的原图数据量；而本专利技术只对roi区域进行高精度匹配，其余部分视差由第二级视差进行升采样得到，针对roi场景下进行匹配的数据量仅为原来的0.658倍，减小了数据量，有效提升了吞吐量。经实验验证，本专利技术在64级视差情况下，可达的吞吐量为6569.16mdes，若只针对1/4大小的roi区进行精准匹配，则吞吐量可达13735.53mdes。本专利技术提出的架构在roi场景下的资源利用效率远优于目前的立体匹配加速架构，每百万次视差估计仅需2.19个lut、1.78个ff和0.009个bram。
28、(3)本专利技术基于分层匹配算法给出了硬件加速架构，以协处理的形式对分层立体匹配加速，使得系统在关键模块资源节约3/4的情况下系统理论吞吐量翻倍。
本文档来自技高网...【技术保护点】
1.一种针对ROI区的高吞吐金字塔立体匹配方法，其特征在于，包括如下步骤：
2.如权利要求1所述的针对ROI区的高吞吐金字塔立体匹配方法，其特征在于：所述对左图像和右图像进行降采样的方式采用2×2的均值池化。
3.如权利要求1所述的针对ROI区的高吞吐金字塔立体匹配方法，其特征在于：所述SGBM算法具体如下：
4.如权利要求3所述的针对ROI区的高吞吐金字塔立体匹配方法，其特征在于：所述对初步的视差图剔除异常值，具体为：首先对初步的视差图进行唯一性检测，然后计算右图像的视差矩阵，结合右图像的视差矩阵进行左右一致性检测，经过这两步检测剔除异常值。
5.如权利要求1所述的针对ROI区的高吞吐金字塔立体匹配方法，其特征在于：所述对1/4分辨率的视差图进行升采样以及对第二级输出的1/2分辨率的视差图进行升采样的方式均采用邻近差值。
6.如权利要求1所述的针对ROI区的高吞吐金字塔立体匹配方法，其特征在于：所述视差搜索范围采用如下方式进行限定：
7.一种支持如权利要求4所述的针对ROI区的高吞吐金字塔立体匹配方法的硬件
8.如权利要求7所述的硬件架构，其特征在于：所述降采样模块中，在AXI空间内开辟两个原始图像空间，当一张图像处理时，另一张图像写入空闲的原始图像空间，其余空间用于先验视差图的存储。
9.如权利要求7所述的硬件架构，其特征在于：所述降采样模块使用四个深度为8、位宽32字节的FIFO实现，FIFO输出时使用一个32字节转4字节的并转串结构，在降采样至1/4分辨率时，每个时钟周期更新一次像素数据，在降采样至1/2分辨率时，每两个时钟周期更新一次像素数据，输出位宽8bit。
10.如权利要求7所述的硬件架构，其特征在于：所述代价聚合模块使用16个并行聚合结构进行代价聚合。
...【技术特征摘要】
1.一种针对roi区的高吞吐金字塔立体匹配方法，其特征在于，包括如下步骤：
2.如权利要求1所述的针对roi区的高吞吐金字塔立体匹配方法，其特征在于：所述对左图像和右图像进行降采样的方式采用2×2的均值池化。
3.如权利要求1所述的针对roi区的高吞吐金字塔立体匹配方法，其特征在于：所述sgbm算法具体如下：
4.如权利要求3所述的针对roi区的高吞吐金字塔立体匹配方法，其特征在于：所述对初步的视差图剔除异常值，具体为：首先对初步的视差图进行唯一性检测，然后计算右图像的视差矩阵，结合右图像的视差矩阵进行左右一致性检测，经过这两步检测剔除异常值。
5.如权利要求1所述的针对roi区的高吞吐金字塔立体匹配方法，其特征在于：所述对1/4分辨率的视差图进行升采样以及对第二级输出的1/2分辨率的视差图进行升采样的方式均采用邻近差值。
6.如权利要求1所述的针对roi区的高吞吐金字塔立体匹配方法，其特征在于：所述视差搜索范围采用如下方式进行限定：
7.一种支持如权利要求4所述的针对roi区的高吞吐金字塔立体匹配方法的硬件架构，其特征在于，包括升采样模块、降采样模块、行缓存模块、边缘检测模块、代价聚合模块、右图像代价矩阵构建模块、唯一性检测模块、左右一致性检测模块、空洞填充模块和亚像素插...
【专利技术属性】
技术研发人员：张雅雯，王天续，水云鹏，
申请(专利权)人：南京仙电同圆信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。