一种基于双目视觉的视差后处理系统和方法技术方案

本申请提供的一种基于双目视觉的视差后处理系统和方法，具体涉及双目视觉技术领域，该架构包括左右视差检测模块、窗口空洞填充模块和窗口中值滤波模块，左右视差检测模块用于存储输入的左、右视差数据，并根据视差数据的有效性将视差数据分类；窗口空洞填充模块和窗口中值滤波模块均由若干个存储单元组成，且共用部分存储单元；窗口空洞填充模块用于对满足填充条件的错误匹配视差进行空洞填充；窗口中值滤波模块用于在各个存储单元均接收到视差数据时进行中值滤波。本申请既实现了存储单元在空间上的复用，又实现了空洞填充和中值滤波并行处理在时间上的复用，极大地提高了资源利用率及视差后处理效率。用率及视差后处理效率。用率及视差后处理效率。

【技术实现步骤摘要】
一种基于双目视觉的视差后处理系统和方法


[0001]本申请涉及双目视觉
，尤其涉及的是一种基于双目视觉的视差后处理系统和方法。

技术介绍

[0002]双目视觉作为计算机视觉领域中的热点方向之一，是根据仿生学模仿人的双眼获取视差，进而转换成深度距离信息的技术，其被广泛应用于无人驾驶、三维人脸识别、同步定位与建图等领域。目前主流的双目视觉算法是半全局立体匹配算法(Semi
‑
global Matching，SGM)，但由于其复杂度极高，且实时运用的精度需求量较大，因此需要通过现场可编辑门阵列(FPGA)和专用集成电路(ASIC)的加速，以达到高速低功耗的边缘处理。在这其中，视差后处理极为重要，因为它可以在代价聚合资源消耗一定的前提下极大地提高输出视差图的精度。
[0003]现有的视差后处理策略中，最典型的方法是根据左右视差的较小值优化视差图，由于该方法只考虑了同一行左右两方向的相邻像素，硬件实现简单，但是优化精度比较差。目前大多数面向硬件平台的SGM算法，大多采用基于深度学习的后处理算法，虽然可以在一定程度上提高算法处理的精度，但是由于算法对应的模型复杂度高，构建模型需要消耗大量的硬件资源，但是存在资源利用率比较低的问题。

技术实现思路

[0004]鉴于上述现有技术的不足，本申请的目的在于提供一种基于双目视觉的视差后处理系统和方法，旨在解决现有技术中存在的双目视差后处理在保证精度的情况下资源利用率较低的问题。
[0005]为了实现上述目的，本申请第一方面提供一种基于双目视觉的视差后处理系统，包括左右视差检测模块、窗口空洞填充模块和窗口中值滤波模块；
[0006]所述左右视差检测模块用于存储左、右视差数据，并根据视差数据的有效性将所述视差数据分为有效视差和错误匹配视差，将所述有效视差和所述错误匹配视差发送到所述窗口空洞填充模块；
[0007]所述窗口空洞填充模块和所述窗口中值滤波模块分别包括由若干个存储单元构成的空洞填充窗口和中值滤波窗口，且所述空洞填充窗口中的预设个数的存储单元和所述中值滤波窗口共用；
[0008]所述窗口空洞填充模块用于接收所述有效视差和所述错误匹配视差，当满足预设的填充条件时，按照空洞填充逻辑将所述错误匹配视差进行填充得到已填充的视差，并将所述已填充的视差和所述有效视差均按照先进先出的顺序发送到所述窗口中值滤波模块，所述预设的填充条件是指所述空洞填充窗口内目标位置存储单元及在所述空洞填充窗口内所述目标位置存储单元周围的存储单元的所有视差中，有效视差的数量大于或等于错误匹配视差的数量；
[0009]所述窗口中值滤波模块用于接收所述已填充的视差和所述有效视差，当所述中值滤波窗口中的所有存储单元均接收到视差数据时，按照中值滤波逻辑对所述已填充的视差进行中值滤波，并将滤波后的视差输出。
[0010]可选的，所述空洞填充窗口包括若干个由行和列构成的阵列结构布设的第一存储单元，且各个所述第一存储单元用于按照从上到下、从左到右的顺序逐个接收由所述左右视差检测模块发送的所述有效视差和所述错误匹配视差；
[0011]所述中值滤波窗口包括若干个由行和列构成的阵列结构布设的所述第二存储单元，且各个所述第二存储单元用于按照从上到下、从左到右的顺序逐个接收由所述空洞填充窗口发送的所述已填充的视差和所述有效视差。
[0012]可选的，所述窗口空洞填充模块包括第一逻辑电路、第一比较器、第二比较器、第三比较器、第一排序模块和第一拼接模块；
[0013]所述第一逻辑电路用于判断所述空洞填充窗口内目标位置存储单元及在所述空洞填充窗口内所述目标位置存储单元周围的存储单元的所有视差的有效性；
[0014]所述第一比较器用于根据所述第一逻辑电路的判断结果，统计所述相邻视差中有效视差的数量，若不存在有效视差，则直接将所述待填充的视差输出到所述第三比较器；若存在有效视差，则利用所述第一排序模块根据视差值将各个有效视差进行排序，得到排序后的有效视差并输出到所述第二比较器；
[0015]所述第二比较器用于根据所述排序后的有效视差及所述待填充的视差，确定所述待填充的视差所属的类别，并根据所属类别从所述排序后的有效视差中选择相应的有效视差进行填充，并将已填充的视差输出到第三比较器；
[0016]所述第三比较器用于判断输入的所述已填充的视差是否有效，并根据判断结果利用所述第一拼接模块拼接预设的无效或有效标记后输出到所述窗口中值滤波模块。
[0017]可选的，所述窗口中值滤波模块包括第二逻辑电路、第四比较器、第五比较器、第六比较器、第二排序模块和第二拼接模块；
[0018]所述第二逻辑电路用于判断所述窗口中值滤波模块中所有存储单元中的视差的有效性；
[0019]所述第四比较器用于根据所述第二逻辑电路的判断结果，统计所述相邻视差中有效视差的数量，若不存在有效视差，则直接将所述已填充的视差输出到第六比较器；若存在有效视差，则利用所述第二排序模块根据视差值将各个有效视差进行排序，得到排序后的有效视差并输出到所述第五比较器；
[0020]所述第五比较器用于选取所述排序后的有效视差的中值视差，并将所述中值视差输出到所述第二拼接模块；
[0021]所述第六比较器用于根据预设的有效和无效标记，利用所述第二拼接模块为输入的所述已填充的视差拼接无效标记，或者为输入的所述中值视差拼接有效标记，并将添加标记后的视差输出到所述窗口中值滤波模块。
[0022]可选的，还包括后处理缓存器，所述后处理缓存器设置在某一行或某几行存储单元的一端，用于将由所述某一行或某几行存储单元发送的视差数据按照先进先出的顺序进行排列。
[0023]可选的，还包括二次填充模块，所述二次填充模块设置在所述窗口中值滤波模块
的输出端，所述二次填充模块包括至少两个存储单元组，每个所述存储单元组均至少包括两个存储单元，用于对从所述窗口中值滤波模块输出的添加有无效标记的视差进行填充。
[0024]可选的，还包括后处理反向缓存器，所述后处理反向缓存器设置在所述二次填充模块中所述存储单元组的输入端，用于将从所述窗口中值滤波模块或者所述存储单元组输出的视差数据按照先进后出的顺序进行排列。
[0025]可选的，所述左右视差检测模块包括地址选择器、比较器和有效值选择器；
[0026]所述地址选择器用于根据左、右视差图的相对位置关系将左、右地址进行匹配，并将匹配后的地址对应的左、右视差发送到所述比较器；
[0027]所述比较器用于判断左、右视差对应的地址是否满足唯一性约束，并将满足唯一性约束的所述左、右视差发送到所述有效值选择器；
[0028]所述有效值选择器用于将满足唯一性约束的视差分为有效视差和错误匹配视差，并将所述有效视差和所述错误匹配视差发送到所述窗口空洞填充模块；
[0029]可选的，所述左右视差检测模块还包括地址计数器和视差存储模块；
[0030]所述地址计数器用于向所述视差存储模块发送控本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉的视差后处理系统，其特征在于，包括左右视差检测模块、窗口空洞填充模块和窗口中值滤波模块；所述左右视差检测模块用于存储左、右视差数据，并根据视差数据的有效性将所述视差数据分为有效视差和错误匹配视差，将所述有效视差和所述错误匹配视差发送到所述窗口空洞填充模块；所述窗口空洞填充模块和所述窗口中值滤波模块分别包括由若干个存储单元构成的空洞填充窗口和中值滤波窗口，且所述空洞填充窗口中的预设个数的存储单元和所述中值滤波窗口共用；所述窗口空洞填充模块用于接收所述有效视差和所述错误匹配视差，当满足预设的填充条件时，按照空洞填充逻辑将所述错误匹配视差进行填充得到已填充的视差，并将所述已填充的视差和所述有效视差均按照先进先出的顺序发送到所述窗口中值滤波模块，所述预设的填充条件是指所述空洞填充窗口内目标位置存储单元及在所述空洞填充窗口内所述目标位置存储单元周围的存储单元的所有视差中，有效视差的数量大于或等于错误匹配视差的数量；所述窗口中值滤波模块用于接收所述已填充的视差和所述有效视差，当所述中值滤波窗口中的所有存储单元均接收到视差数据时，按照中值滤波逻辑对所述已填充的视差进行中值滤波，并将滤波后的视差输出。2.根据权利要求1所述的基于双目视觉的视差后处理系统，其特征在于，所述空洞填充窗口包括若干个由行和列构成的阵列结构布设的第一存储单元，且各个所述第一存储单元用于按照从上到下、从左到右的顺序逐个接收由所述左右视差检测模块发送的所述有效视差和所述错误匹配视差；所述中值滤波窗口包括若干个由行和列构成的阵列结构布设的第二存储单元，且各个所述第二存储单元用于按照从上到下、从左到右的顺序逐个接收由所述空洞填充窗口发送的所述已填充的视差和所述有效视差。3.根据权利要求1所述的基于双目视觉的视差后处理系统，其特征在于，所述窗口空洞填充模块包括第一逻辑电路、第一比较器、第二比较器、第三比较器、第一排序模块和第一拼接模块；所述第一逻辑电路用于判断所述空洞填充窗口内目标位置存储单元及在所述空洞填充窗口内所述目标位置存储单元周围的存储单元的所有视差的有效性；所述第一比较器用于根据所述第一逻辑电路的判断结果，统计所述相邻视差中有效视差的数量，若不存在有效视差，则直接将所述待填充的视差输出到所述第三比较器；若存在有效视差，则利用所述第一排序模块根据视差值将各个有效视差进行排序，得到排序后的有效视差并输出到所述第二比较器；所述第二比较器用于根据所述排序后的有效视差及所述待填充的视差，确定所述待填充的视差所属的类别，并根据所属类别从所述排序后的有效视差中选择相应的有效视差进行填充，并将已填充的视差输出到第三比较器；所述第三比较器用于判断输入的所述已填充的视差是否有效，并根据判断结果利用所述第一拼接模块拼接预设的无效或有效标记后输出到所述窗口中值滤波模块。4.根据权利要求3所述的基于双目视觉的视差后处理系统，其特征在于，所述窗口中值
滤波模块包括第二逻辑电路、第四比较器、第五比较器、第六比较器、第二排序模块和第二拼接模块；所述第二逻辑电路用于判断所述窗口中值滤波模块中所有存储单元中的视差的有效性；所述第四比较器用于根据所述第二逻辑电路的判断结果，统计所述相邻视差中有效视差的数量，若不存在有效视差，则直接将所述已填充的视差输出到第六比较器；若存在有效视差，则利用所述第二排序模块根据视差值将各个有效视差进...

【专利技术属性】
技术研发人员：麻耘豪，董平成，
申请(专利权)人：深圳聚源视芯科技有限公司，
类型：发明
国别省市：