一种用于对视差估计图像进行处理的装置制造方法及图纸

本发明专利技术实施例提供了用于对视差估计图像进行处理的装置，包括校验模块循环接收第一像素点和第二像素点；循环将最先接收的第一像素点作为目标像素点，基于第二像素点进行左右一致性校验，根据校验结果标记目标像素点；将标记后的目标像素点输出至空洞填补模块；空洞填补模块根据被标记为稳定像素点的目标像素点，对被标记为空洞像素点的目标像素点进行填补；后将目标像素点输出至融合模块；亚像素求精模块按预设的亚像素求精算法，对第一像素点进行亚像素求精处理，并作为目标像素点输出至融合模块；融合模块融合从空洞填补模块接收的目标像素点，与从亚像素求精模块接收的目标像素点。以提高对视差估计值图像中像素点的处理效率。

A Device for Processing Parallax Estimated Images

【技术实现步骤摘要】
一种用于对视差估计图像进行处理的装置
本专利技术涉及图像处理
，特别是涉及一种用于对视差估计图像进行处理的装置。
技术介绍
立体匹配(StereoMatching)是：将作为立体匹配对的两个图像进行匹配的过程，即估计其中一图像(例如：左视图)中每一像素点，在另一图像(例如右视图)中的对应的立体匹配(StereoMatching)关系。其中，上述作为立体匹配对的两个图像可以为：处于不同视点的图像采集设备针对同一场景所采集的两个图像，上述处于不同视点的图像采集设备可以为双目摄像机。在对作为立体匹配对的两个图像进行立体匹配的过程中，可以先基于每一个图像在不同预设视差等级下的代价值，以及优化线扫描算法，计算得到该图像中每一像素点对应的在不同预设视差等级下的代价聚合值；将每一像素点对应的最小的代价聚合值，作为该像素点对应的视差估计值，进而得到每一图像对应的视差估计图像，即获得一对视差估计图像，分别为第一视差估计图像和第二视差估计图像，且视差估计图像中的每一像素点对应一预设视差等级。后续的，需要对上述所获得的一对视差估计图像中的视差估计值进行视差估计值优化，以获得最终的视差值。现有技术中进行视差估计值优化，获得最终的视差值的基本过程，包括：选择第一视差估计图像中的一个待处理的像素点，基于第二视差估计图像中的像素点，对该待处理的像素点进行左右一致性校验，以确定该待处理的像素点是否为未满足左右一致性校验的空洞像素点；当确定该待处理的像素点为空洞像素点时，获取第一视差估计图像中该待处理的像素点对应的预设区域内的像素点，并根据所获取的预设区域内的像素点，对该待处理的像素点进行填补，获得填补后的像素点；对该待处理的像素点进行亚像素求精，获得亚像素求精后的像素点；融合该填补后的像素点和亚像素求精后的像素点，获得融合后的像素点；另外，当确定该待处理的像素点不为空洞像素点时，即为稳定像素点时，不对该待处理的像素点进行填补；直接融合该待处理的像素点和亚像素求精后的像素点，获得融合后的像素点，以得到该待处理的像素点对应的最终的视差值。其中，上述针对像素点的处理，均为针对该像素点的像素值的处理。后续的，当得到该待处理的像素点的最终的视差值后，再选择第一视差估计图像中的上述待处理的像素点的下一个像素点，作为新的待处理的像素点，进行后续处理，得到该新的待处理的像素点的最终的视差值。另外的，为了获得更好的待处理的像素点对应的最终的视差值，在获得该待处理的像素点对应的融合后的像素点后，可以对融合后的像素点进行滤波处理，以得到更好的最终的视差值。现有技术中是一个像素点一个像素点的串行处理，也就是在一个像素点完全处理完后再对下一个像素点进行处理，以获得所有像素点的最终的视差值，串行处理过程消耗时间较长，效率不高。
技术实现思路
本专利技术实施例的目的在于提供一种用于对视差估计图像进行处理的装置，以实现提高对整个视差估计值图像中像素点的处理效率。具体技术方案如下：一方面，本专利技术实施例提供了一种用于对视差估计图像进行处理的装置，包括：校验模块、空洞填补模块、亚像素求精模块和融合模块；所述的校验模块，用于以先入先出方式循环接收第一视差估计图像的第一像素点，并同时接收第二视差估计图像的第二像素点；当接收的第一像素点数量达到第一预设值时，将当前接收到的第一像素点中最先接收的第一像素点作为目标像素点，基于当前接收的第二像素点进行左右一致性校验，根据校验结果将目标像素点标记为稳定像素点或空洞像素点；将标记后的目标像素点输出至所述空洞填补模块；所述的空洞填补模块，用于以先入先出方式接收所述目标像素点；当接收到第二预设值个目标像素点时，根据接收到的目标像素点中被标记为稳定像素点的目标像素点，对接收到的目标像素点中被标记为空洞像素点的目标像素点进行填补；按先入先出方式将各个目标像素点输出至融合模块；所述的亚像素求精模块，用于接收第一视差估计图像的第一像素点，按预设的亚像素求精算法，对每个第一像素点进行亚像素求精处理后，将处理后的第一像素点作为目标像素点逐一输出至融合模块；所述的融合模块，用于将从空洞填补模块接收的目标像素点，与从亚像素求精模块接收的目标像素点进行融合处理，将处理后的目标像素点逐一输出。可选地，所述的校验模块，包含：第一缓存器、第二缓存器和校验单元；所述第一缓存器，用于以先入先出方式循环接收第一视差估计图像的第一像素点；所述第二缓存器，用于循环接收第二视差估计图像的第二像素点；所述校验单元，用于当确定所述第一缓存器缓存的第一像素点数量达到第一预设值时，将所述第一缓存器中最先进入的第一像素点作为目标像素点；基于当前所述第二缓存器中的第二像素点进行左右一致性校验，根据校验结果将目标像素点标记为稳定像素点或空洞像素点；将标记后的目标像素点以及标记信息输出至所述空洞填补模块。可选地，所述的空洞填补模块，包含：第三缓存器和填补单元；所述第三缓存器包含预设数量个寄存器，用于以先入先出方式接收所述目标像素点以及目标像素点对应的标记信息；当所述第三缓存器的第二预设值个寄存器存储有目标像素点时，将当前第三缓存器中存储的各个目标像素点以及各个目标像素点对应的标记信息输出给填补单元；所述填补单元，用于根据第三缓存器中被标记为稳定像素点的目标像素点，对第三缓存器中被标记为空洞像素点的目标像素点进行填补；按先入先出方式将各个目标像素点输出至融合模块；其中，所述第二预设值等于：二分之一倍的所述预设数量与一的和。可选地，所述亚像素求精模块，包含：第四缓存器和计算单元；所述第四缓存器，用于接收第一视差估计图像的第一像素点；所述计算单元，用于按预设的亚像素求精算法，对所述第四缓存器中的每个第一像素点进行亚像素求精处理后，将处理后的第一像素点作为目标像素点逐一输出至融合模块。可选地，所述融合模块，包含：第五缓存器、第六缓存器和融合单元；所述第五缓存器，用于接收空洞填补模块输出的目标像素点；所述第六缓存器，用于接收亚像素求精模块输出的目标像素点；所述融合单元，用于将所述第五缓存器中的目标像素点与所述第六缓存器中相对应的目标像素点进行融合处理，将处理后的目标像素点逐一输出。可选地，所述校验单元，包含：计数子单元、第一读取子单元、延迟子单元和校验子单元；所述计数子单元，用于对所述第一读取子单元所读取的目标像素点的个数，进行计数，并在每次计数值达到预设的行像素点总数时，重新计数；所述第一读取子单元，用于当确定所述第一缓存器缓存的第一像素点数量达到第一预设值时，以先进先出方式从第一缓存器中读取最先进入的第一像素点，作为目标像素点，获得所述目标像素点的视差值，输入所述延迟子单元；并基于所获得的目标像素点的视差值、预先接收的所述第一视差估计图像中最小的视差值以及所述计数子模块的当前计数值，确定读取地址；基于所确定的读取地址，读取所述第二缓存器，并确定读取结果，将所确定的读取结果输入所述校验子单元；所述延迟子单元，用于获得所述目标像素点的视差值，并等待；直到当所述读取子模块读取所述第二缓存器，并确定读取结果后，将该目标像素点的视差值输入所述校验子单元；所述校验子单元，用于获得所述第一读取子单元输出的读取结果和所述延迟子单元输出的目标像素点的视差值，当所述读取结果包含与所述目标像素点相应的第二像素本文档来自技高网...

【技术保护点】
1.一种用于对视差估计图像进行处理的装置，其特征在于，包括：校验模块、空洞填补模块、亚像素求精模块和融合模块；所述的校验模块，用于以先入先出方式循环接收第一视差估计图像的第一像素点，并同时接收第二视差估计图像的第二像素点；当接收的第一像素点数量达到第一预设值时，将当前接收到的第一像素点中最先接收的第一像素点作为目标像素点，基于当前接收的第二像素点进行左右一致性校验，根据校验结果将目标像素点标记为稳定像素点或空洞像素点；将标记后的目标像素点输出至所述空洞填补模块；所述的空洞填补模块，用于以先入先出方式接收所述目标像素点；当接收到第二预设值个目标像素点时，根据接收到的目标像素点中被标记为稳定像素点的目标像素点，对接收到的目标像素点中被标记为空洞像素点的目标像素点进行填补；按先入先出方式将各个目标像素点输出至融合模块；所述的亚像素求精模块，用于接收第一视差估计图像的第一像素点，按预设的亚像素求精算法，对每个第一像素点进行亚像素求精处理后，将处理后的第一像素点作为目标像素点逐一输出至融合模块；所述的融合模块，用于将从空洞填补模块接收的目标像素点，与从亚像素求精模块接收的目标像素点进行融合处理，将处理后的目标像素点逐一输出。...

【技术特征摘要】
1.一种用于对视差估计图像进行处理的装置，其特征在于，包括：校验模块、空洞填补模块、亚像素求精模块和融合模块；所述的校验模块，用于以先入先出方式循环接收第一视差估计图像的第一像素点，并同时接收第二视差估计图像的第二像素点；当接收的第一像素点数量达到第一预设值时，将当前接收到的第一像素点中最先接收的第一像素点作为目标像素点，基于当前接收的第二像素点进行左右一致性校验，根据校验结果将目标像素点标记为稳定像素点或空洞像素点；将标记后的目标像素点输出至所述空洞填补模块；所述的空洞填补模块，用于以先入先出方式接收所述目标像素点；当接收到第二预设值个目标像素点时，根据接收到的目标像素点中被标记为稳定像素点的目标像素点，对接收到的目标像素点中被标记为空洞像素点的目标像素点进行填补；按先入先出方式将各个目标像素点输出至融合模块；所述的亚像素求精模块，用于接收第一视差估计图像的第一像素点，按预设的亚像素求精算法，对每个第一像素点进行亚像素求精处理后，将处理后的第一像素点作为目标像素点逐一输出至融合模块；所述的融合模块，用于将从空洞填补模块接收的目标像素点，与从亚像素求精模块接收的目标像素点进行融合处理，将处理后的目标像素点逐一输出。2.根据权利要求1所述的装置，其特征在于，所述的校验模块，包含：第一缓存器、第二缓存器和校验单元；所述第一缓存器，用于以先入先出方式循环接收第一视差估计图像的第一像素点；所述第二缓存器，用于循环接收第二视差估计图像的第二像素点；所述校验单元，用于当确定所述第一缓存器缓存的第一像素点数量达到第一预设值时，将所述第一缓存器中最先进入的第一像素点作为目标像素点；基于当前所述第二缓存器中的第二像素点进行左右一致性校验，根据校验结果将目标像素点标记为稳定像素点或空洞像素点；将标记后的目标像素点以及标记信息输出至所述空洞填补模块。3.根据权利要求1所述的装置，其特征在于，所述的空洞填补模块，包含：第三缓存器和填补单元；所述第三缓存器包含预设数量个寄存器，用于以先入先出方式接收所述目标像素点以及目标像素点对应的标记信息；当所述第三缓存器的第二预设值个寄存器存储有目标像素点时，将当前第三缓存器中存储的各个目标像素点以及各个目标像素点对应的标记信息输出给填补单元；所述填补单元，用于根据第三缓存器中被标记为稳定像素点的目标像素点，对第三缓存器中被标记为空洞像素点的目标像素点进行填补；按先入先出方式将各个目标像素点输出至融合模块；其中，所述第二预设值等于：二分之一倍的所述预设数量与一的和。4.根据权利要求1所述的装置，其特征在于，所述亚像素求精模块，包含：第四缓存器和计算单元；所述第四缓存器，用于接收第一视差估计图像的第一像素点；所述计算单元，用于按预设的亚像素求精算法，对所述第四缓存器中的每个第一像素点进行亚像素求精处理后，将处理后的第一像素点作为目标像素点逐一输出至融合模块。5.根据权利要求1所述的装置，其特征在于，所述融合模块，包含：第五缓存器、第六缓存器和融合单元；所述第五缓存器，用于接收空洞填补模块输出的目标像素点；所述第六缓存器，用于接收亚像素求精模块输出的目标像素点；所述融合单元，用于将所述第五缓存器中的目标像素点与所述第六缓存器中相对应的目标像素点进行融合处理，将处理后的目标像素点逐一输出。6.根据权利要求2所述的装置，其特征在于，所述校验单元，包含：计数子单元、第一读取子单元、延迟子单元和校验子单元；所述计数子单元，用于对所述第一读取子单元所读取的目标像素点的个数，进行计数，并在每次计数值达到预设的行像素点总数时，重新计数；所述第一读取子单元，用于当确定所述第一缓存器缓存的第一像素点数量达到第一预设值时，以先进先出方式从第一缓存器中读取最先进入的第一像素点，作为目标像素点，获得所述目标像素点的视差值，输入所述延迟子单元；并基于所获得的目标像素点的视差值、预先接收的所述第一视差估计图像中最小的视差值以及所述计数子模块的当前计数值，确定读取地址；基于所确定的读取地址，读取所述第二缓存器，并确定读取结果，将所确定的读取结果输入所述校验子单元；所述延迟子单元，用于获得所述目标像素点的视差值，并等待；直到当所述读取子模块读取所述第二缓存器，并确定读取结果后，将该目标像素点的视差值输入所述校验子单元；所述校验子单元，用于获得所述第一读取子单元输出的读取结果和所述延迟子单元输出的目标像素点的视差值，当所述读取结果包含与所述目标像素点相应的第二像素点的视差值时，基于所述目标像素点的视差值、所述相应的第二像素点的视差值以及预设的视差门限，确定所述目标像素点是否为空洞像素点，以获得校验结果；当确定所述读取结果未包含视差值时，确定所述目标像素点为空洞像素点，以获得校验结果，根据校验结果将目标像素点标记为稳定像素点或空洞像素点；将标记后的目标像素点以及标记信息输出至所述空洞填补模块。7.根据权利要求3所述的装置，其特征在于，所述的填补单元，包含：行像素点处理子单元、第七缓存器、列像素点处理子单元、填补判决子单元和填补子单元；所述行像素点处理子单元，用于获得所述第三缓存器所存储的目标像素点的视差值以及标记信息，并基于所获得的目标像素点的视差值以及每一目标像素点对应的标记信息，确定每一目标像素点对应的水平支持区域内被标记为稳定像素点的目标像素点的个数，作为第一个数；确定每一目标像素点对应的水平支持区域内所对应视差值数量最多的视差值的个数，作为第二个数；以及确定每一目标像素点对应的水平支持区域内所对应视差值数量最多的视差值，作为第一初选视差值；将每一目标像素点的视差值、标记信息以及所确定的每一目标像素点对应的第一个数、第二个数和第一初选视差值输入第七缓存器；第七缓存器，包含所述预设数量个行缓存器，用于接收行像素点处理子单元输出的每一目标像素点的视差值、标记信息以及每一目标像素点对应的第一个数、第二个数和第一初选视差值；当所述第七缓存器的第二预设值个行缓存器缓存目标像素点的视差值、标记信息以及目标像素点对应的第一个数、第二个数和第一初选视差值时，将当前所述第七缓存器中该第二预设值个行缓存器中所存储的目标像素点的视差值、标记信息以及该目标像素点对应的第一个数、第二个数和第一初选视差值，当前所述第七缓存器中所存储的与该第二预设值个行缓存器所存储的目标像素点同列的每一目标像素点的视差值、标记信息以及对应的第一个数、第二个数和第一初选视差值，输入所述列像素点处理子单元；所述列像素点处理子单元，用于获得所述第七缓存器所输出的每一目标像素点的视差值、标记信息以及每一目标像素点对应的第一个数、第二个数和第一初选视差值；基于所获得的每一目标像素点的视差值、标记信息以及每一目标像素点对应的第一个数、第二个数和第一初选视差值，确定每一目标像素点对应的垂直支持区域内被标记为稳定像素点的目标像素点的个数，作为第三个数；确定每一目标像素点对应的垂直支持区域内所对应视差值数量最多的视差值的个数，作为第四个数；基于每一目标像素点对应的第一个数和第三个数，确定每一目标像素点对应的支持区域内被标记为稳定像素点的目标像素点的总数，作为第一总数；并基于每一目标像素点对应的第二个数和第四个数，确定每一目标像素点对应的支持区域内所对应视差值数量最多的视差值的总数，作为第二总数，并确定每一目标像素点对应的支持区域内所对应视差值数量最多的视差值，作为待填补视差值，将每一目标像素点对应的第一总数以及第二总数输入所述填补判决子单元；并将每一目标像素点的视差值、标记信息以及每一目标像素点对应的待填补视差值输入填补子单元；所述填补判决子单元，用于获得列像素点处理子单元输出的每一目标像素点对应的第一总数以及第二总数，基于所获得的每一目标像素点对应的第一总数以及第二总数，判决每一目标像素点是否满足进行填补的填补条件，获得每一目标像素点对应的填补判决结果，将每一目标像素点对应的填补判决结果输入填补子单元；所述填补子单元，包含用于获得列像素点处理子单元输出的每一目标像素点的视差值、标记信息以及每一目标像素点对应的待填补视差值，并获得所述填补判决子模块输出的每一目标像素点对应的填补判决结果；基于每一目标像素点对应的填补判决结果以及标记信息，确定是否填补每一目标像素点，当确定填补时，将目标像素点的视差值，替换为该目标像素点对应的待填补视差值，并输出该待填补视差值；当确定不填补时，保留该目标像素点的视差值，并输出该视差值。8.根据权利要求7所述的装置，其特征在于，所述行像素点处理子单元，包含第一比较器阵列、水平支持窗口像素点确定子模块、第一加法树子模块、第二比较器阵列、第一移位寄存器、第二移位寄存器和第八缓存器；所述第三缓存器，还用于获得每一目标像素点，在预设的第一时长后，以先进先出的原则，将每一目标像素点输入第八缓存器；第一比较器阵列，用于获得第三缓存器所存储的目标像素点的视差值以及标记信息，对所获得每一目标像素点的视差值进行两两比较，确定每一目标像素点对应的比较结果，并将每一目标像素点对应的比较结果，输入水平支持窗口像素点确定子模块；其中，每一目标像素点对应的比较结果包含：该目标像素点相应于其他目标像素点中每一目标像素点的比较结果；当目标像素点的视差值与其他目标像素点的视差值相同时，该目标像素点相应于该其他目标像素点的比较结果包含第一预设标记，当目标像素点的视差值与其他目标像素点的视差值不同时，该目标像素点相应于该其他目标像素点的比较结果包含第二预设标记；水平支持窗口像素点确定子模块，用于接收第一比较器阵列输入的每一目标像素点对应的比较结果以及标记信息，并获得每一目标像素点对应的水平支持区域的水平支持区域信号；基于所接收的水平支持区域信号，对每一目标像素点对应的比较结果进行调整，其中，当目标像素点对应的水平支持区域信号为第一水平支持信号时，保持该目标像素点的比较结果中，相对于该水平支持区域对应的目标像素点的比较结果不变，当目标像素点对应的水平支持窗口信号为第二水平支持信号时，将该目标像素点的比较结果中，相对于该水平支持区域对应的目标像素点的比较结果设置为第二预设标记；将每一目标像素点对应的处理后的比较结果以及标记信息，输入第一加法树子模块；第一加法树子模块，用于获得每一目标像素点对应的处理后的比较结果以及标记信息，对每一目标像素点对应的处理后的比较结果中的第一预设标记进行计数，确定每一目标像素点对应的第一计数值，并基于每一目标像素点对应的标记信息，确定每一目标像素点对应的水平支持区域内被标记为稳定像素点的目标像素点的个数，作为第一个数，将每一目标像素点对应的第一计数值以及标记信息输入第二比较器阵列；并将每一目标像素点对应的第一个数输入第一移位寄存器；第二比较器阵列，用于获得每一目标像素点对应的第一计数值以及标记信息，对所获得的第一计数值进行比较，确定每一目标像素点对应的数值最大的第一计数值，将每一目标像素点对应的数值最大的第一计数值加一所得结果，作为水平支持区域对应的目标像素点对应的第二个数；并基于每一目标像素点对应的最大的第一计数值，确定每一目标像素点对应的第一寄存器地址；将所确定的每一目标像素点对应的第一寄存器地址以及每一目标像素点对应的第二个数输入第八缓存器，以得到每一目标像素点对应的寄存器地址对应的位置的视差值，作为每一目标像素点对应的第一初选视差值；同时，第一移位寄存器将每一目标像素点对应的第一个数输入第二移位寄存器；第八缓存器，包含所述预设数量个寄存器；用于将每一目标像素点的视差值、标记信息以及每一目标像素点对应的第二个数和第一初选视差值输入所述第七缓存器，并且，所述第二移位寄存器将每一目标像素点对应的第一个数输入所述第七缓存器。9.根据权利要求7所述的装置，其特征在于，所述列像素点处理子单元，包含第三比较器阵列、垂直支持窗口像素点确定子模块、第二加法树子模块、第四比较器阵列、第九缓存器；所述第七缓存器，还用于获得每一目标像素点的视差值、标记信息以及每一目标像素点对应的第一个数、第二个数和第一初选视差值；在预设的第二时长后，以先进先出方式将所获得的目标像素点的视差值输入第九缓存器；所述第三比较器阵列，用于获得所述第七缓存器所输出的每一目标像素点的视差值、标记信息以及每一目标像素点对应的第一个数、第二个数和第一初选视差值；对所获得每一目标像素点的视差值进行两两比较，确定每一目标像素点对应的比较结果，并将每一目标像素点对应的比较结果、每一目标像素点对应的标记信息、第一个数、第二个数和第一初选视差值输入垂直支持窗口像素点确定子模块；其中，每一目标像素点对应的比较结果包含：该目标像素点相应于其他目标像素点中每一目标像素点的比较结果；当目标像素点的视差值与其他目标像素点的视差值相同时，该目标像素点相应于该其他目标像素点的比较结果包含第一预设标记，当目标像素点的视差值与其他目标像素点的视差值不同时，该目标像素点相应于该其他目标像素点的比较结果包含第二预设标记；垂直支持窗口像素点确定子模块，用于获得第三比较器阵列输入的每一目标像素点对应的比较结果、每一目标像素点对应的标记信息、第一个数、第二个数和第一初选视差值，并获得每一目标像素点对应的垂直支持区域的垂直支持区域信号；基于所接收的垂直支持区域信号，对每一目标像素点对应的比较结果进行调整，其中，当目标像素点对应的垂直支持区域信号为第一垂直支持信号时，保持该目标像素点的比较结果中，相对于该垂直支持区域对应的目标像素点的比较结果不变，当目标像素点对应的垂直支持窗口信号为第二垂直支持信号时，将该目标像素点的比较结果中，相对于垂直支持区域目标像素点的比较结果设置为第二预设标记；将每一目标像素...

【专利技术属性】
技术研发人员：李萍萍，钱学锋，柳睿，戴鑫，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33