本申请提供了一种立体匹配方法、装置和设备，应用于机器视觉领域，该方法包括：通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像，根据基准图像中的任意一个第一像素和待匹配图像中相对应的第二像素构成的像素对，确定初始视差图；基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图；然后通过初始质量图修复初始视差图，确定目标视差图；本申请在目标视差图确定的过程中，利用图像的信息质量，反映出图像全局的质量，通过初始质量图进行修复，减少修复的计算量，从而提高立体匹配的精度和实时性。的精度和实时性。的精度和实时性。
【技术实现步骤摘要】
一种立体匹配方法、装置和设备
[0001]本申请涉及机器视觉领域，尤其涉及一种立体匹配方法、装置和设备。
技术介绍
[0002]随着科技的不断发展，需要智能设备（例如，移动机器人、无人机）通过双目立体视觉在复杂环境的三维场景中确定物体的三维信息，其中，双目立体视觉中的关键性技术为立体视觉匹配（Stereo Matching，又称立体匹配）。
[0003]相关技术中，立体匹配的过程中包括获取目标物体的视差图，通常通过对包含目标物体的不同角度的图像中的像素进行处理，得到相应的视差图，该视差图为立体校正后不同角度的图像中所有像素的视差的二维图像。另外，根据获取视差图的过程中视差计算涉及的图像像素数量，可将立体匹配划分为全局立体匹配、半全局立体匹配和局部立体匹配。
[0004]其中，全局立体匹配因计算量和存储需求大，对智能设备的硬件要求较高，且速度较慢，实时性差，半全局立体匹配和局部立体匹配在匹配过程中，只考虑到部分像素，因此虽然对智能设备的硬件要求降低，但获取视差图的准确度较低，相应的匹配的准确率低，因此，亟需一种在精度和实时性满足智能设备应用的立体匹配方法。
技术实现思路
[0005]本申请提供了一种立体匹配方法、装置和设备，可用于提高智能设备中立体匹配的精度和实时性。
[0006]本申请的实施例是这样实现的：本申请实施例的第一方面提供一种立体匹配方法，包括如下步骤：通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像，其中，双目图像对包括从不同的角度获得的包含待测物的两幅图像；基于基准图像中的任意一个第一像素和待匹配图像中的第二像素构成的像素对，确定初始视差图，第二像素与第一像素相对应；基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，信息质量至少用于表征对应图像中待测物的纹理特征；基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图；通过初始质量图修复初始视差图，确定目标视差图。
[0007]在一种可能的实现方式中，基于基准图像中的任意一个第一像素和待匹配图像中的第二像素构成的像素对，确定初始视差图，包括：基于基准图像中的各第一像素对应的第一预设搜索窗口内的第一灰度值、待匹配图像中各第二像素对应的第二预设搜索窗口内的第二灰度值，确定与参考视差对应的匹配代价，其中，参考视差为待测物上的目标点在第一像素和第二像素的视差，目标点与第一像
素相对应，第一预设搜索窗口的尺寸与第二预设搜索窗口的尺寸相同；将各第一像素变换到HSV（Hue(色调)、Saturation(饱和度)和Value(亮度)）颜色空间，确定各第一像素在预设引导窗口中相对权重，相对权重为基于第一像素和预设引导窗口中的备选像素确定；基于匹配代价和相对权重，确定参考视差对应的聚合代价；基于预设最大视差参数，从聚合代价中筛选极值，将极值对应参考视差作为初始视差，并由各初始视差构成初始视差图。
[0008]在一种可能的实现方式中，基于以下公式，确定与参考视差对应的匹配代价：
[0009]式中，为匹配代价，为参考视差，为第一预设搜索窗口、第二预设搜索窗口的尺寸，为基准图像中的第一像素，为确定第一像素对应的第一预设搜索窗口内的第一灰度值的函数，为待匹配图像中的第二像素，为确定第二像素对应的第二预设搜索窗口内的第二灰度值的函数。
[0010]在一种可能的实现方式中，从聚合代价中筛选极值，将极值对应参考视差作为初始视差，包括：若聚合代价是通过匹配代价和相对权重确定的加分值，确定聚合代价中的最大值为初始视差；或者，若聚合代价是通过匹配代价、相对权重和常量确定的扣分值，确定聚合代价中的最小值为初始视差。
[0011]在一种可能的实现方式中，在确定初始质量图中各质量值的质量立方体之前，还包括：确定基准图像的信息质量，基准图像的信息质量按照下式计算获得：
[0012]式中，为基准图像的信息质量，为第一预设搜索窗口的尺寸，为预设衰减因子，为基准图像中的第一像素，为确定第一像素对应的第一预设搜索窗口内的第一灰度值的函数；
[0013]确定待匹配图像的信息质量,待匹配图像的信息质量按照下式计算获得：
[0014]式中，为待匹配图像的信息质量，为第二预设搜索窗口的尺寸，为预设衰减因子，为待匹配图像中的第二像素，为确定第二像素对应的第二预设搜索窗口内的第二灰度值的函数。
[0015]在一种可能的实现方式中，基于基准图像的信息质量和待匹配图像的信息质量，
确定初始质量图中各质量值的质量立方体，包括：基于基准图像的信息质量和待匹配图像的信息质量，确定匹配代价的信息质量；通过匹配代价的信息质量对应的全部可能值构造空间立方体，确定质量立方体。
[0016]在一种可能的实现方式中，通过初始质量图修复初始视差图，确定目标视差图，包括：将初始质量图进行二值化，确定二值化质量图，二值化质量图包括零值区域和非零值区域；确定零值区域的外接矩形；通过外接矩形的边框对应的像素对零值区域对应的初始视差图进行修复，确定目标视差图。
[0017]在一种可能的实现方式中，将初始质量图进行二值化，确定二值化质量图，还包括：将初始质量图降采样，确定降采样后的备选质量图；将备选质量图进行二值化，确定二值化质量图。
[0018]本申请实施例的第二方面提供一种立体匹配装置，包括：图像获取模块，用于通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像，其中，双目图像对包括从不同的角度获得的包含待测物的两幅图像；视差计算模块，用于基于基准图像中的任意一个第一像素和待匹配图像中的第二像素构成的像素对，确定初始视差图，第二像素与第一像素相对应；质量处理模块，用于基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，信息质量至少用于表征对应图像中待测物的纹理特征；质量处理模块，还用于基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图；视差优化模块，用于通过初始质量图修复初始视差图，确定目标视差图。
[0019]本申请实施例的第三方面提供一种智能设备，包括双目相机、存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面的立体匹配方法。
[0020]本申请实施例的第四方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行第一方面的立体匹配方法的步骤。
[0021]本申请提供了一种立体匹配方法、装置和设备，先通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像，根据基准图像中的任意一个第一像素和待匹配图像中相对应的第二像素构成的像素对，可确定初始视差图；以及基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图；然后通过初始质量图修复初始视差本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种立体匹配方法，其特征在于，包括：通过对待测物的双目图像对进行预处理，确定所述双目图像对对应的基准图像和待匹配图像，其中，所述双目图像对包括从不同的角度获得的包含所述待测物的两幅图像；基于所述基准图像中的任意一个第一像素和所述待匹配图像中的第二像素构成的像素对，确定初始视差图，所述第二像素与所述第一像素相对应；基于所述基准图像的信息质量和所述待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，所述信息质量至少用于表征对应图像中所述待测物的纹理特征；基于所述初始视差图对应的初始视差和所述质量立方体，构造包含所述各质量值的所述初始质量图；通过所述初始质量图修复所述初始视差图，确定目标视差图。2.根据权利要求1所述的立体匹配方法，其特征在于，所述基于所述基准图像中的任意一个第一像素和所述待匹配图像中的第二像素构成的像素对，确定初始视差图，包括：基于所述基准图像中的各所述第一像素对应的第一预设搜索窗口内的第一灰度值、所述待匹配图像中各所述第二像素对应的第二预设搜索窗口内的第二灰度值，确定与参考视差对应的匹配代价，其中，所述参考视差为基于所述待测物上的目标点在第一像素和第二像素确定，所述目标点与所述第一像素相对应，所述第一预设搜索窗口的尺寸与所述第二预设搜索窗口的尺寸相同；将各所述第一像素变换到HSV颜色空间，确定各所述第一像素在预设引导窗口中相对权重，所述相对权重为基于所述第一像素和所述预设引导窗口中的备选像素确定；基于所述匹配代价和所述相对权重，确定所述参考视差对应的聚合代价；基于预设最大视差参数，从所述聚合代价中筛选极值，将所述极值对应参考视差作为初始视差，并由各初始视差构成所述初始视差图。3.根据权利要求2所述的立体匹配方法，其特征在于，基于以下公式，确定与参考视差对应的匹配代价：；式中，为匹配代价，为参考视差，为第一预设搜索窗口、第二预设搜索窗口的尺寸，为基准图像中的第一像素，为确定第一像素对应的第一预设搜索窗口内的第一灰度值的函数，为待匹配图像中的第二像素，为确定第二像素对应的第二预设搜索窗口内的第二灰度值的函数。4.根据权利要求2所述的立体匹配方法，其特征在于，所述从所述聚合代价中筛选极值，将所述极值对应参考视差作为初始视差，包括：若所述聚合代价是通过所述匹配代价和所述相对权重确定的加分值，确定所述聚合代价中的最大值为初始视差；或者，若所述聚合代价是通过所述匹配代价、所述相对权重和常量确定的扣分值，确定所述聚合代价中的最小值为初始视差。
5.根据权利要求1所述的立体匹配方法，其特征在于，在确定初始质量图中各质量值的质量立方体之前，还包括：确定所述基准图像的信息质量，所述基准图像的信息质量按照下式计算获得：；式中，为基准图像的信息质量...
【专利技术属性】
技术研发人员：刘斯宁，何丽兵，赵昌华，
申请(专利权)人：杭州爱芯元智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。