匹配代价计算方法和装置制造方法及图纸

本发明专利技术实施例提供一种匹配代价计算方法和装置，所述匹配代价计算方法包括：获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。

【技术实现步骤摘要】
匹配代价计算方法和装置
本申请涉及图像处理领域，尤其涉及一种匹配代价计算方法和装置。
技术介绍
立体匹配方法在诸如机器人、监控以及智能车辆等众多领域中有着广泛的应用。通过立体匹配方法得到的视差信息(或称之为，深度信息)可以用来估计图像捕捉设备和物体之间的相对距离。例如，以智能车辆为例，通过由立体匹配方法获得的视差信息，可以容易地检测路面、白线和栅栏，进而检测例如行人和车辆等目标并对目标进行分类，由此能够全面掌控车辆的整体行驶状况。立体匹配方法的基本原理是对通过图像捕捉设备(例如，立体相机)所拍摄的两个不同视角下(当双目相机时)或更多个不同视角下(当多目相机时)同一物体的图像进行比较，通过寻找对应像素来计算参考图像和目标图像的像素点之间的位置偏差，从而得到视差信息，并依据该视差信息来绘制视差图像。一般来说，基于普通针孔相机的立体匹配算法对于参考图像中的每个给定像素均采用固定的支持区域，同时，对于该给定像素在目标图像中的每个候选像素位置将同样采用固定的支持区域。而当立体相机由例如鱼眼相机等全景相机构成时，由于鱼眼相机的成像原理所致，立体相机所获得的图像会产生畸变，同一个目标在参考图像和目标图像中会呈现不同的形状。因此，现有技术中通过固定支持区域来进行立体匹配的方式将不再适用，容易导致产生错误的视差图像/深度图。
技术实现思路
为解决上述技术问题，根据本专利技术的一个方面，提供了一种匹配代价计算方法，包括：获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。根据本专利技术的另一个方面，提供了一种匹配代价计算装置，所述装置包括：投影单元，配置为获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；第一确定单元，配置为根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；第二确定单元，配置为根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；匹配代价计算单元，配置为根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。根据本专利技术的再一个方面，提供一种匹配代价计算装置，所述装置包括：处理器；和存储器，所述存储器中存储有计算机程序指令，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。根据本专利技术的上述匹配代价计算方法和装置，能够将构成立体相机的全景相机所采集到的参考立体图像和目标立体图像分别进行投影，根据预设的映射关系确定参考投影图像和目标投影图像中的相应像素点及其邻域，并由此计算两个像素点之间的匹配代价。本专利技术的方法利用预设的映射关系在传统匹配代价计算方法的基础上考虑了成像过程中的失真因素，能够得到更加精确的匹配结果和视差信息。附图说明通过结合附图对本专利技术的实施例进行详细描述，本专利技术的上述和其它目的、特征、优点将会变得更加清楚。图1示出利用现有技术中的匹配代价计算方法对全景图像进行匹配代价计算的示意图，其中图1(a)为参考投影图像的固定支持区域示意图，图1(b)为目标投影图像的每个候选像素的固定支持区域示意图；图2示出全景图像的参考投影图像和目标投影图像中同一个目标畸变的示意图，其中图2(a)示出来自图1(a)的参考投影图像中的魔方，图2(b)示出来自图1(b)的目标投影图像中的魔方；图3示出本专利技术实施例的匹配代价计算方法进行自适应支持区域选择的示意图，其中图3(a)为参考投影图像的自适应支持区域示意图，图3(b)为目标投影图像的自适应支持区域示意图；图4示出本专利技术实施例的匹配代价计算方法的流程图；图5示出本专利技术实施例的匹配代价计算方法中对立体图像进行球面矩形投影的示意图；图6示出本专利技术实施例的匹配代价计算方法中坐标转换的示意图；图7示出本专利技术实施例的匹配代价计算方法中立体图像的外切平面投影示意图；图8示出本专利技术实施例的匹配代价计算方法中在参考透视图像上选定相同大小的第一投影邻域后在参考投影图像上投影得到的第一邻域分布示意图；图9示出本专利技术实施例的匹配代价计算方法中匹配代价曲线的示意图；图10示出本专利技术一个实施例的匹配代价计算装置的结构示意图；图11示出本专利技术另一个实施例的匹配代价计算装置的结构示意图。具体实施方式下面将参照附图来描述根据本专利技术实施例的匹配代价计算方法和装置。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本专利技术的范围。现有技术中基于针孔相机的立体相机的立体匹配算法主要包括局部立体匹配方法(例如，块匹配方法)、全局立体匹配方法(例如，动态规划方法)和半全局立体匹配方法(例如，半全局匹配(SGM)方法)等，其通常都包含下面的四个步骤或其中的几步：匹配代价计算、支持求和、视差计算\优化和视差改进，其中匹配代价计算是这几个步骤中非常关键的步骤，其主要包括以下几个子步骤：(1)对于参考投影图像中每个给定像素，选择一个邻域作为支持区域；(2)对于给定像素在目标投影图像中的每个候选像素，选择一个邻域作为支持区域；(3)通过比较参考投影图像的支持区域与目标投影图像中每个候选支持区域来计算匹配代价。在上述传统的匹配代价计算方法中，参考投影图像的每个给定像素通常都会采用固定的支持区域。而与此同时，对于该给定像素在目标投影图像中的每个候选像素的位置，同样会采用固定的支持区域来进行计算。当上述立体相机由例如鱼眼相机等全景相机构成时，由于全景相机的成像原理所致，其获得的图像会产生畸变。在这种情况下，如果仍然采用上述方法来进行立体匹配中的匹配代价计算，则如图1所示，对于图1(a)中参考投影图像的每个给定像素均采用如图1(a)中的深色方框所示的固定的支持区域，而对于该给定像素在图1(b)中目标投影图像中的每个候选像素位置也同样采用如图1(b)中的浅色方框所示的固定支持区域。此时，由于图像畸变，参考投影图像和目标投影图像将不再存在位置上的一一对应关系，并且同一个目标在两个全景相机分别形成的参考投影图像和目标投影图像中也会呈现不同的大小和形状(例如图2(a)和图2(b)中所示的分别来自图1(a)的参考投影图像和图1(b)的目标投影图像中的魔方)。因此，上述固定的支持区域内所包含的像素将不一定会本文档来自技高网...

【技术保护点】
一种匹配代价计算方法，包括：获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。

【技术特征摘要】
1.一种匹配代价计算方法，包括：获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。2.如权利要求1所述的匹配代价计算方法，其中，所述匹配代价计算方法还包括：获取立体图像，将所述立体图像进行球面矩形投影，获取其投影图像；将所述立体图像进行外切平面投影，获取其透视图像；获取所述投影图像上的第一坐标系和所述透视图像上的第二坐标系之间的对应关系，作为所述映射关系。3.如权利要求2所述的匹配代价计算方法，其中，所述投影图像上的第一坐标系为经纬度坐标系，所述经纬度坐标系由所述立体图像通过球面矩形投影并经坐标变换得到。4.如权利要求2所述的匹配代价计算方法，其中，所述根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域包括：获取所述参考立体图像的外切平面投影，作为参考透视图像；根据所述映射关系确定所述参考投影图像上的第一像素点在其参考透视图像上的第一投影点，并选择所述参考透视图像上第一投影点周围具有预定形状的区域作为第一投影邻域；根据所述映射关系确定所述第一投影邻域在所述参考投影图像上的对应区域，作为第一像素点的第一邻域。5.如权利要求2所述的匹配代价计算方法，其中，所述根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域包括：根据所述第一像素点在所述目标投影图像上选择与其对应的第二像素点；获取所述目标立体图像的外切平面投影，作为目标透视图像；根据所述映射关系确定所述目标投影图像上的第二像素点在其目标透视图像上的第二投影点，并选择所述目标透视图像上第二投影点周围具有预定形状的区域作为第二投影邻域；根据所述映射关系确定所述第二投影邻域在所述目标投影图像上的对应区域，作为第二像素点的第二邻域。6.如权利要求1所述的匹配代价计算方法，其中，所述根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价包括：将所述第一邻域中包含的像素和所述第二邻域中包含的像素进行归一化以计算所述匹配...

【专利技术属性】
技术研发人员：刘振华，刘殿超，师忠超，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP