提供了一种用于对至少两个图像例如立体图像对进行立体匹配的系统和方法，该系统和方法采用了全局优化函数，例如信任传播算法或函数，该函数利用动态编程作为预处理步骤。本公开的系统和方法包括从一场景获取第一图像和第二图像（４０２），估计第一图像中的至少一个点与第二图像中的至少一个对应点的差异（４０４，４０６），并且利用信任传播函数例如全局优化算法或函数来最小化所估计的差异（４１０），其中利用被应用到第一和第二图像的确定性匹配函数例如动态编程的结果来初始化信任传播函数（４０８），以加速信任传播函数。该系统和方法还根据所估计的差异生成差异图，并且将差异图转换成深度图。
【技术实现步骤摘要】
【国外来华专利技术】
本公开大体上涉及计算机图形处理和显示系统，更具体而言涉及用于至少两个图像的立体匹配(stereo matching)的系统和方法，该系统和方法采用了一种全局优化函数，该函数利用了动态编程作为预处理步骤。
技术介绍
立体成像是这样一个过程在视觉上组合从略微不同的视点拍摄的一场景的至少两个图像，以产生三维深度的错觉。此技术依赖于这样一个事实，即，人眼之间间隔有某一距离，因此不会观看到完全相同的场景。通过向每只眼睛提供来自不同视角的图像，使观看者的眼睛误以为感觉到深度。通常，当提供两个不同的视角时，成分图像被称为“左”图像和“右”图像，分别也称为基准图像和补充图像。然而，本领域的技术人员将会认识到，可以组合多于两个视点来形成立体图像。 在3D后期制作、视觉效应(VFX)工作流和三维(3D)显示应用中，一个重要的过程是从由左眼视像和右眼视像构成的立体图像推断出深度图。例如，最近面市的自动立体3D显示器要求图像加深度图的输入格式，以便显示器能够生成不同的3D视图来支持多个视角。 从立体图像对推断出深度图的过程在计算机视觉研究领域中被称为立体匹配，因为像素或区块匹配被用于找出左眼视像和右眼视像中的对应点。根据图像中的与场景中的同一点相对应的两个像素之间的相对距离来推断出深度值。 数字图像的立体匹配被广泛用于许多计算机视觉应用中(例如，用于计算机辅助绘图(CAD)的快速对象建模和原型制作、用于人机交互(HCI)的对象分割和检测、视频压缩、以及视觉监控)，以提供3D深度信息。立体匹配从定位在场景中的不同位置和方向处的两个或更多个相机获得场景的图像。这些数字图像是大致同时从每个相机获得的，并且与空间中的3D点相对应的每个图像中的点被匹配。一般地，通过搜索图像的一部分并且利用约束(例如外极约束)将一个图像中的一点与另一图像中的一点关联起来，从而来匹配来自不同图像的点。 关于立体匹配已经有大量在先工作。立体匹配算法可被分类成两个类别1)在局部优化的情况下匹配，以及2)在全局优化的情况下匹配。局部优化算法只考虑像素强度差别，而忽略深度值的空间平滑性。因此，深度值在平坦区域中经常是不精确的，并且诸如空洞之类的不连续伪影经常可见。全局优化算法基于像素强度差别和深度图的空间平滑性两者来找出最优深度图；从而，全局优化算法大大改善了精确性以及所得到的深度图的视觉外观。 全局优化的主要局限在于计算速度低。在全局优化方法这一类中，动态编程与诸如信任传播和图切割之类的更精细算法相比是相对迅速的方法，因为只实施水平平滑。然而，动态编程经常导致所得到的深度图中的垂直不连续，从而产生扫描线伪影(参见图5B，其中扫描线伪影被圈了起来)。信任传播是更先进的优化技术，其在水平和垂直方向上都实施平滑，但是它消耗的计算力比动态编程方法多得多。 因此，需要用于使不连续伪影达到最低限度的快速且高效的全局优化立体匹配方法的技术。
技术实现思路
提供了一种用于对至少两个图像(例如，立体图像对)进行立体匹配的系统和方法，该系统和方法采用了全局优化函数，例如信任传播算法或函数，该函数利用动态编程作为预处理步骤。本公开的系统和方法包括从一场景获取第一图像和第二图像，估计第一图像中的至少一个点与第二图像中的至少一个对应点的差异(disparity)，并且利用信任传播函数(例如，全局优化算法或函数)来最小化所估计的差异，其中，利用被应用到第一和第二图像的确定性匹配函数的结果来初始化信任传播函数，以加速信任传播函数。该系统和方法还根据第一图像中的至少一个点中的每一个与第二图像中的至少一个对应点的估计差异生成差异图，并且通过对差异图的差异值取倒数来将差异图转换成深度图。深度图或差异图随后可结合立体图像对用于3D重放。 根据本公开的一个方面，提供了一种对至少两个图像进行立体匹配的方法，包括从一场景获取第一图像和第二图像，估计第一图像中的至少一个点与第二图像中的至少一个对应点的差异，并且利用信任传播函数来最小化所估计的差异，其中信任传播函数是利用被应用到第一图像和第二图像的确定性匹配函数的结果来初始化的。第一图像和第二图像包括一立体对的左眼视图和右眼视图。 在一个方面中，确定性匹配函数是动态编程函数。 在另一方面中，最小化步骤还包括将确定性结果转换为将被信任传播函数使用的消息函数。 在另一方面中，该方法还包括根据第一图像中的至少一个点中的每一个与第二图像中的至少一个对应点的所估计差异来生成差异图。 在另一方面中，该方法还包括通过对差异图的至少一个点中的每一个的所估计差异取倒数来将差异图转换成深度图。 在另一方面中，估计差异的步骤包括计算像素匹配成本函数和平滑成本函数。 在另一方面中，该方法还包括调整第一图像和第二图像中的至少一个以将第一图像和第二图像中每一个的外极线与第一图像和第二图像的水平扫描线对齐。 根据本公开的另一方面，提供了一种用于对至少两个图像进行立体匹配的系统。该系统包括用于从一场景获取第一图像和第二图像的装置；差异估计器，被配置用于估计第一图像中的至少一个点与第二图像中的至少一个对应点的差异，并且利用信任传播函数来最小化所估计的差异，其中，信任传播函数是利用被应用到第一图像和第二图像的确定性匹配函数的结果来初始化的。 根据本专利技术的另一方面，提供了一种能够由机器读取的程序存储设备，其有形地包含着能够由该机器运行来执行用于对至少两个图像进行立体匹配的方法步骤的程序指令，该方法包括从一场景获取第一图像和第二图像，估计第一图像中的至少一个点与第二图像中的至少一个对应点的差异，并且利用信任传播函数来最小化所估计的差异，其中，信任传播函数是利用被应用到第一图像和第二图像的确定性匹配函数的结果来初始化的。 附图说明 在以下应当结合附图来理解的对优选实施例的详细描述中将会描述本公开的这些和其他方面、特征和优点，或者从这些详细描述中将会清楚本公开的这些和其他方面、特征和优点。 在其中相似的标号始终表示类似的元件的附图中 图1是根据本公开一个方面的用于对至少两个图像进行立体匹配的系统的示例性图示； 图2是根据本公开一个方面的用于对至少两个图像进行立体匹配的示例性方法的流程图； 图3示出了为场景中的关注点拍摄的两个图像之间的外极几何； 图4是根据本公开一个方面用于估计至少两个图像的差异的示例性方法的流程图；并且 图5示出了根据本公开的方法处理的结果图像，其中图5A示出了左眼视图输入图像和右眼视图输入图像，图5B是通过传统动态编程处理的结果深度图，图5C是通过本公开的信任传播方法处理的结果深度，并且图5D示出了利用平凡初始化的传统信任传播方法与包括通过动态编程来初始化的信任传播的本公开方法之间的比较。 应当理解，附图仅用于例示本公开思想的目的，而并不一定是用于例示本公开的唯一可能配置。 具体实施例方式 应当理解，图中所示的元件可以以硬件、软件或其组合的各种形式实现。优选地，这些元件是以硬件和软件的组合的形式在一个或多个适当编程的通用设备上实现的，这些通用设备可包括处理器、存储器和输入/输出接口。 本说明书例示了本公开的原理。因此将会明白，本领域的技术人员将能够设计出各种布置，这些布置虽然在这里没有明确描述或示出，但却体现了本公开的原理并且本文档来自技高网...
【技术保护点】
一种对至少两个图像进行立体匹配的方法，该方法包括： 从一场景获取第一图像和第二图像（４０２）； 估计所述第一图像中的至少一个点与所述第二图像中的至少一个对应点的差异（４０４，４０６）；以及 利用信任传播函数来最小化所估计的差异（４１０），其中，所述信任传播函数是利用被应用到所述第一图像和第二图像的确定性匹配函数的结果来初始化的（４０８）。
【技术特征摘要】
【国外来华专利技术】
【专利技术属性】
技术研发人员：张东清，伊泽特伊泽特，安纳拜伦本尼特兹，
申请(专利权)人：汤姆逊许可证公司，
类型：发明
国别省市：FR[法国]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。