在环校准制造技术

本发明专利技术涉及在环（in?loop）校准，其中包括一种用于重复地校准视差估计处理的方法，所述视差估计处理生成与至少由右图像和左图像组成的3D图像有关的视差估计图，所述方法包括：在水平方向和垂直方向上估计3D图像的左至右图像视差图、在水平方向和垂直方向上估计所述3D图像的右至左图像视差图、基于所述视差图确定在所述左图像和所述右图像之间的未对准值、反馈在对下一3D图像的所述视差图的下一估计中考虑的所述未对准值、以及对所述下一3D图像重复所述方法以重复地校准所述视差估计处理。

【技术实现步骤摘要】
在环校准
本专利技术涉及用于重复地校准生成与至少由右图像和左图像组成的3D图像有关的视差估计图的视差估计处理的方法。本专利技术还涉及视差估计装置和计算机程序。
技术介绍
在立体视觉系统(也称3D系统)中，通过估计视差(B卩，由左图像和右图像组成的图像对中对应像素的位移)能够获得场景中对象的深度信息。称为视差处理的这个处理是立体图像处理的基本步骤。它要求必须在图像对的另一图像中搜索像素或特征。尽管有二十多年间全世界的研究的努力和成果，但是视差估计仍然是一个非常具有挑战性的题目。一个重要的事实是高计算复杂性，因为捕捉图像对的立体摄像机的左摄像机和右摄像机通常相对彼此不能完美地对齐，结果，不得不搜索整个图像以找出图像对中的对应像素。换言之，如果左摄像机和右摄像机完美地对齐，则能够在另一图像的同一行中搜索到该像素，使得搜索范围能够被限制在图像的一行或一条线内。为了缩小搜索范围，特别是在垂直方向上的搜索范围以降低计算复杂性，需要进行被称为立体校准的分开的预处理步骤。立体校准计算在左图像与右图像之间的相对朝向。基于该信息，通过摄像机的虚拟旋转和平移来几何地调整左图片与右图片。结果是对应的像素位于同一水平线上以“模拟”完美对齐的立体摄像机。这个处理称为矫正。通常立体校准和矫正一起简化视差估计，这是因为匹配搜索范围从二维(即水平方向和垂直方向)降低为一维(即，只有水平方向)。这个方法的示例在图3中示出。最普遍的立体校准方法是基于特征的。在这些方法中，一般使用例如哈里斯.科纳(Harris Corner)、SIFT或SURF的特征提取方法来提取特征点。然后，在立体图像对中匹配这些特征。之后，使用极线约束(epipolar constraint)来估计摄像机的摄像机参数和相对朝向。从例如US2011/0044531A1、US2011/0188736A1、US2010/0020178A1、US2011/0299761A1或W02011/093752A1中得知视差估计方法的示例。基于特征的方法的一个缺点是特征提取和特征匹配计算开销大。一方面，立体校准简化了视差估计，然而，另一方面，立体校准本身也很复杂。因而，存在对计算复杂性进一步优化的需求。本文中提供的“
技术介绍
”描述为了整体呈现本公开的背景的目的。在该
技术介绍
部分中描述的范围内的当前署名的专利技术人的工作以及在提交时不能另外归入现有技术的描述的各方面，既不被明示也不被暗示地承认是针对本专利技术的现有技术。
技术实现思路
目的是提供用于校准生成较不复杂的视差估计图的视差估计处理的方法。此外的目的是提供同样较不复杂的并且因此成本强度较低的视差估计装置。根据一方面，提供了用于重复地校准产生与至少由右图像和左图像组成的3D图像相关的视差估计图的视差估计处理的方法，该方法包括:在水平方向和垂直方向上估计3D图像的左至右图像视差图；在水平方向和垂直方向上估计3D图像的右至左图像视差图；基于视差图确定在左图像与右图像之间的未对准值；反馈在对下一 3D图像的视差图进行估计时考虑的未对准值；以及对下一 3D图像重复该方法以重复地校准视差估计处理。根据另一方面，提供的视差估计装置包括:视差估计单元，适用于生成至少由左图像和右图像组成的3D图像的左至右水平视差图和左至右垂直视差图以及右至左水平视差图和右至左垂直视差图；以及校准单元，接收由视差估计单元生成的视差图并且适用于基于视差图来确定表示在左图像和右图像之间的未对准的未对准值，并且将未对准值反馈给视差估计单兀。根据另一方面，提供了一种计算机程序，当在所述处理器上执行所述计算机程序时，该程序代码措施用于使处理器电路执行前述方法的步骤。在从属权利要求中限定了优选的实施例。应当理解的是，所要求的装置与所要求的计算机程序具有与所要求的方法和在从属权利要求中所定义的相似和/或相同的优选实施方式。本专利技术的一方面是使用在水平方向和垂直方向上完成的视差估计的结果来确定或计算在左图像和右图像之间的未对准值。未对准值表示捕捉到左图像和右图像的摄像机的相对摄像机朝向。在本申请的上下文中，未对准值可以表示垂直未对准和/或旋转未对准，并且因而能够包括多于一个的值，例如，η个值的矩阵。未对准值可被视为相对摄像机朝向模型。将该未对准值反馈给视差估计，使得重复地(迭代地)(意思是逐步地)执行立体校准。该重复的立体校准允许将垂直的搜索范围限制在与图像的垂直范围相比较小的值。即使垂直的和/或旋转的未对准大于垂直搜索范围，该未对准也在几个重复步骤之后被补\-ΖΧ ο由于摄像机的未对准不是快速变化的动态处理，所以该重复校准处理取得了非常稳定地结果。优点之一是不需要特征提取和特征匹配，这降低了立体校准的成本。其基于在对立体摄像机的未对准重复地补偿的反馈环中处理的视差估计，使得视差估计的搜索范围保持最小。应当理解的是，本专利技术的前述总体描述和以下详细描述两者均是示例性的而不限制本专利技术。【附图说明】将容易获得本公开的更完整的理解和其众多伴随的优点，这是因为它们将通过参考以下联系附图来考虑的【具体实施方式】而变得更好理解。图1示出了视差估计装置的示意性框图；图2示出了用于说明重复地校准视差估计图的方法的流程图；以及图3示出了现有技术方法的示意性框图。【具体实施方式】现在参照附图，其中，相同参考标号表明遍及几个附图的相同或对应的部分，图1示出了视差估计装置10的框图。通常，该视差估计装置被设置为基于左图像和右图图像来估计视差图，该视差图用于进一步的处理组件，例如用于内插图像。视差估计装置包括接收作为输入的左图像L和右图像R的视差估计单元12，该左图像L和右图像R形成3D图像对。如之前已经提到的，这样的3D图像对由包括通常不完美对齐(例如，在垂直方向上)的左摄像机和右摄像机的立体摄像机拍摄。视差估计单元12的输出被提供至例如生成内插图像的图像处理单元14。然而，图像处理单元不必是视差估计装置10的一部分。视差估计装置10进一步包括接收视差估计单元12的输出并且输出未对准值MV的校准单元16。该未对准值MV被提供回视差估计单元12和/或可选地设置的矫正单元18。矫正单元18接收作为输入的3D图图像对(左图像L、右图像R)并且提供作为输出的已矫正的3D图像对L’、R’。在已矫正的3D图图像对L’、R’中，至少部分地补偿了在两个图像之间的未对准。已矫正的3D图像对提供至视差估计单元12。可选地，如果没有设置矫正单元18，则视差估计单元接收“未矫正的” 3D图像对L、R。如图1中所示，校准单元16在视差估计单元12和矫正单元18的输出、或视差估计单元12之间形成反馈环。校准单元16至少包括一致性检验单元20、未对准确定单元22和控制单元24。这些单元20至24串联地耦接使得将一致性检验单元20的输出提供至未对准确定单元22，未对准确定单元22转而将其输出提供至控制单元24。控制单元24提供作为输出的未对准值MV，该未对准值MV取决于是否设置了矫正单元18而提供至矫正单元18或视差估计单兀12。视差估计单元12生成所谓的视差估计图，其中该视差估计图包括左/右图像的各个像素的视差矢量。该视差矢量表示在一个图像中的像素与图像对的另一个图像中的对应像素之间的位移。在本实施方式中，视差估计单元12本文档来自技高网...

【技术保护点】
一种用于重复地校准视差估计处理的方法，所述视差估计处理生成与至少由右图像和左图像组成的3D图像相关的视差估计图，所述方法包括：在水平方向和垂直方向上估计3D图像的左至右图像视差图；在水平方向和垂直方向上估计所述3D图像的右至左图像视差图；基于所述视差图确定在所述左图像和所述右图像之间的未对准值；反馈在对下一3D图像的所述视差图的下一估计中考虑的所述未对准值；以及对所述下一3D图像重复所述方法以重复地校准所述视差估计处理。

【技术特征摘要】
2012.08.09 EP 12179788.01.一种用于重复地校准视差估计处理的方法，所述视差估计处理生成与至少由右图像和左图像组成的3D图像相关的视差估计图，所述方法包括: 在水平方向和垂直方向上估计3D图像的左至右图像视差图； 在水平方向和垂直方向上估计所述3D图像的右至左图像视差图； 基于所述视差图确定在所述左图像和所述右图像之间的未对准值； 反馈在对下一 3D图像的所述视差图的下一估计中考虑的所述未对准值；以及 对所述下一 3D图像重复所述方法以重复地校准所述视差估计处理。2.根据权利要求1所述的方法，其中，所述未对准值包括表示所述左图像和所述右图像之间的垂直未对准的垂直位移值和/或表示所述左图像与所述右图像之间的旋转的旋转值。3.根据权利要求1或2所述的方法，其中，确定未对准值包括: 确定所述左至右图像视差图和所述右至左视差图之间的失配；以及 将未被确定为失配的所述视差图的矢量视为可靠的。4.根据权利要求3所述的方法，其中，确定失配包括: 将右至左视差图的视差矢量投射到所述左至右视差图中的对应左视图位置； 将所述右至左视差矢量和所对应的左至右视差矢量相比；以及将在所述右至左视差图和所述左至右视差图中具有相同的水平视差值和垂直视差值的视差矢量视为可靠的。5.根据权利要求1至4中的任一项所述的方法，其中，各个视差图包括垂直视差和水平视差。6.根据权利要求5所述的方法，其中，所述左至右视差图和所述右至左视差图均包括垂直视差图和水平视差图。7.根据权利要求3至6中的任一项所述的方法，其中，确定未对准值进一步包括评估可靠矢量以确定在所述左图像和所述右图像之间的整体未对准。8.根据权利要求7所述的方法，其中，所述评估包括生成所述视差图之一的所述可靠矢量的垂直值的平均值，所述平均值表示垂直未对准值。9.根据权利要求7或8所述的方法，其中，所述评估包括生成视差图之一的所述可靠矢量的梯度场以提取旋转未对准值。10.根据权...

【专利技术属性】
技术研发人员：黄超，亚尔金·因杰苏，皮尔乔治·萨托，奥利弗·埃德勒，福尔克尔·弗赖布格，
申请(专利权)人：索尼公司，
类型：发明
国别省市：