一种从图像中恢复三维几何信息的方法技术

本发明专利技术涉及一种从图像中恢复三维几何信息的方法。所述方法包括：获取大量场景图像及其对应的深度图作为训练库；划分所述图像为图像块，利用统计学习方法描述其对应于不同深度的概率并得到不同的参数值；对用于场景重建的图像对建立包含图像块层、像素层以及连接像素和对应图像块的边的图结构；利用统计学习所获的参数定义上述图结构的能量项；将所述能量项作为约束加入到传统立体匹配的描述像素和像素之间视差关系的图中；求解出两幅图像之间的视差图。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，具体涉及一种从图像中恢复三维几 何信息的方法。
技术介绍
立体匹配一直是计算机视觉和摄影测量学中的重要问题。两幅图 像在很接近的视角上分别记录了真实世界的场景，双目线索就是指物 体投影在两个成像平面的不同位置，位置的差异随着物体深度的变化 而相应变化。在过去的数十年里，大量的立体视觉系统被提出，使得 该领域的研究出现了长足的进步。但是，由于问题本身的病态性，依 旧没能得到完全的解决。在现有的立体匹配方法中，基于图的方法是当中最流行的技术。 它能得到和观察数据吻合的平滑视差图。比较典型的做法是利用图割法(graph c ut s )来优化由数据项和平滑项构成的能量函数，其中数据 项用来度量两幅图像对应像素之间的颜色一致性，平滑项则是为了保 证视差图整体的平滑，在相邻的像素点被赋予不一样的视差时给予适 当的惩罚。当然，为了能够处理遮挡问题，可以在颜色一致性约東和 平滑约束之外，加入匹配的唯一性约束。另外，也有工作利用主图像 上的颜色分块，将能量函数同时定义在像素层和颜色块层上。这样， 像素层可以很好地度量颜色一致性以及进行遮挡检测，颜色块层上则 可以更为合理地定义平滑约束。另一方面，单幅图像中丰富的紋理、色彩、焦距和雾化等信息也 可以提供重要的深度推断线索。有了足够丰富的先验知识，从单幅图 像中获取场景的整体三维结构是可以实现的，但这是 一个很难的问 题。很多的单目线索不仅依赖于先验知识，还依赖于整体的上下文信息，因此不仅难以用启发式的约東，也很难从图像的局部出发来进行 推测。要让机器视觉的能力接近这个目标，我们需要大量的训练数据， 以及一个恰当的概率模型来描述。相对于立体视觉，该领域的研究工 作要少得多。不过随着机器学习理论的发展，已经有很好的工作相继出现。比如斯坦福大学Saxena等人的使用监督学习方法利用多尺度 的马尔科夫随机场(MRF)模型建立图像特征与深度信息之间、相邻位 置以及不同尺度下深度值之间的关系的方法，还有卡耐基梅隆大学 Hoiem等人的方法，利用图像所能提供的诸多有用线索材质、位置、 紋理梯度，阴影，消失点等来逐步地构建该图像的结构知识从像素 到超像素再到超像素簇，最后得到每个超像素的几何分类标记。双目线索是基于物体投影在两幅图像中的位置差异，是场景几何 的直接反应而与图像本身的具体内容无关。单目线索则相反，依赖于 先验知识以及图像本身局部和整体的内容和结构。可以说这两种线索 对于几何信息推断有着良好的互补性。
技术实现思路
本专利技术的目的是提供一种从图像当中恢复三维几何信息的方法， 通过将主图像中的单目线索加入到传统的立体视觉系统中来提供额 外的深度推断约束，将基于机器学习从单幅图像推测三维信息的方法 和基于两幅图像的立体匹配方法整合到同一框架中，达到恢复三维几 何信息的目的。为了达到以上专利技术目的，本专利技术提供了 ，所述方法包括以下步骤Sl:获取大量场景图像及其对应的深度图作为训练库；S2:划分所述图像为图像块，利用统计学习方法以下式描述其对应于不同深度的概率并得到不同的参数值<formula>formula see original document page 6</formula>其中，^是图像块/的四连通邻域，M是深度图中深度值的总数 目，X,是图像块Z的特征向量，包括图像块及其邻域在三个不同尺度 上滤波器返回值的绝对值和以及平方和，A^是归一化常数，& A为参数，^,4,4为图像第r行的参数；S3:对用于场景重建的图像对建立包含图像块层、像素层以及连 接像素和对应图像块的边的图结构；S4:利用S2中统计学习获得的参数定义上述图结构的能量项；S5:将所述能量项作为约東加入到传统立体匹配的描述像素和 像素之间视差关系的图中；S6:求解出两幅图像之间的视差图。其中，所述步骤S1包括Sl-l:获取场景的三维点云以及对应的彩色图片； Sl-2:转化所述三维点云为深度图； Sl-3:采集若干组彩色图片及深度图。其中，所述步骤S4包括定义图结构中图像块层的能量项、定 义图结构中像素层的能量项、定义连接图像块层与像素层的边的不一 致项以及定义全局的能量项。其中，利用下式定义图像块层的能量项其中，^AM^,为Sl中得到的参数，B为基线长度，/为焦距， 《是图像块/的视差值，械是左图像中图像块的总数目，M (/)是 图像块/的四邻域。其中，利用下式定义像素层的能量项，给出两幅图像间对应像素 点的颜色不一致性以及在相邻像素点在被赋予不一样的视差值时所 给予的惩罚<formula>formula see original document page 8</formula>其中，M2是左图像中像素的总数目，7V2(p)是像素p的四邻域,《和《分别为像素P和《的视差，^为非负常数；其中，利用下式定义所述连接像素和对应图像块的边上的不一致 项，使得视差标记在图像块层与像素层之间传播，所述不一致项定义仏<formula>formula see original document page 8</formula>其中，4w为像素层的能量项，M2是左图像中像素的总数目，VV2 (p)的四邻域，《和《分别为像素p和《的视差，^为非负常数。其中，利用下式定义全局的能量函数其中，K。w为全局能量项，^。^为图像块层的能量项，五—w为像素层的能量项，J^一。^为不一致项，W以及W2分别为两个权值。利用本专利技术所提供的技术方案，可以有效约束立体图像对的匹 配，大量减少匹配过程中的二义性错误，比如弱紋理区域的匹配误差， 克服了由于成像过程中的大量信息丢失，所造成的基于单幅图像的重 建结果准确度严重偏低，只能给出场景的粗略描述的缺陷。附图说明图l为本专利技术从图像中恢复三维几何信息的方法的流程图。图2为本专利技术中将单目线索和立体线索统一到一起的图的结构。 图中1、图像块层；2、像素层；3、连接两层的边。具体实施方式以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。 本专利技术的技术方案简单描述为首先，获取训练数据。用激光扫 描仪以及标定好的相机来同时获取场景的图片及其对应深度图；然后 对训练库中的每一幅图像抽取特征，用联合拉普拉斯马尔科夫随机场 模型来描述图像特征对应于不同深度的概率以及相邻位置深度值之 间的关系，模型参数通过对训练库的学习来获得。接着建立一个双层 的图结构来结合高分辨率的双目线索和低分辨率的单目线索；利用上 一步训练得到的参数来定义图像块层的能量项，并把它作为约東加入到传统的立体匹配描述像素和像素之间视差关系的图当中；最后用graph-cuts优化求解出两幅图像之间的视差图。如图1所示，本专利技术所提供的从图像中恢复三维几何信息的方法包括获取大量场景图像及其对应的深度图作为训练库；划分所述图像为图像块，利用统计学习方法描述其对应于不同深度的概率并得到不同的参数值；对用于场景重建的图像对建立包含图像块层、像素层 以及连接像素和对应图像块的边的图结构；利用统计学习所获的参数 定义上述图结构的能量项；将所述能量项作为约東加入到传统立体匹 配的描述像素和像素之间视差关系的图中；求解出两幅图像之间的视差图。该实施例釆本文档来自技高网...

【技术保护点】
一种从图像中恢复三维几何信息的方法，其特征在于，所述方法包括以下步骤：　Ｓ１：获取场景图像及其对应的深度图作为训练库；　Ｓ２：划分所述图像为图像块，利用统计学习方法以下式描述其对应于不同深度的概率并得到不同的参数值：　Ｐ↓［Ｌ］（ｚ｜Ｘ；θ，λ）＝１／Ｎ↓［Ｌ］ｅｘｐ（－＊｜ｚ↓［ｉ］－ｘ↓［ｉ］↑［Ｔ］θ↓［ｒ］｜／λ↓［１ｒ］－＊＊｜ｚ↓［ｉ］－ｚ↓［ｊ］｜／λ↓［２ｒ］）　其中，Ｎ↓［ｉ］是图像块ｉ的四连通邻域，Ｍ是深度图中深度值的总数目，ｘ↓［ｉ］是图像块ｉ的特征向量，包括图像块及其邻域在三个不同尺度上滤波器返回值的绝对值和以及平方和，Ｎ↓［Ｌ］是归一化常数，θ、λ为参数，θ↓［ｒ］，λ↓［１ｒ］，λ↓［２ｒ］为图像第ｒ行的参数；　Ｓ３：对用于场景重建的图像对，建立包含图像块层、像素层以及连接像素和对应图像块的边的图结构；　Ｓ４：利用步骤Ｓ２中统计学习获得的参数定义上述图结构的能量项；　Ｓ５：将所述能量项作为约束加入到传统立体匹配的描述像素和像素之间视差关系的图中；　Ｓ６：求解出两幅图像之间的视差图。

【技术特征摘要】

【专利技术属性】
技术研发人员：马祥音，李仁举，查红彬，英向华，
申请(专利权)人：北京大学，
类型：发明
国别省市：11[中国|北京]