用于场景的景深图评估的方法和设备技术

确定场景的景深图的方法包括产生由飞行时间测量获取的场景的距离图，从两个不同视角采集场景的两个图像，以及考虑距离图而立体视觉处理两个图像。距离图的产生可以包括逐个区段的产生场景的距离直方图，以及立体视觉处理包括，对于景深图的对应于采集区段的每个区域，考虑对应的直方图而进行基础处理。

Method and equipment for depth evaluation of scene

The method of determining scene depth map includes generating the distance map of the scene obtained by time-of-flight measurement, collecting two images of the scene from two different perspectives, and processing two images by stereo vision considering the distance map. The generation of a range map may include a range histogram that generates scenes one by one section, and stereo vision processing includes basic processing taking into account the corresponding histogram for each region of the depth of field map corresponding to the acquisition section.

【技术实现步骤摘要】
用于场景的景深图评估的方法和设备相关申请的交叉引用本申请要求享有2017年2月27日提交的法国专利申请No.1751539的优先权，该申请在此通过全文引用的方式并入本文。
本公开是实施例涉及由组合的立体视觉和飞行时间测量来确定景深图。
技术介绍
景深图(depthmap)是在场景的各个物体的位置与接收者之间距离的数字表示，景深图的重现相当于承载了景深信息而非亮度信息的照片。存在用于采集或确定景深图的各种技术，例如，立体视觉和飞行时间测量。飞行时间测量包括将可识别的电磁波信号(通常是脉冲激光照明)发射至场景，并检测由场景的物体所反射的信号。在信号发射时刻与由场景的物体所反射的信号的接收时刻之间的时间差实现发射器-接收器与物体间隔的距离的计算。对于其部分，立体视觉是所谓的被动测量技术，并且实现根据从不同视角获取的场景的两个摄影图像而确定的场景的景深图。图1示出了由立体视觉确定景深的原理。例如借由包括光学元件的图像传感器，从不同的已知视角获得包括物体11的相同场景10的两个图像201、202。两个视角通常具有平行的光轴并且水平地对准，以对应于由所谓的基本偏差所分离的左侧图像201和右侧图像202。由基本偏差导致的视差意味着物体11在相应不同位置111、112处被投影至图像201、202中。投影111、112位于相同的表极线(epipolarline)12上，其对于位于具有垂直对准的接收表面和平行的光轴的相同平面中的视角是水平的。接收器与物体11之间的距离(也即物体11的景深)的确定因此包括对于图像201的每个点计算与位于相同表极线12上的图像202的点的相似性。两个图像201、202的相似点的位置之间的距离δd称作视差。两个投影111、112之间的差距(disparity)δd的值实现对对应物体11的景深的外推，特别地考虑了基本偏差以及采集装置的光学和工艺特性。用于识别投影之间的相似性以及从差距外推景深的技术通常包括欠抽样(undersampled)初始化计算、采用初始化和精炼处理的少抽样计算，以便于由所谓的降低粒度方法获得一致性。这些技术特别地更详细描述在科技论文中：HIRSCHMULLER,Heiko,Stereoprocessingbysemiglobalmatchingandmutualinformation,IEEETransactionsonpatternanalysisandmachineintelligence,2008,第30卷,no2,第328-341页。在立体视觉处理的通常形式中采用的计算因此要求大量计算资源，导致长的执行时间以及有时导致错误。融合飞行时间测量和立体视觉技术可以使其能够限制并精炼立体视觉处理的通常形式。例如，能够均使用飞行时间测量和立体视觉图像产生景深图的后验评估值，或者采用由使用一个或多个飞行时间(ToF)传感器的飞行时间测量获得的景深信息而初始化立体视觉处理，例如，替代欠抽样处理。此外，也能够考虑由飞行时间测得的景深变化而计算每个视差值。该类型的技术组合特别地更详细描述在科技论文中：VineetGandhi,JanCech,RaduHoraud.High-ResolutionDepthMapsBasedonTOF-StereoFusion,ICRA2012-IEEEInternationalConferenceonRoboticsandAutomation,May2012,Saint-Paul,Minnesota,UnitedStates.IEEE,pp.4742-4749,2012。应记住，飞行时间传感器实现通过测量信号发射与在该信号已经由物体反射之后信号的接收之间的时间差而测量物体和传感器之间的距离。立体视觉与飞行时间测量技术的当前组合需要极其优良的相互校正以及立体视觉图像与飞行时间测量之间的像素对像素匹配。换言之，例如需要使用最少25千像素的高分辨率的飞行时间传感器来实现该景深图确定改进。现在，高分辨率飞行时间传感器在能量和计算资源方面是笨重和贪婪的，这通常是不合需要的。它们也是高成本的。最终，这些不便利显著地不兼容日益广泛使用的紧凑型和电池供电的自动板载技术。然而仍然存在与自动板载技术需求兼容的较低分辨率的飞行时间传感器。此外，它们比高分辨率竞争者成本较低。该类型的飞行时间传感器是非常紧凑的、自动的以及能量节约的(特别地待机时消耗少于20μW以及工作时少于35mW)。该类型传感器测量距离图，其中逐个采集区段地获得景深，例如根据场景等效图像的5*3区域或15*9区域的矩阵。对于每个采集区段，以直方图的形式产生存在于场景的对应部分中的物体的景深的分布。因此，与高分辨率飞行时间传感器技术相比，由该类型传感器获得的信息较不精确但是可以集成至自动或板载(on-board)系统的处理子系统。存在如下需求：以简单和高效方式借助于与自动或板载技术兼容的传感器获得的该飞行时间测量而改进立体视觉处理。
技术实现思路
本专利技术的实施例利用上述类型的距离图，包括逐个采集区段地采集的距离的直方图，以优化在自动或板载系统中的立体视觉采集所获得的景深图的确定。根据一个方面，一种确定场景的景深图的方法包括产生由飞行时间测量获得的场景的距离图。从两个不同视角采集场景的两个图像，并且两个图像的立体视觉处理考虑了距离图。根据该方面的一个总体特征，距离图的产生包括对于场景的每个采集区段产生距离直方图，以及立体视觉处理包括，对于景深图的对应于采集区段的每个区域，基础处理考虑了对应的直方图。涉及景深图的区域与采集区段之间的匹配意味着：例如，区域与区段包括场景的相同部分的距离信息。实际上，可以取决于各种采集和测量的条件(诸如视角的位置和光学条件)建立几何关系。根据该方面的方法因此实现以与自动或板载技术兼容的方式获取场景的改进空间理解。该空间理解可以例如应用于摄影闪光的自适应管理和/或非常高效的自动对焦的情形中，与此同时优化了场景的景深图的确定。立体视觉处理可以包括根据两个图像之间的差距外推场景的距离。例如，基础处理限制了外推的计算(例如减小了外推的计算量和计算时间)和/或增强了外推结果的可靠性(例如实现误差的避免)和/或将额外的景深信息添加至景深图中场景距离的外推。特别地，为了在自动或板载技术中实施，景深图的分辨率可以比由飞行时间测得的距离图的分辨率大至少一千倍，距离图的分辨率可以由等于采集区段数目的飞行时间而测得。同样例如，由飞行时间测量获得的场景的距离图可以包括十至一千个采集区段。有利地，由飞行时间可测量的相应最大距离和/或最小距离分别大于和/或小于立体视觉范围最高限值和/或立体视觉最低限值。立体视觉范围最高限值对应于在立体视觉处理中可以外推的最大距离，以及立体范围最低限值对应于在立体视觉处理中可以外推的最小距离。这些立体视觉范围最高和最低限值特别地取决于在场景的两个图像的视角位置之间的基本偏差。根据一个实施例，基础处理包括：如果需要的话，则识别景深图的至少一个区域、称作范围外(out-of-range)区域，其对应的直方图并不包括分别小于立体视觉范围最高限值和/或大于立体视觉范围最低限值的任何距离，随后并未在至少一个范围外区域中进行外推。该实施例使其能够通过避免使用在之前被检测作为范围外的本文档来自技高网...

【技术保护点】
1.一种用于确定场景的景深图的方法，所述方法包括：产生由飞行时间测量获得的所述场景的距离图，产生所述距离图包括针对所述场景的每个采集区段产生对应的距离直方图；从两个不同视角采集所述场景的两个图像；以及在考虑所述距离图的情形下执行所述两个图像的立体视觉处理，所述立体视觉处理包括：针对所述景深图的对应于采集区段的每个区域，在考虑所述对应的距离直方图的情形下，执行基础处理。

【技术特征摘要】
2017.02.27 FR 17515391.一种用于确定场景的景深图的方法，所述方法包括：产生由飞行时间测量获得的所述场景的距离图，产生所述距离图包括针对所述场景的每个采集区段产生对应的距离直方图；从两个不同视角采集所述场景的两个图像；以及在考虑所述距离图的情形下执行所述两个图像的立体视觉处理，所述立体视觉处理包括：针对所述景深图的对应于采集区段的每个区域，在考虑所述对应的距离直方图的情形下，执行基础处理。2.根据权利要求1所述的方法，其中，所述景深图具有比由飞行时间测得的所述距离图的分辨率大至少一千倍的分辨率，由飞行时间测得的所述距离图的分辨率等于所述采集区段的数目。3.根据权利要求1所述的方法，其中，所述由飞行时间测量获得的所述场景的距离图包括从十至一千个采集区段。4.一种用于确定场景的景深图的方法，所述方法包括：产生由飞行时间测量所获得的所述场景的距离图，产生所述距离图包括针对所述场景的每个采集区段产生对应的距离直方图；从两个不同的视角采集所述场景的两个图像；以及在考虑所述距离图的情形下，执行所述两个图像的立体视觉处理，所述立体视觉处理包括：针对所述景深图的对应于采集区段的每个区域，在考虑所述对应的距离直方图的情形下，执行基础处理，其中所述立体视觉处理包括从所述两个图像之间的差距外推所述场景的距离。5.根据权利要求4所述的方法，其中，所述基础处理限制所述外推的计算次数和/或改进所述外推的结果的可靠性和/或将额外的景深信息添加至所述景深图中所述场景的距离的外推。6.根据权利要求4所述的方法，其中，由飞行时间可测量的相应最大距离和/或最小距离分别大于和/或小于立体视觉范围最高限值和/或立体视觉范围最低限值。7.根据权利要求6所述的方法，其中，所述基础处理包括识别所述景深图的被称作范围外区域的区域，其对应的距离直方图并不包括分别小于所述立体视觉范围最高限值和/或大于所述立体视觉范围最低限值的任何距离，在所述范围外区域中并未进行所述外推。8.根据权利要求7所述的方法，其中，所述基础处理包括将默认景深指派给所述范围外区域，所述默认景深是从所述对应的距离直方图的距离获得的。9.根据权利要求4所述的方法，其中，所述基础处理包括将恒定景深分别指派给所述景深图的被称作平面区域的区域，其对应的距离直方图包括距离的单个群组，其半高宽度小于阈值宽度，所述恒定景深等于与所述单个群组的距离，并且在所述平面区域中并未进行所述外推。10.根据权利要求4所述的方法，其中，所述基础处理包括从所述对应的直方图的距离的极限值逐个区域地产生差距值的范围，以及其中从对应范围中所包括的差距值逐个区域地进行所述场景的距离的外推。11.根据权利要求10所述的方法，其中，根据对应于所述飞行时间测量的精确度的步进，获取在对应范围中包括的差距值。12.根据权利要求4所述的方法，其中，所述基础处理包括逐个区域地确定由所述外推获得的距离的分布，以及将逐个采集区段的所述距离的直方图的轮廓与逐个区域的距离的分布的轮廓进行比较，所述比较产生一...

【专利技术属性】
技术研发人员：M·阿利拜，O·波蒂埃，V·马塞拉，A·贝隆，A·布尔热，
申请(专利权)人：意法半导体有限公司，
类型：发明
国别省市：法国,FR