电子装置和电子设备制造方法及图纸

本公开涉及电子装置和电子设备。电子装置包括：飞行时间传感器，被配置用于产生场景的距离图，所述飞行时间传感器被配置用于逐个采集区段地产生所述场景的距离直方图；立体视觉图像采集装置，被配置用于在两个不同视角处采集所述场景的两个图像；以及立体视觉处理器，被配置用于在考虑所述距离图的情形下进行所述两个图像的立体视觉处理，所述立体视觉处理器包括基础处理器，所述基础处理器被配置用于针对对应于采集区段的景深图的每个区域，在考虑所述对应直方图的情形下进行基础处理。

Electronic devices and electronic equipment

【技术实现步骤摘要】
电子装置和电子设备
本公开是实施例涉及由组合的立体视觉和飞行时间测量来确定景深图。
技术介绍
景深图(depthmap)是在场景的各个物体的位置与接收者之间距离的数字表示，景深图的重现相当于承载了景深信息而非亮度信息的照片。存在用于采集或确定景深图的各种技术，例如，立体视觉和飞行时间测量。飞行时间测量包括将可识别的电磁波信号(通常是脉冲激光照明)发射至场景，并检测由场景的物体所反射的信号。在信号发射时刻与由场景的物体所反射的信号的接收时刻之间的时间差实现发射器-接收器与物体间隔的距离的计算。对于其部分，立体视觉是所谓的被动测量技术，并且实现根据从不同视角获取的场景的两个摄影图像而确定的场景的景深图。图1示出了由立体视觉确定景深的原理。例如借由包括光学元件的图像传感器，从不同的已知视角获得包括物体11的相同场景10的两个图像201、202。两个视角通常具有平行的光轴并且水平地对准，以对应于由所谓的基本偏差所分离的左侧图像201和右侧图像202。由基本偏差导致的视差意味着物体11在相应不同位置111、112处被投影至图像201、202中。投影111、112位于相同的表极线(epipolarline)12上，其对于位于具有垂直对准的接收表面和平行的光轴的相同平面中的视角是水平的。接收器与物体11之间的距离(也即物体11的景深)的确定因此包括对于图像201的每个点计算与位于相同表极线12上的图像202的点的相似性。两个图像201、202的相似点的位置之间的距离δd称作视差。两个投影111、112之间的差距(disparity)δd的值实现对对应物体11的景深的外推，特别地考虑了基本偏差以及采集装置的光学和工艺特性。用于识别投影之间的相似性以及从差距外推景深的技术通常包括欠抽样(undersampled)初始化计算、采用初始化和精炼处理的少抽样计算，以便于由所谓的降低粒度方法获得一致性。这些技术特别地更详细描述在科技论文中：HIRSCHMULLER,Heiko,Stereoprocessingbysemiglobalmatchingandmutualinformation,IEEETransactionsonpatternanalysisandmachineintelligence,2008,第30卷,no2,第328-341页。在立体视觉处理的通常形式中采用的计算因此要求大量计算资源，导致长的执行时间以及有时导致错误。融合飞行时间测量和立体视觉技术可以使其能够限制并精炼立体视觉处理的通常形式。例如，能够均使用飞行时间测量和立体视觉图像产生景深图的后验评估值，或者采用由使用一个或多个飞行时间(ToF)传感器的飞行时间测量获得的景深信息而初始化立体视觉处理，例如，替代欠抽样处理。此外，也能够考虑由飞行时间测得的景深变化而计算每个视差值。该类型的技术组合特别地更详细描述在科技论文中：VineetGandhi,JanCech,RaduHoraud.High-ResolutionDepthMapsBasedonTOF-StereoFusion,ICRA2012-IEEEInternationalConferenceonRoboticsandAutomation,May2012,Saint-Paul,Minnesota,UnitedStates.IEEE,pp.4742-4749,2012。应记住，飞行时间传感器实现通过测量信号发射与在该信号已经由物体反射之后信号的接收之间的时间差而测量物体和传感器之间的距离。立体视觉与飞行时间测量技术的当前组合需要极其优良的相互校正以及立体视觉图像与飞行时间测量之间的像素对像素匹配。换言之，例如需要使用最少25千像素的高分辨率的飞行时间传感器来实现该景深图确定改进。现在，高分辨率飞行时间传感器在能量和计算资源方面是笨重和贪婪的，这通常是不合需要的。它们也是高成本的。最终，这些不便利显著地不兼容日益广泛使用的紧凑型和电池供电的自动板载技术。然而仍然存在与自动板载技术需求兼容的较低分辨率的飞行时间传感器。此外，它们比高分辨率竞争者成本较低。该类型的飞行时间传感器是非常紧凑的、自动的以及能量节约的(特别地待机时消耗少于20μW以及工作时少于35mW)。该类型传感器测量距离图，其中逐个采集区段地获得景深，例如根据场景等效图像的5*3区域或15*9区域的矩阵。对于每个采集区段，以直方图的形式产生存在于场景的对应部分中的物体的景深的分布。因此，与高分辨率飞行时间传感器技术相比，由该类型传感器获得的信息较不精确但是可以集成至自动或板载(on-board)系统的处理子系统。存在如下需求：以简单和高效方式借助于与自动或板载技术兼容的传感器获得的该飞行时间测量而改进立体视觉处理。
技术实现思路
鉴于上述问题，本专利技术的实施例利用上述类型的距离图，包括逐个采集区段地采集的距离的直方图，以优化在自动或板载系统中的立体视觉采集所获得的景深图的确定。根据一个方面，本公开涉及电子装置和电子设备。电子装置包括：飞行时间传感器，被配置用于产生场景的距离图，所述飞行时间传感器被配置用于逐个采集区段地产生所述场景的距离直方图；立体视觉图像采集装置，被配置用于在两个不同视角处采集所述场景的两个图像；以及立体视觉处理器，被配置用于在考虑所述距离图的情形下进行所述两个图像的立体视觉处理，所述立体视觉处理器包括基础处理器，所述基础处理器被配置用于针对对应于采集区段的景深图的每个区域，在考虑所述对应直方图的情形下进行基础处理。涉及景深图的区域与采集区段之间的匹配意味着：例如，区域与区段包括场景的相同部分的距离信息。实际上，可以取决于各种采集和测量的条件(诸如视角的位置和光学条件)建立几何关系。根据该方面的方法因此实现以与自动或板载技术兼容的方式获取场景的改进空间理解。该空间理解可以例如应用于摄影闪光的自适应管理和/或非常高效的自动对焦的情形中，与此同时优化了场景的景深图的确定。立体视觉处理可以包括根据两个图像之间的差距外推场景的距离。例如，基础处理限制了外推的计算(例如减小了外推的计算量和计算时间)和/或增强了外推结果的可靠性(例如实现误差的避免)和/或将额外的景深信息添加至景深图中场景距离的外推。特别地，为了在自动或板载技术中实施，景深图的分辨率可以比由飞行时间测得的距离图的分辨率大至少一千倍，距离图的分辨率可以由等于采集区段数目的飞行时间而测得。同样例如，由飞行时间测量获得的场景的距离图可以包括十至一千个采集区段。有利地，由飞行时间可测量的相应最大距离和/或最小距离分别大于和/或小于立体视觉范围最高限值和/或立体视觉最低限值。立体视觉范围最高限值对应于在立体视觉处理中可以外推的最大距离，以及立体范围最低限值对应于在立体视觉处理中可以外推的最小距离。这些立体视觉范围最高和最低限值特别地取决于在场景的两个图像的视角位置之间的基本偏差。根据一个实施例，基础处理包括：如果需要的话，则识别景深图的至少一个区域、称作范围外(out-of-range)区域，其对应的直方图并不包括分别小于立体视觉范围最高限值和/或大于立体视觉范围最低限值的任何距离，随后并未在至少一个范围外区域中进行外推。该实施例使其能够通过避免使用在之前被检测作为范围本文档来自技高网...

【技术保护点】
1.一种电子装置，其特征在于，包括：飞行时间传感器，被配置用于产生场景的距离图，所述飞行时间传感器被配置用于逐个采集区段地产生所述场景的距离直方图；立体视觉图像采集装置，被配置用于在两个不同视角处采集所述场景的两个图像；以及立体视觉处理器，被配置用于在考虑所述距离图的情形下进行所述两个图像的立体视觉处理，所述立体视觉处理器包括基础处理器，所述基础处理器被配置用于针对对应于采集区段的景深图的每个区域，在考虑所述对应直方图的情形下进行基础处理。

【技术特征摘要】
2017.02.27 FR 17515391.一种电子装置，其特征在于，包括：飞行时间传感器，被配置用于产生场景的距离图，所述飞行时间传感器被配置用于逐个采集区段地产生所述场景的距离直方图；立体视觉图像采集装置，被配置用于在两个不同视角处采集所述场景的两个图像；以及立体视觉处理器，被配置用于在考虑所述距离图的情形下进行所述两个图像的立体视觉处理，所述立体视觉处理器包括基础处理器，所述基础处理器被配置用于针对对应于采集区段的景深图的每个区域，在考虑所述对应直方图的情形下进行基础处理。2.根据权利要求1所述的电子装置，其特征在于，所述立体视觉图像采集装置具有比所述飞行时间传感器的分辨率大至少一千倍的分辨率，所述飞行时间传感器的分辨率等于所述采集区段的数目。3.根据权利要求1所述的装置，其特征在于，所述飞行时间传感器包括从十至一千个采集区段。4.根据权利要求1所述的电子装置，其特征在于，所述立体视觉处理器被配置为进行立体视觉处理，所述立体视觉处理包括从所述两个图像之间的视差外推所述场景的距离。5.根据权利要求4所述的电子装置，其特征在于，所述基础处理器被配置为限制所述外推的计算和/或改进所述外推的结果的可靠性和/或将额外的景深信息添加至所述景深图中所述场景的距离的外推。6.根据权利要求4所述的电子装置，其特征在于，由所述飞行时间传感器可测量的最大距离和/或最小距离分别大于和/或小于可以由所述立体视觉处理器外推的立体视觉范围最高限值和/或立体视觉范围最低限值。7.根据权利要求6所述的电子装置，其特征在于，所述基础...

【专利技术属性】
技术研发人员：M·阿利拜，O·波蒂埃，V·马塞拉，A·贝隆，A·布尔热，
申请(专利权)人：意法半导体有限公司，
类型：新型
国别省市：法国,FR