用于主动深度感测的方法和装置及其校准方法制造方法及图纸

提供了用于从观察到的红外(IR)图像中恢复深度图的方法和电子设备。由电子设备的投影仪用IR光谱照亮散斑。由电子设备的IR相机捕获地平线图像上的散斑。投影仪失真是基于地平线图像中的散斑位置来估计的。

Methods and devices for active depth sensing and their calibration methods

【技术实现步骤摘要】
用于主动深度感测的方法和装置及其校准方法优先权本申请基于2018年10月19日在美国专利商标局提交的、分配的序列号为62/748,023的美国临时专利申请，并根据35U.S.C.§119(e)要求其优先权，该申请的内容通过引用并入本文。
本公开大体上涉及深度图估计，并且更具体地，涉及用于校准主动深度感测装置并执行主动深度感测的方法和装置。
技术介绍
主动深度感测可以通过提供对场景的唯一编码照明，从而即使在均匀的(homogenous)或光线昏暗的区域中，也可以估计投影仪和观察者之间的视差(并且从而，深度)，来改进被动方法(例如，来自立体观察(stereoobservation)的深度图估计)。这种深度图已经被用在对象和面部识别中，并且可以在增强现实和场景重建中发挥关键作用。已经开发了主动深度感测设备的几个迭代，其利用投影仪用红外(IR)光谱照亮亮点或散斑，并由在投影仪旁边牢牢安装的红外相机观察亮点或散斑。
技术实现思路
根据一个实施例，提供了一种使用主动深度感测设备从观察到的IR图像中恢复深度图的方法。由主动本文档来自技高网...

【技术保护点】
1.一种使用主动深度感测设备从观察到的红外IR图像中恢复深度图的方法，所述方法包括：/n由所述主动深度感测设备的投影仪用IR光谱照亮散斑；/n由所述主动深度感测设备的IR相机捕获所述散斑并合成地平线图像；/n基于所述地平线图像中的散斑位置估计投影仪失真；/n由所述IR相机在观察到的IR图像上捕获散斑；/n根据所述投影仪失真确定观察到的IR图像中的散斑位置；以及/n基于所确定的散斑位置从观察到的IR图像中恢复所述深度图。/n

【技术特征摘要】
20181019 US 62/748,023;20190627 US 16/455,0571.一种使用主动深度感测设备从观察到的红外IR图像中恢复深度图的方法，所述方法包括：
由所述主动深度感测设备的投影仪用IR光谱照亮散斑；
由所述主动深度感测设备的IR相机捕获所述散斑并合成地平线图像；
基于所述地平线图像中的散斑位置估计投影仪失真；
由所述IR相机在观察到的IR图像上捕获散斑；
根据所述投影仪失真确定观察到的IR图像中的散斑位置；以及
基于所确定的散斑位置从观察到的IR图像中恢复所述深度图。


2.根据权利要求1所述的方法，其中在所述主动深度感测设备中，所述IR相机与所述投影仪牢牢地安装。


3.根据权利要求1所述的方法，其中所述地平线图像包括投射到无限深度的表面上的散斑图案。


4.根据权利要求3所述的方法，其中所述投影仪失真对应于二进制图案图像的散斑坐标和所述地平线图像的对应散斑坐标之间的映射。


5.根据权利要求4所述的方法，其中所述地平线图像包括高分辨率地平线图像，并且估计所述投影仪失真包括将所述地平线图像中最亮的中心散斑与所述二进制图案图像中的中心散斑匹配，并且迭代地预测与已知散斑接壤的区域中的所述地平线图像中的散斑位置。


6.根据权利要求1所述的方法，还包括根据所述IR相机的焦距估计IR失真；并且
所述确定观察到的IR图像中的散斑位置的步骤包括根据所述投影仪失真和所述IR失真确定观察到的IR图像中的散斑位置。


7.根据权利要求6所述的方法，其中以下至少一个：
所述焦距与给定深度在所述地平线图像坐标和观察到的IR图像的坐标之间引起的偏移量成比例；以及
所述焦距使用焦距参数来最大化扭曲到所述地平线图像的图像对之间的相似性。


8.根据权利要求6所述的方法，其中确定所述IR图像中的散斑位置包括：
使用所述焦距和深度图构建视差图；
将所述视差图转换到所述投影仪的视角；以及
使用所述地平线图像中的散斑位置预测所述观察到的IR图像中的散斑位置。


9.根据权利要求8所述的方法，其中构建所述视差图包括：
获得初始视差图；
经由中值正则化清理所述初始视差图；以及
经由子像素匹配来细化所清理的视差图。


10.根据权利要求6所述的方法，其中确定所述IR图像中的散斑位置包括：
根据强度衰减来修改所述散斑位置。


11.根据权利要求10所述的方法，其中所述强度衰减包括测得的所述I...

【专利技术属性】
技术研发人员：WE曼茨尔，裵东运，J李，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR