深度融合的方法和装置制造方法及图纸

本公开揭露了一种深度融合方法和相关装置。深度融合方法包括从多个传感器接收多个类型不同的传感器信号；基于多个传感器信号生成场景的第一深度相关信息和场景的第二深度相关信息；以及融合第一深度相关信息和第二深度相关信息以生成场景的融合深度图。本发明专利技术的深度融合方法和相关装置可以降低成本。

【技术实现步骤摘要】
深度融合的方法和装置【交叉引用】本公开要求2018年4月3日提交的美国专利申请62/651,813和2019年3月20日提交的美国专利申请16/359,713的优先权，其全部内容也一并引用于此。
本公开一般涉及计算机立体视觉，并且更具体地，涉及通过一种或多种精确和全范围深度融合(full-rangedepthfusion)和感测技术进行视觉深度感测。
技术介绍
除非本文另有说明，否则本部分中描述的方法不是后面列出的权利要求范围的现有技术，并且不包括在本部分中作为现有技术。目前有许多用于范围感测和深度估计的技术以实现计算机立体视觉。例如，一些现有技术包括结构光、被动立体匹配(passivestereo)、主动立体匹配(activestereo)和飞行时间(time-of-flight)。但是，没有一种技术可以结合其中的一些技术。此外，在使用红外(IR)投射器和IR相机进行深度感测的应用中，使用的组件通常很昂贵。期望通过使用现成的和相对便宜的组件来提供允许具有立体匹配的计算机立体视觉的解决方案。
技术实现思路
根据本专利技术的第一方面，揭露了一种深度融合方法，包括从多个传感器接收本文档来自技高网...

【技术保护点】
1.一种深度融合方法，包括：从多个传感器接收多个类型不同的传感器信号；基于该多个传感器信号生成场景的第一深度相关信息和该场景的第二深度相关信息；以及融合该第一深度相关信息和该第二深度相关信息以生成该场景的融合深度图。

【技术特征摘要】
2018.04.03 US 62/651,813;2019.03.20 US 16/359,7131.一种深度融合方法，包括：从多个传感器接收多个类型不同的传感器信号；基于该多个传感器信号生成场景的第一深度相关信息和该场景的第二深度相关信息；以及融合该第一深度相关信息和该第二深度相关信息以生成该场景的融合深度图。2.如权利要求1所述的深度融合方法，其特征在于，从该多个传感器接收该多个类型不同的传感器信号包括从红绿蓝相机、灰阶相机、红外相机、红绿蓝红外相机、灰阶红外相机、带双频带通滤波的红绿蓝相机、带双频带通滤波的灰阶相机和飞行时间传感器中的两个或更多个接收该多个传感器信号。3.如权利要求1所述的深度融合方法，其特征在于，生成该第一深度相关信息和该第二深度相关信息包括：基于第一类型的该多个传感器信号中的至少第一传感器信号生成第一深度图和第一置信图；以及基于与该第一类型不同的第二类型的该多个传感器信号中的至少第二传感器信号，生成第二深度图和第二置信图。4.如权利要求3所述的深度融合方法，其特征在于，生成该第一深度图和该第一置信图包括使用结构光方法或飞行时间方法生成该第一深度图和该第一置信图，并且其中，生成该第二深度图和该第二置信图包括使用主动立体方法或被动立体方法生成该第二深度图和该第二置信图。5.如权利要求3所述的深度融合方法，其特征在于，融合该第一深度相关信息和该第二深度相关信息以生成该融合深度图包括：相对于该第二深度图重新映射该第一深度图以生成重新映射的第一深度图；融合该重新映射的第一深度图、该第二深度图、该第一置信图和该第二置信图以提供融合结果；以及对该融合结果执行后处理以生成该融合深度图。6.如权利要求3所述的深度融合方法，其特征在于，融合该第一深度相关信息和该第二深度相关信息以生成该融合深度图包括：相对于该第二深度图重新映射该第一深度图以生成重新映射的第一深度图；估计与生成该第一深度图和该第一置信图相关联的成本量；融合该重新映射的第一深度图、该第二深度图、该第一置信图、该第二置信图和该成本量以提供融合结果；以及对该融合结果进行后处理以生成该融合深度图，其中，生成该第一深度图和该第一置信图包括使用结构光方法或飞行时间方法生成该第一深度图和该第一置信图。7.如权利要求6所述的深度融合方法，其特征在于，估计该成本量包括通过计算与立体方法相关联的加权成本和与结构光方法相关联的加权成本的组合来估计该成本量。8.如权利要求3所述的深度融合方法，其特征在于，融合该第一深度相关信息和该第二深度相关信息以生成该融合深度图包括：确定是否使用第一融合方法或第二融合方法融合该第一深度相关信息和该第二深度相关信息；以及基于确定的结果，使用该第一融合方法或该第二融合方法融合该第一深度相关信息和该第二深度相关信息，其中，该第一融合方法包括：相对于该第二深度图重新映射该第一深度图以生成重新映射的第一深度图；融合该重新映射的第一深度图、该第二深度图、该第一置信图和该第二置信图以提供融合结果；以及对该融合结果进行后处理以生成该融合深度图，其中，该第二融合方法包括：相对于该第二深度图重新映射该第一深度图以生成该重新映射的第一深度图；估计与生成该第一深度图和该第一置信图相关联的成本量；融合该重新映射的第一深度图、该第二深度图、该第一置信图、该第二置信图和该成本量以提供融合结果；以及对该融合结果进行后处理以生成该融合深度图，以及其中，在该第二融合方法中，使用结构光方法或飞行时间方法生成该第一深度图和该第一置信图。9.如权利要求1所述的深度融合方法，还包括：控制电磁波投射器向该场景发射电磁波，其中该电磁波投射器包括红外投射器或飞行时间投射器。10.如权利要求9所述的深度融合方法，还包括：校准该多个传感器中的一对传感器或该多个传感器中的一个加上该电磁波投射器。11.一种深度融合装置，包括：控制电路，其被耦合以从多个传感器接...

【专利技术属性】
技术研发人员：郑朝钟，魏震豪，陈正旻，王毓莹，林亮均，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71