深度图优化方法及装置、系统、电子设备、存储介质制造方法及图纸

本发明专利技术公开了一种深度图优化方法及装置、系统、电子设备、存储介质，该方法包括：采集深度传感器获取的目标空间的深度图；采集偏振传感器获取的目标空间的偏振图；根据所述偏振图，获取目标面的法向量；将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。将深度传感器和偏振传感器结合，通过将深度信息与偏振信息（法向量信息）融合，经代价聚合进而实现深度图的滤波和精度提升。

【技术实现步骤摘要】
深度图优化方法及装置、系统、电子设备、存储介质
本申请涉及图像处理
，尤其涉及一种深度图优化方法及装置、系统、电子设备、存储介质。
技术介绍
深度相机可以用来感知环境的三维深度信息，因此被广泛应用于移动机器人导航，航天、航空，增强现实，测绘等领域。目前深度相机领域分为以结构光深度相机和飞行时间深度相为代表的主动式深度相机和以双目相机为代表的被动式深度相机。相比于被动式深度相机，主动式深度相机不需要大量计算就可以获取真实环境的距离信息，并且获取的距离信息更为可靠。目前主动式深度相机主要分为光飞行时间深度相机和结构光深度相机。以光飞行时间深度相机为例，光飞行时间深度相机主要存在空间感知精度偏低，一般在cm级别，提高感知精度的主要方法包括提高调制频率和多图优化上，提高调制频率目前最高也只能做到mm级别，在某些场景下的应用还是受限，而多图优化存在的最大问题就是出图的实时性大打折扣。
技术实现思路
本申请实施例的目的是提供一种深度图优化方法及装置、系统、电子设备、存储介质，以解决相关技术中存在的深度优化精度有限，出图实时性差的问题。根据本申请实施例的第一方面，提供一种深度图优化方法，包括：采集深度传感器获取的目标空间的深度图；采集偏振传感器获取的目标空间的偏振图；根据所述偏振图，获取目标面的法向量；将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。进一步地，将所述深度图映射到所述偏振图上，包括：计算所述深度传感器坐标系到偏振传感器坐标系的转换矩阵；通过所述转换矩阵将深度图映射到所述偏振图上。进一步地，所述转换矩阵为：其中（、、）为偏振图的像素坐标，（、、）为深度图的像素坐标，W是一个4×4的转换矩阵。进一步地，所述代价计算的函数为：其中，是一个二元算子，是的K-T转换，是深度图，是目标空间的法向量图，代价聚合的过程就是优化过程，使得计算得到的法向量与的法向量最接近。根据本申请实施例的第二方面，提供一种深度图优化装置，包括：第一采集模块，用于采集深度传感器获取的目标空间的深度图；第二采集模块，用于采集偏振传感器获取的目标空间的偏振图；获取模块，用于根据所述偏振图，获取目标面的法向量；计算模块，用于将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。根据本申请实施例的第三方面，提供一种深度图优化系统，包括：深度传感器，用于采集目标空间的深度图；偏振检测传感器，用于采集目标空间的偏振图，并根据所述偏振图计算目标面的法向向量；计算模块，用于控制所述深度传感器和偏振检测传感器工作，并将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。进一步地，所述深度传感器主要由主动光发射模块、深度传感模块和深度控制模块构成，所述主动光发射模块用于向外发射光线，投射在目标物体上；所述深度传感模块用于接收若干由目标物体反射的光线信号；所述深度控制模块用于控制深度传感模块和主动光发射模块进行深度感知。进一步地，所述偏振检测传感器主要由偏振光发射模块、偏振传感模块和偏振控制模块构成，所述偏振光发射模块用于向外发射光线，投射在目标物体上；所述偏振传感模块用于接收若干由目标物体反射的光线信号；所述偏振控制模块用于控制偏振光发射模块和偏振传感模块获取目标面的法向量。根据本申请实施例的第四方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。根据本申请实施例的第五方面，提供一种计算机可读的存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。本申请的实施例提供的技术方案可以包括以下有益效果：由上述实施例可知，本专利技术实施例提供的深度图优化方法是深度图融合偏振图进行深度优化，偏振图是可以很细致的反应目标物体反射面的法向量，因此深度优化的精度可以达到mm级以下，较现有深度优化方案有明显提升；深度图和偏振图的获取都可以是实时获取，而且系统计算的复杂度不高，深度优化也仅依赖单幅深度图和单幅偏振图，因此优化方案可以实现实施出图。本专利技术实施例提供过的深度图优化系统只是在深度传感器外加一个偏振传感器，系统实现的简单，不需要对现有系统进行过多的硬件修改。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1是根据一示例性实施例示出的一种深度图优化方法的流程图。图2是根据一示例性实施例示出的将所述深度图映射到所述偏振图上的流程图。图3是根据一示例性实施例示出的图像优选效果对比图，其中（a）为由深度相机直接采集2.5m处的白墙输出的效果图，（b）是采集10张墙面的数据，经过中值滤波和10张平均之后的效果图，（c）是经过本专利技术实施例的方法优化后的效果图。图4是根据一示例性实施例示出的一种深度图优化装置的框图。图5是根据一示例性实施例示出的一种深度图优化系统的原理图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。图1是根据一示例性实施例示出的一种深度图优化方法的流程图。参看图1，本专利技术实施例提供的一种深度图优化方法可以包括以下步骤：步骤S11，采集深度传感器获取的目标空间的深度图；步骤S12，采集偏振传感器获取的目标空间的偏振图；步骤S13，根据所述偏振图，获取目标面的法向量；步骤S14，将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。本文档来自技高网...

【技术保护点】
1.一种深度图优化方法，其特征在于，包括：/n采集深度传感器获取的目标空间的深度图；/n采集偏振传感器获取的目标空间的偏振图；/n根据所述偏振图，获取目标面的法向量；/n将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。/n

【技术特征摘要】
1.一种深度图优化方法，其特征在于，包括：
采集深度传感器获取的目标空间的深度图；
采集偏振传感器获取的目标空间的偏振图；
根据所述偏振图，获取目标面的法向量；
将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。


2.根据权利要求1所述的方法，其特征在于，将所述深度图映射到所述偏振图上，包括：
计算所述深度传感器坐标系到偏振传感器坐标系的转换矩阵；
通过所述转换矩阵将深度图映射到所述偏振图上。


3.根据权利要求2所述的方法，其特征在于，所述转换矩阵为：



其中（、、）为偏振图的像素坐标，（、、）为深度图的像素坐
标，W是一个4×4的转换矩阵。


4.根据权利要求1所述的方法，其特征在于，所述代价计算的函数为：



其中，是一个二元算子，是的K-T转换，是深度图，是目标空间的
法向量图，代价聚合的过程就是优化过程，使得计算得到的法向量与的法
向量最接近。


5.一种深度图优化装置，其特征在于，包括：
第一采集模块，用于采集深度传感器获取的目标空间的深度图；
第二采集模块，用于采集偏振传感器获取的目标空间的偏振图；
获取模块，用于根据所述偏振图，获取目标面的法向量；
计算模块，用于将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。

...

【专利技术属性】
技术研发人员：徐永奎，郑灵杰，孙乐韵，齐伟，
申请(专利权)人：杭州蓝芯科技有限公司，
类型：发明
国别省市：浙江;33