深度图像的增强方法、装置、电子设备以及存储介质制造方法及图纸

本申请公开了一种深度图像的增强方法、装置、电子设备以及存储介质，涉及人工智能技术领域。该方法包括：获取彩色图像和待增强深度图像，彩色图像和待增强深度图像的图像内容相同，且彩色图像的分辨率大于待增强深度图像的分辨率，将待增强深度图像与彩色图像对齐，获得待增强深度图像对应的待增强平面图像，其中，彩色图像的分辨率与待增强平面图像的分辨率相同，将彩色图像和待增强平面图像输入已训练的神经网络模型，获得已训练的神经网络模型输出的已增强深度图像，已增强深度图像的分辨率大于待增强深度图像的分辨率。本申请通过彩色图引导深度图进行增强，提高深度图增强的准确性，节约了成本且丰富了深度图的应用场景，提升了实用性。

【技术实现步骤摘要】
深度图像的增强方法、装置、电子设备以及存储介质
本申请涉及人工智能
，更具体地，涉及一种深度图像的增强方法、装置、电子设备以及存储介质。
技术介绍
深度图像能够为立体场景的构建提供必要的深度信息，被广泛地运用于立体显示、机器视觉、虚拟现实等应用领域。但相比于彩色图像的获取，深度图像的获取需要使用成像密度更高的深度传感器，这种深度传感器通常价格非常昂贵，造成制作成本增加的问题。
技术实现思路
鉴于上述问题，本申请提出了一种深度图像的增强方法、装置、电子设备以及存储介质，以解决上述问题。第一方面，本申请实施例提供了一种深度图像的增强方法，应用于电子设备，所述方法包括：获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率；将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同；将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。第二方面，本申请实施例提供了一种深度图像的增强装置，应用于电子设备，所述装置包括：第一图像获得模块，用于获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率；第二图像获得模块，用于将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同；图像增强模块，用于将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。本申请实施例提供的深度图像的增强方法、装置、电子设备以及存储介质，获取彩色图像和待增强深度图像，彩色图像和待增强深度图像的图像内容相同，且彩色图像的分辨率大于待增强深度图像的分辨率，将待增强深度图像与彩色图像对齐，获得待增强深度图像对应的待增强平面图像，其中，彩色图像的分辨率与待增强平面图像的分辨率相同，将彩色图像和待增强平面图像输入已训练的神经网络模型，获得已训练的神经网络模型输出的已增强深度图像，已增强深度图像的分辨率大于待增强深度图像的分辨率，从而通过彩色图引导深度图进行增强，提高深度图增强的准确性，节约了成本且丰富了深度图的应用场景，提升了实用性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1示出了本申请一个实施例提供的深度图像的增强方法的流程示意图；图2示出了本申请又一个实施例提供的深度图像的增强方法的流程示意图；图3示出了本申请再一个实施例提供的深度图像的增强方法的流程示意图；图4示出了本申请实施例提供的已训练的神经网络模型的结构示意图；图5示出了本申请实施例提供的全局特征提取模块的结构示意图；图6示出了本申请实施例提供的局部特征提取模块的结构示意图；图7示出了本申请的图3所示的深度图像的增强方法的步骤S350的流程示意图；图8示出了本申请另一个实施例提供的深度图像的增强方法的流程示意图；图9示出了本申请的图8所示的深度图像的增强方法的步骤S350的流程示意图；图10示出了本申请实施例提供的深度图像的增强装置的模块框图；图11示出了本申请实施例用于执行根据本申请实施例的深度图像的增强方法的电子设备的框图；图12示出了本申请实施例的用于保存或者携带实现根据本申请实施例的深度图像的增强方法的程序代码的存储单元。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。近年来，既包含图像信息又包含深度信息的传感器的使用已经大大增加，甚至已经部署到了一些较为高端的电子设备上。其中，常见的RGB相机属于被动传感器，通常可以生成密集的彩色图像数据，而像LiDAR这种主动传感器生成的是稀疏的深度图像。然而在很多应用场景中我们需要更加稠密的深度图。专利技术人经过研究发现，可以采用的方案中，一种方案是使用成像密度更高的深度传感器，但他们通常非常昂贵，造成制作成本的增加，而更经济的方案是对LiDAR生成的稀疏深度图像做深度图增强来获得稠密深度图像。然而，目前的深度图像超分辨率算法多存在着重建图像边缘模糊的问题，且基于彩色引导的深度图像超分辨率算法缺少高效的特征融合机制，难以从彩色图引入有用的辅助信息。针对上述问题，专利技术人经过长期的研究发现，并提出了本申请实施例通过的深度图像的增强方法、装置、电子设备以及存储介质，通过彩色图引导深度图进行增强，提高深度图增强的准确性，节约了成本且丰富了深度图的应用场景，提升了实用性。其中，具体的深度图像的增强方法在后续的实施例中进行详细的说明。请参阅图1，图1示出了本申请一个实施例通过的深度图像的增强方法的流程示意图。所述深度图像的增强方法用于通过彩色图引导深度图进行增强，提高深度图增强的准确性，节约了成本且丰富了深度图的应用场景，提升了实用性。在具体的实施例中，所述深度图像的增强方法应用于如图10所示的深度图像的增强装置200以及配置有深度图像的增强装置200的电子设备100(图11)，下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、穿戴式电子设备等，在此不做具体的限定。下面将针对图1所示的流程进行详细的阐述，所述深度图像的增强方法具体可以包括以下步骤：步骤S110：获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率。在本实施例中，电子设备可以同时获取彩色图像和待增强深度图像(稀疏的深度图像)。其中，该彩色图像和待增强深度图像的图像内容相同，且该彩色图像的分辨率大于待增强深度图像的分辨率。在一些实施方式中，电子设备可以同时拍摄获得彩色图像和待增强深度图像。具体地，电子设备可以包括RGB摄像头和LiDAR摄像头，且RGB摄像头和LiDAR摄像头在电子设备的拍摄视角相同，本文档来自技高网...

【技术保护点】
1.一种深度图像的增强方法，其特征在于，应用于电子设备，所述方法包括：/n获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率；/n将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同；/n将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。/n

【技术特征摘要】
1.一种深度图像的增强方法，其特征在于，应用于电子设备，所述方法包括：
获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率；
将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同；
将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。


2.根据权利要求1所述的方法，其特征在于，所述电子设备包括RGB摄像头和LiDAR摄像头，所述获取彩色图像和待增强深度图像，包括：
获取所述RGB摄像头采集的所述彩色图像，并获取所述LiDAR摄像头采集的所述待增强深度图像。


3.根据权利要求2所述的方法，其特征在于，所述将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，包括：
获取所述RGB摄像头的摄像头参数作为第一摄像头参数，并获取所述LiDAR摄像头的摄像头参数作为第二摄像头参数；
基于所述第一摄像头参数和所述第二摄像头参数，将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像。


4.根据权利要求1所述的方法，其特征在于，所述已训练的神经网络模型包括全局特征提取模块、局部特征提取模块以及生成模块，所述将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，包括：
将所述彩色图像和所述待增强平面图像输入所述全局特征提取模块，获得所述全局特征提取模块输出的全局深度预测值和全局置信权重；
将所述彩色图像和所述待增强平面图像输入所述局部特征提取模块，获得所述全局特征提取模块输出的局部深度预测值和局部置信权重；
将所述全局深度预测值、所述全局置信权重、所述局部深度预测值以及所述局部置信权重输入所述生成模块，获得所述生成模块输出的所述已增强深度图像。


5.根据权利要求4所述的方法，其特征在于，所述已训练的神经网络模型还包括归一化模块，所述将所述全局深度预测值、所述全局置信权重、所述局部深度预测值以及所述局部置信权重输入所述生成模块，获得所述生成模块输出的所述已增强深度图像，包括：
将所述全局置信权重和所述局部置信权重输入所述归一化模块，获得所述归一化模块输出的全局置信权重值和局部置信权重值；
将所述全局深度预测值、所述全局置信权重值、所述局部深度预...

【专利技术属性】
技术研发人员：陈立梁，黄晗，郭彦东，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44