图像转换方法和装置、深度图预测方法和装置制造方法及图纸

本公开实施例公开了图像转换方法和装置、深度图预测方法和装置，其中，图像转换方法包括：获取在预设高度拍摄得到的第一全景图和对应的第一深度图；对于第一全景图中的每条经度线，从经度线上确定目标数量个点；基于第一深度图，确定目标数量个点中的每个点对应的第一深度值；基于每个点对应的第一深度值、第一纬度值和目标高度，确定每个点对应的针对目标高度的转换后深度值和转换后纬度值；基于每个点的颜色值和对应的转换后深度值、转换后纬度值，生成第二全景图和第二深度图。本公开实施例可以生成各种高度的全景图和深度图，提高了获得全景图的效率，降低获得全景图的成本，有助于提高训练得到的模型的泛化能力。

【技术实现步骤摘要】
图像转换方法和装置、深度图预测方法和装置
本公开涉及计算机
，尤其是一种图像转换方法和装置、深度图预测模型生成方法和装置、深度图预测方法和装置。
技术介绍
传统的三维数据的拼接过程中，需要用到图像的深度信息来做对齐。对齐是要将不同拍摄位置，不同设备采集的点云数据进行拼接，从而生成真实场景的三维模型。由于在对齐的过程中需要使用到深度信息，因此需要图像采集设备具有深度摄像头，能够采集图像相对于采集设备的距离信息。为了降低拍摄成本，可以采用基于深度学习的方法训练模型，生成更多的全景图和深度图。
技术实现思路
本公开的实施例提供了一种图像转换方法和装置、深度图预测模型生成方法和装置、深度图预测方法和装置、计算机可读存储介质及电子设备。本公开的实施例提供了一种图像转换方法，该方法包括：获取在预设高度拍摄得到的第一全景图和对应的第一深度图，其中，第一全景图中的每个点具有对应的第一经度值和第一纬度值；对于第一全景图中的每条经度线，从经度线上确定目标数量个点；基于第一深度图，确定目标数量个点中的每个点对应的第一深度值；基于每个点对应的第一深度值、第一纬度值和目标高度，确定每个点对应的针对目标高度的转换后深度值和转换后纬度值；基于每个点的颜色值和对应的转换后深度值、转换后纬度值，生成针对目标高度预测的第二全景图和第二深度图。在一些实施例中，基于每个点的颜色值和对应的转换后深度值、转换后纬度值，生成针对目标高度预测的第二全景图和第二深度图，包括：对于待生成的第二全景图中的每条经度线，利用经度线对应的转换后纬度值序列，以及转换后纬度值序列中的每个转换后纬度值对应的颜色值，对经度线上的每个像素点的颜色值进行插值；基于插值后得到的每个像素点的颜色值，生成第二全景图；对于待生成的第二深度图中的每条经度线，利用经度线对应的转换后深度值序列，以及转换后深度值序列中的每个转换后深度值对应的深度值，对经度线上的每个像素点的深度值进行插值；基于插值后得到的每个像素点的深度值，生成第二深度图。在一些实施例中，从经度线上确定目标数量个点，包括：基于第一全景图的纬度值范围，以及预设的表征相邻两个点之间的纬度间隔值，确定目标数量个点。根据本公开实施例的另一个方面，提供了一种深度图预测模型生成方法，该方法包括：获取初始图像对集合，其中，初始图像对集合中的图像对包括在对应的高度拍摄得到的第一全景图和对应的第一深度图；对于初始图像对集合中的每个图像对，确定图像对对应的目标高度，并利用上述图像转换方法，将图像对包括的第一全景图和第一深度图转换为目标高度对应的第二全景图和第二深度图；将初始图像对集合和生成的第二全景图和第二深度图合并为训练样本图像对集合；将训练样本图像对集合中的训练样本图像对包括的全景图作为输入，将输入的全景图对应的深度图作为期望输出，训练得到深度图预测模型。在一些实施例中，确定图像对对应的目标高度，包括：在预设的高度范围内，随机选择高度作为目标高度。根据本公开实施例的另一个方面，提供了一种深度图预测方法，该方法包括：获取全景图，并将全景图输入预先训练的深度图预测模型，得到全景图中的每个像素点对应的深度值和置信度，其中，深度图预测模型预先基于上述深度图预测模型生成方法训练得到；基于置信度，对每个像素点对应的深度值进行修正，得到带有深度信息的全景图。在一些实施例中，对每个像素点对应的深度值进行修正，包括：对于全景图中的每个像素点，确定像素点对应的深度值是否大于或等于预设阈值；如果是，保持像素点对应的深度值不变；如果否，将像素点对应的深度值修改为预设深度值。根据本公开实施例的另一个方面，提供了另一种深度图预测模型生成方法，该方法包括：获取初始图像对集合，其中，初始图像对集合中的图像对包括在对应的高度拍摄得到的第一全景图和对应的第一深度图；对于初始图像对集合中的每个图像对，利用上述图像转换方法，将图像对包括的第一全景图和第一深度图转换为预设的目标高度集合中的每个目标高度对应的第二全景图和第二深度图；基于初始图像对集合和生成的第二全景图和第二深度图，生成多个训练样本图像对集合，其中，每个训练样本图像对集合对应于一个高度；对于多个训练样本图像对集合中的每个训练样本图像对集合，将训练样本图像对集合中的训练样本图像对包括的全景图作为输入，将输入的全景图对应的深度图作为期望输出，训练得到用于预测相应高度的深度图的深度图预测模型。根据本公开实施例的另一个方面，提供了一种深度图预测方法，该方法包括：获取在预设高度拍摄得到的全景图；从预先训练的深度图预测模型集合中，选择与预设高度对应的深度图预测模型，其中，深度图预测模型集合预先基于上述深度图预测模型生成方法训练得到；将全景图输入所选择的深度图预测模型，得到全景图中的每个像素点对应的深度值和置信度；基于置信度，对每个像素点对应的深度值进行修正，得到带有深度信息的全景图。在一些实施例中，基于置信度，对每个像素点对应的深度值进行修正，包括：对于全景图中的每个像素点，确定像素点对应的深度值是否大于或等于预设阈值；如果是，保持像素点对应的深度值不变；如果否，将像素点对应的深度值修改为预设深度值。根据本公开实施例的另一个方面，提供了一种图像转换装置，该装置包括：第一获取模块，用于获取在预设高度拍摄得到的第一全景图和对应的第一深度图，其中，第一全景图中的每个点具有对应的第一经度值和第一纬度值；第一转换模块，用于对于第一全景图中的每条经度线，从经度线上确定目标数量个点；基于第一深度图，确定目标数量个点中的每个点对应的第一深度值；基于每个点对应的第一深度值、第一纬度值和目标高度，确定每个点对应的针对目标高度的转换后深度值和转换后纬度值；第一生成模块，用于基于每个点的颜色值和对应的转换后深度值、转换后纬度值，生成针对目标高度预测的第二全景图和第二深度图。在一些实施例中，第一生成模块包括：第一插值单元，用于对于待生成的第二全景图中的每条经度线，利用经度线对应的转换后纬度值序列，以及转换后纬度值序列中的每个转换后纬度值对应的颜色值，对经度线上的每个像素点的颜色值进行插值；第一生成单元，用于基于插值后得到的每个像素点的颜色值，生成第二全景图；第二插值单元，用于对于待生成的第二深度图中的每条经度线，利用经度线对应的转换后深度值序列，以及转换后深度值序列中的每个转换后深度值对应的深度值，对经度线上的每个像素点的深度值进行插值；第二生成单元，用于基于插值后得到的每个像素点的深度值，生成第二深度图。在一些实施例中，第一转换模块进一步用于：基于第一全景图的纬度值范围，以及预设的表征相邻两个点之间的纬度间隔值，确定目标数量个点。根据本公开实施例的另一个方面，提供了一种深度图预测模型生成装置，该装置包括：第二获取模块，用于获取初始图像对集合，其中，初始图像对集合中的图像对包括在对应的高度拍摄得到的第一全景图和对应的第一深度图；第二转换模块，用于对于初始图像对集合中的每个图像对，确定图像对对应的目标高度，并利用上述图像转换方法，将图像对包括的第一全景图和第本文档来自技高网...

【技术保护点】
1.一种图像转换方法，包括：/n获取在预设高度拍摄得到的第一全景图和对应的第一深度图，其中，所述第一全景图中的每个点具有对应的第一经度值和第一纬度值；/n对于所述第一全景图中的每条经度线，从所述经度线上确定目标数量个点；基于所述第一深度图，确定所述目标数量个点中的每个点对应的第一深度值；基于所述每个点对应的第一深度值、第一纬度值和目标高度，确定所述每个点对应的针对所述目标高度的转换后深度值和转换后纬度值；/n基于所述每个点的颜色值和对应的转换后深度值、转换后纬度值，生成针对所述目标高度预测的第二全景图和第二深度图。/n

【技术特征摘要】
1.一种图像转换方法，包括：
获取在预设高度拍摄得到的第一全景图和对应的第一深度图，其中，所述第一全景图中的每个点具有对应的第一经度值和第一纬度值；
对于所述第一全景图中的每条经度线，从所述经度线上确定目标数量个点；基于所述第一深度图，确定所述目标数量个点中的每个点对应的第一深度值；基于所述每个点对应的第一深度值、第一纬度值和目标高度，确定所述每个点对应的针对所述目标高度的转换后深度值和转换后纬度值；
基于所述每个点的颜色值和对应的转换后深度值、转换后纬度值，生成针对所述目标高度预测的第二全景图和第二深度图。


2.根据权利要求1所述的方法，其中，所述基于所述每个点的颜色值和对应的转换后深度值、转换后纬度值，生成针对所述目标高度预测的第二全景图和第二深度图，包括：
对于待生成的所述第二全景图中的每条经度线，利用所述经度线对应的转换后纬度值序列，以及所述转换后纬度值序列中的每个转换后纬度值对应的颜色值，对所述经度线上的每个像素点的颜色值进行插值；
基于插值后得到的每个像素点的颜色值，生成第二全景图；
对于待生成的所述第二深度图中的每条经度线，利用所述经度线对应的转换后深度值序列，以及所述转换后深度值序列中的每个转换后深度值对应的深度值，对所述经度线上的每个像素点的深度值进行插值；
基于插值后得到的每个像素点的深度值，生成第二深度图。


3.根据权利要求1所述的方法，其中，所述从所述经度线上确定目标数量个点，包括：
基于所述第一全景图的纬度值范围，以及预设的表征相邻两个点之间的纬度间隔值，确定目标数量个点。


4.一种深度图预测方法，包括：
获取全景图，并将所述全景图输入预先训练的深度图预测模型，得到所述全景图中的每个像素点对应的深度值和置信度，其中，训练所述深度图预测模型使用的训练样本预先利用权利要求1-3之一所述的方法得到；
基于所述置信度，对所述每个像素点对应的深度值进行修正，得到带有深度信息的全景图。


5.一种深度图预测方法，包括：
获取在预设高度拍摄得到的全景图；
从预先训练的深度图预测模型集合中，选择与所述预设高度对应的深度图预测模型，其中，训练所述深度图预测模型使用的训练样本预先利用权利要求1-3之一所述的方法得到；
将所述全景图输入...

【专利技术属性】
技术研发人员：顾晓东，施文博，潘慈辉，
申请(专利权)人：贝壳技术有限公司，
类型：发明
国别省市：天津;12