图像深度标注方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，公开了一种图像深度标注方法、装置、设备及存储介质，该方法包括：对多帧相机图像对应的点云序列进行点云分离，得到对应的动态点云和静态点云；将所有静态点云变换至世界坐标系，并进行处理，得到对应的背景点云；对动态点云进行插值处理，并将插值处理处理后的动态点云与背景点云进行叠加，得到对应帧的稠密点云；将稠密点云投影至对应帧的相机图像的相机平面，得到相机图像对应的深度标注。本发明专利技术的技术方案中针对图像深度获取的难点，通过对多帧点云数据进行点云分离和叠加，使得稀疏点云成为稠密点云，进而使得转换的深度图像中的深度数据稠密。得转换的深度图像中的深度数据稠密。得转换的深度图像中的深度数据稠密。

【技术实现步骤摘要】
图像深度标注方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能领域，尤其涉及一种图像深度标注方法、装置、设备及存储介质。

技术介绍

[0002]为了在图像上完成障碍检测、分割等视觉任务并转换至世界坐标系，供下游决策模块使用，特别是在没有其他3D测量传感器配置的系统中，通常需要在图像上进行像素粒度的深度估计，现有的深度估计方案主要包括基于深度学习的单目深度估计和基于双目相机系统的深度估计，现有的实现基于深度学习的单目深度估计有多种方式，其中，一种适用于自动驾驶场景的测距方法依靠激光雷达，依据激光雷达与相机之间的标定将3D测量结果转换至图像平面获取深度，但受限于激光雷达的分辨率，通过这种方式获取的深度通常是稀疏的，难以达到深度学习算法预期的质量。

技术实现思路

[0003]本专利技术的主要目的在于解决现有的进行单目深度估计得到的深度图像中的深度数据过于稀疏的技术问题。
[0004]本专利技术第一方面提供了一种图像深度标注方法，包括：对多帧相机图像对应的点云序列进行点云分离，得到对应的动态点云和静态点云；将所有所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像深度标注方法，其特征在于，所述图像深度标注方法包括：对多帧相机图像对应的点云序列进行点云分离，得到对应的动态点云和静态点云；将所有所述静态点云变换至世界坐标系，并进行处理得到对应的背景点云；对所述动态点云进行插值处理，并将插值处理处理后的动态点云与所述背景点云进行叠加，得到对应帧的稠密点云；将所述稠密点云投影至对应帧的所述相机图像的相机平面，得到所述相机图像对应的深度标注。2.根据权利要求1所述的图像深度标注方法，其特征在于，所述对多帧相机图像对应的点云序列进行点云分离，得到对应的动态点云和静态点云包括：将所述点云序列输入预设的障碍物检测与分割模型中，通过所述障碍物检测与分割模型检测并分割所述点云序列对应帧中的障碍物轮廓，并对所述障碍物轮廓进行语义标注，得到对应的语义类型，其中，所述语义类型包括动态障碍物；将所述点云序列中被语义类型为动态障碍物类型的障碍物轮廓包含的点云标记为动态点云；将所述点云序列中不被语义类型为动态障碍物类型的障碍物轮廓包含的点云标记为静态点云。3.根据权利要求2所述的图像深度标注方法，其特征在于，所述将所述点云序列输入预设的障碍物检测与分割模型中，通过所述障碍物检测与分割模型检测并分割所述点云序列对应帧中的障碍物轮廓，并对所述障碍物轮廓进行语义标注，得到对应的语义类型包括：将所述点云序列输入预设的障碍物检测与分割模型中，其中，所述障碍物检测与分割模型分为特征提取部分和语义分割部分；通过所述障碍物检测与分割模型中的特征提取部分获取输入的点云序列中n个点云的d维特征作为局部特征，并对所述局部特征进行分类和学习，经过最大池化处理获得全局特征；通过所述障碍物检测与分割模型中的语义分割部分对所述局部特征和所述全局特征进行拼接，并通过多层的MLP进行降维处理，最终对所述点云序列的各点云的语义类型进行预测。4.根据权利要求1所述的图像深度标注方法，其特征在于，所述将所有所述静态点云变换至世界坐标系，并进行处理，得到对应的背景点云包括：根据所述点云序列对应的激光雷达坐标系与所述世界坐标系之间的转换关系，确定对应的位姿转换矩阵；根据所述位姿转换矩阵将所有所述静态点云转换至世界坐标系上；对变换至世界坐标系的所有静态点云进行处理，得到对应的背景点云。5.根据权利要求4所述的图像深度标注方法，其特征在于，所述对变换至世界坐标系的所有静态点云进行处理，得到对应的背景点云包括：将变换至世界坐标系的所有静态点云...

【专利技术属性】
技术研发人员：韩文韬，鲁赵晗，韩旭，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：