图像深度估计模型的训练方法、图像深度信息的处理方法技术

本申请公开了一种图像深度估计模型的训练方法、图像深度信息的处理方法、装置、自动驾驶车辆、电子设备、程序产品以及存储介质，涉及自动驾驶、计算机视觉、以及深度学习等人工智能领域。具体实现方案为：将样本环境图像、样本环境图像的样本边缘信息、以及样本环境点云数据输入至待训练模型，由待训练模型确定样本环境图像中每一像素点的初始深度信息、以及每一像素点与其所对应的邻域像素点之间的特征关系，并根据特征关系对每一像素点的初始深度信息进行优化处理，得到每一像素点的优化深度信息，且根据优化深度信息对待训练模型的参数进行调整，得到图像深度估计模型，通过特征关系对深度信息进行优化，提高了优化深度信息的准确性。

【技术实现步骤摘要】
图像深度估计模型的训练方法、图像深度信息的处理方法
本申请涉及计算机、图像处理技术，尤其涉及一种图像深度估计模型的训练方法、图像深度信息的处理方法、装置、自动驾驶车辆、电子设备、程序产品以及存储介质，可应用于自动驾驶、计算机视觉、以及深度学习等人工智能领域。
技术介绍
图像的深度信息可以理解为，由图像采集器到图像对应的场景中各点的距离。在现有技术中，深度信息可以被广泛地应用于各个领域，如自动驾驶车辆领域，机器人领域等，在对环境图像的深度信息进行优化处理时，通常采用的方式为：基于坐标计算的方式对环境图像的深度信息进行补全。然而，基于坐标计算等方式优化得到的深度信息的准确性可能偏低。
技术实现思路
本申请提供了一种用于提高优化后的图像深度信息的准确性的图像深度估计模型的训练方法、图像深度信息的处理方法、装置、自动驾驶车辆、电子设备、程序产品以及存储介质。根据本申请的一个方面，提供了一种图像深度估计模型的训练方法，包括：将获取到的样本环境图像、所述样本环境图像的样本边缘信息、以及样本环境点云数据输入本文档来自技高网...

【技术保护点】
1.一种图像深度估计模型的训练方法，包括：/n将获取到的样本环境图像、所述样本环境图像的样本边缘信息、以及样本环境点云数据输入至待训练模型；/n由所述待训练模型根据样本环境图像、所述样本环境图像的样本边缘信息、以及样本环境点云数据，确定所述样本环境图像中每一像素点的初始深度信息、以及所述每一像素点与其所对应的邻域像素点之间的特征关系，并根据所述特征关系对所述每一像素点的初始深度信息进行优化处理，得到所述每一像素点的优化深度信息，且根据所述优化深度信息对所述待训练模型的参数进行调整，得到图像深度估计模型；/n其中，所述图像深度估计模型用于得到环境图像中各像素点的优化深度信息。/n

【技术特征摘要】
1.一种图像深度估计模型的训练方法，包括：
将获取到的样本环境图像、所述样本环境图像的样本边缘信息、以及样本环境点云数据输入至待训练模型；
由所述待训练模型根据样本环境图像、所述样本环境图像的样本边缘信息、以及样本环境点云数据，确定所述样本环境图像中每一像素点的初始深度信息、以及所述每一像素点与其所对应的邻域像素点之间的特征关系，并根据所述特征关系对所述每一像素点的初始深度信息进行优化处理，得到所述每一像素点的优化深度信息，且根据所述优化深度信息对所述待训练模型的参数进行调整，得到图像深度估计模型；
其中，所述图像深度估计模型用于得到环境图像中各像素点的优化深度信息。


2.根据权利要求1所述的方法，其中，根据所述特征关系对所述每一像素点的初始深度信息进行优化处理，得到所述每一像素点的优化深度信息，包括：
根据所述特征关系确定调整信息，并根据所述调整信息对所述每一像素点的初始深度信息进行优化处理，得到所述每一像素点的优化深度信息。


3.根据权利要求2所述的方法，其中，所述特征关系包括：所述每一像素点与所述邻域像素点之间的相似程度、所述每一像素点与所述邻域像素点之间的归属对象关系、以及所述每一像素点的初始深度信息的置信度中的至少一种；根据所述特征关系确定调整信息，包括：
根据所述相似程度、所述归属对象之间关系、以及所述置信度中的至少一种，确定所述调整信息。


4.根据权利要求3所述的方法，其中，由样本环境图像、所述样本环境图像的样本边缘信息、以及样本环境点云数据，确定所述样本环境图像中每一像素点的初始深度信息、以及所述每一像素点与其所对应的邻域像素点之间的特征关系，包括：
根据所述样本环境图像、样本边缘信息、以及所述样本环境点云数据，拼接生成所述每一像素点的图像特征；
根据所述每一像素点的图像特征，确定以所述每一像素点为所述样本环境图像的中心点时的初始深度信息、以及所述特征关系。


5.根据权利要求4所述的方法，其中，若所述特征关系包括所述相似程度；则根据所述每一像素点的图像特征，确定所述特征关系，包括：
根据所述每一像素点的图像特征、以及所述邻域像素点的图像特征，确定所述相似程度。


6.根据权利要求4所述的方法，其中，若所述特征关系包括所述归属对象关系；则根据所述每一像素点的图像特征，确定所述特征关系，包括：
根据所述每一像素点的图像特征，分别确定所述每一像素点和所述邻域像素点各自归属的对象，并基于各自归属的对象确定所述归属对象关系。


7.根据权利要求6所述的方法，其中，根据所述每一像素点的图像特征，分别确定所述每一像素点和所述邻域像素点各自归属的对象，包括：
根据所述邻域像素点的图像特征，确定所述邻域像素点的边缘信息，并基于所述邻域像素点的边缘信息确定所述邻域像素点的归属对象；
根据所述每一像素点的图像特征，确定所述每一像素点的边缘信息，并根据所述每一像素点的边缘信息确定所述每一像素点的归属对象；
以及，基于各自归属的对象确定所述归属对象关系，包括：根据所述邻域像素点的归属对象、以及所述每一像素点的归属对象，确定所述邻域像素点和所述每一像素点归属于相同对象，或者归属于不同对象。


8.根据权利要求4至7中任一项所述的方法，其中，若所述特征关系包括所述置信度，至少部分像素点的图像特征包括深度信息；则根据所述每一像素点的图像特征，确定所述特征关系，包括：
根据至少部分像素点的深度信息确定所述每一像素点的深度信息；
根据基于至少部分像素点的深度信息确定出的所述每一像素点的深度信息、以及基于所述每一像素点的图像特征确定出的所述每一像素点的初始深度信息，确定所述置信度。


9.根据权利要求1至7中任一项所述的方法，其中，根据所述优化深度信息对所述待训练模型的参数进行调整，得到图像深度估计模型，包括：
确定所述优化深度信息和预先设置的参考深度信息之间的损失信息；
基于所述损失信息对所述待训练模型的参数进行调整，得到所述图像深度估计模型。


10.一种图像深度信息的处理方法，包括：
获取环境图像和环境点云数据；
将所述环境图像和所述环境点云数据输入至基于权利要求1至9中任一项所述方法训练生成的图像深度估计模型，输出所述环境图像中各像素点的优化深度信息。


11.根据权利要求10所述的方法，在获取环境图像和环境点云数据之后，所述方法还包括：
提取所述环境图像的边缘信息；
以及，将所述环境图像和环境点云数据输入至基于权利要求1至9中任一项所述方法训练生成的图像深度估计模型，输出所述环境图像中各像素点的优化深度信息，包括：将所述环境图像、所述环境点云数据、以及所述边缘信息输入至基于权利要求1至9中任一项所述方法训练生成的图像深度估计模型，输出所述环境图像中各像素点的优化深度信息。


12.一种图像深度估计模型的训练装置，包括：
输入模块，用于将获取到的样本环境图像、所述样本环境图像的样本边缘信息、以及样本环境点云数据输入至待训练模型；
确定模块，用于由所述待训练模型根据样本环境图像、所述样本环境图像的样本边缘信息、以及样本环境点云数据，确定所述样本环境图像中每一像素点的初始深度信息、以及所述每一像素点与其所对应的邻域像素点之间的特征关系；
...

【专利技术属性】
技术研发人员：蒋旻悦，杨喜鹏，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11