【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种深度估计模型训练方法、图像深度估计方法、装置、设备及介质。
技术介绍
1、在图像处理领域，常涉及图像中目标物的识别环节，目标物识别的过程可以通过计算图像中目标物的三维坐标实现，比如从单目相机拍摄的单目图像中计算车道线内各像素点的三维坐标。
2、具体地，计算单目图像中目标物的三维坐标时，需要已知单目相机的内参以及目标物的各个像素点的绝对深度信息。单目相机的内参可以通过标定的方式获得，绝对深度信息一般需要通过深度估计网络模型间接求得。
3、相关技术中，由于传统的深度估计网络模型仅能预测得到输入图像的相对深度信息，且由于模型训练过程中，所用训练数据类型较为单一，得到的相对深度信息并不准确。同时，若要获得绝对深度信息，还需将相对深度信息转换为绝对深度信息。因此，确定绝对深度信息的过程存在流程繁琐、不够准确和可靠的问题。
技术实现思路
1、为解决或部分解决相关技术中存在的问题，本申请提供一种深度估计模型训练方法、图像深度估计方法、装置、设备及介质，能够高效、准确的估计得到输入图像的绝对深度信息。
2、本申请第一方面提供一种模型训练方法，该方法包括：
3、获取当前帧图像样本、上一帧图像样本以及所述图像样本对应的rtk数据；
4、基于所述rtk数据，计算所述当前帧图像样本与所述上一帧图像样本之间的相对位姿；
5、将所述当前帧图像样本输入待训练的深度估计网络模型，得到深度图像样本；
7、基于所述网络损失值对所述深度估计网络模型进行训练。
8、根据本申请提供的模型训练方法，获取所述图像样本对应的rtk数据，包括：
9、基于所述图像样本的采样时刻，分别获取目标采样时刻在所述采样时刻之前和之后的预设数量的rtk点位姿数据；
10、基于所有的所述rtk点位姿数据，建立位姿曲线方程；其中，所述位姿曲线方程用于表征不同采样时刻对应的rtk点位姿数据；
11、将所述位姿曲线方程中所述图像样本的采样时刻对应的rtk点位姿数据，作为所述图像样本对应的rtk数据。
12、根据本申请提供的模型训练方法，所述基于所述rtk数据，计算所述当前帧图像样本与所述上一帧图像样本之间的相对位姿，包括：
13、基于所述rtk数据，计算当前帧图像样本与所述上一帧图像样本之间的角度变化量以及平移变化量；
14、基于所述角度变化量以及所述平移变化量，计算旋转矩阵和平移矩阵；
15、基于所述旋转矩阵和所述平移矩阵，计算得到所述当前帧图像样本与所述上一帧图像样本之间的相对位姿。
16、根据本申请提供的模型训练方法，所述rtk数据包括所述图像样本对应的采样时刻下相机的翻滚角、俯仰角以及航向角；
17、所述基于所述rtk数据，计算当前帧图像样本与所述上一帧图像样本之间的角度变化量，包括：
18、基于所述当前帧图像样本对应的翻滚角以及所述上一帧图像样本对应的翻滚角，计算所述当前帧图像样本与所述上一帧图像样本之间的翻滚角变化量；
19、基于所述当前帧图像样本对应的俯仰角以及所述上一帧图像样本对应的俯仰角，计算所述当前帧图像样本与所述上一帧图像样本之间的俯仰角变化量；
20、基于所述当前帧图像样本对应的航向角以及所述上一帧图像样本对应的航向角，计算所述当前帧图像样本与所述上一帧图像样本之间的航向角变化量；
21、将所述翻滚角变化量、俯仰角变化量以及航向角变化量作为角度变化量。
22、根据本申请提供的模型训练方法，所述rtk数据包括所述图像样本对应的采样时刻下相机的第一方向平移速度、第二方向平移速度以及第三方向平移速度；
23、基于所述rtk数据，计算当前帧图像样本与所述上一帧图像样本之间的平移变化量，包括：
24、基于所述当前帧图像样本对应的第一方向平移速度、所述上一帧图像样本对应的第一方向平移速度以及相机拍摄间隔时长，计算所述当前帧图像样本与所述上一帧图像样本之间的第一方向平移量；
25、基于所述当前帧图像样本对应的第二方向平移速度、所述上一帧图像样本对应的第二方向平移速度以及相机拍摄间隔时长，计算所述当前帧图像样本与所述上一帧图像样本之间的第二方向平移量；
26、基于所述当前帧图像样本对应的第三方向平移速度、所述上一帧图像样本对应的第三方向平移速度以及相机拍摄间隔时长，计算所述当前帧图像样本与所述上一帧图像样本之间的第三方向平移量；
27、将所述第一方向平移量、第二方向平移量以及第三方向平移量作为平移变化量。
28、根据本申请提供的模型训练方法，所述基于所述当前帧图像样本、上一帧图像样本、相对位姿以及深度图像样本，确定网络损失值，包括：
29、基于所述上一帧图像样本、相对位姿以及深度图像样本，确定重投影图像；
30、计算所述当前帧图像样本与所述重投影图像之间的重投影误差；
31、将所述重投影误差作为网络损失值。
32、本申请第二方面提供一种图像深度估计方法，该方法包括：
33、获取单目图像；
34、将所述单目图像输入深度估计网络模型，得到包含每一像素点的绝对深度信息的深度图像；
35、其中，所述深度估计网络模型是基于如上所述的模型训练方法训练得到的。
36、本申请第三方面提供一种图像深度估计装置，该装置包括：
37、获取模块，用于获取单目图像；
38、估计模块，用于将所述单目图像输入深度估计网络模型，得到包含每一像素点的绝对深度信息的深度图像；
39、其中，所述深度估计网络模型是基于如上所述的模型训练方法训练得到的。
40、本申请第四方面提供一种电子设备，包括：
41、处理器；以及
42、存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
43、本申请第五方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
44、本申请提供的技术方案可以包括以下有益效果：
45、通过rtk数据计算当前帧图像样本与上一帧图像样本之间的相对位姿，进而基于当前帧图像样本、上一帧图像样本、相对位姿以及待训练的深度估计网络模型输出的深度图像样本，确定网络损失值，由于基于rtk数据计算得到的相对位姿，能够真实的反映相邻两帧图像之间的位姿变化状况，因而训练得到的深度估计网络模型能够直接得到绝对深度信息，且训练过程中同时引入了rtk数据和图像数据，不单纯的仅依靠图像数据进行模型训练，训练得到的深度估计网络模型更加精确，因而能够本文档来自技高网...
【技术保护点】
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的模型训练方法，其特征在于，获取所述图像样本对应的RTK数据，包括：
3.根据权利要求1所述的模型训练方法，其特征在于，所述基于所述RTK数据，计算所述当前帧图像样本与所述上一帧图像样本之间的相对位姿，包括：
4.根据权利要求3所述的模型训练方法，其特征在于，所述RTK数据包括所述图像样本对应的采样时刻下相机的翻滚角、俯仰角以及航向角；
5.根据权利要求3所述的模型训练方法，其特征在于，所述RTK数据包括所述图像样本对应的采样时刻下相机的第一方向平移速度、第二方向平移速度以及第三方向平移速度；
6.根据权利要求1所述的模型训练方法，其特征在于，所述基于所述当前帧图像样本、上一帧图像样本、相对位姿以及深度图像样本，确定网络损失值，包括：
7.一种图像深度估计方法，其特征在于，包括：
8.一种图像深度估计装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，其上存
...【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的模型训练方法，其特征在于，获取所述图像样本对应的rtk数据，包括：
3.根据权利要求1所述的模型训练方法，其特征在于，所述基于所述rtk数据，计算所述当前帧图像样本与所述上一帧图像样本之间的相对位姿，包括：
4.根据权利要求3所述的模型训练方法，其特征在于，所述rtk数据包括所述图像样本对应的采样时刻下相机的翻滚角、俯仰角以及航向角；
5.根据权利要求3所述的模型训练方法，其特征在于，所述rtk数据包括所述图像样本对应的采样时刻下相机...
【专利技术属性】
技术研发人员：孟鹏飞，贾双成，万如，
申请(专利权)人：智道网联科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。