【技术实现步骤摘要】
模型训练和图像处理方法、装置、设备及存储介质
[0001]本公开涉及人工智能
，尤其涉及计算机视觉、3D视觉和深度学习技术，具有涉及一种模型训练和图像处理方法、装置、设备及存储介质。
技术介绍
[0002]在各类3D视觉参与的任务，如增强现实以及自动驾驶等任务中，精准确定拍摄视频图像帧的深度图是十分重要的一环。然而，现有的确定深度图的深度估计模型准确性较低，亟需改进。
技术实现思路
[0003]本公开提供了一种模型训练和图像处理方法、装置、设备及存储介质。
[0004]根据本公开的一方面，提供了一种模型训练方法，该方法包括：
[0005]将单目视频中相邻两图像帧输入至位姿估计模型，得到所述相邻两图像帧中第一图像帧到第二图像帧的位姿变换信息，以及将所述第一图像帧输入至深度估计模型，得到所述第一图像帧的深度图；
[0006]根据相机内参、所述位姿变换信息和所述深度图，以及所述第一图像帧中像素点的像素特征和描述特征，构建所述第二图像帧的重构图；其中，所述描述特征包括全局描述特征和/或局
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，包括：将单目视频中相邻两图像帧输入至位姿估计模型，得到所述相邻两图像帧中第一图像帧到第二图像帧的位姿变换信息，以及将所述第一图像帧输入至深度估计模型，得到所述第一图像帧的深度图；根据相机内参、所述位姿变换信息和所述深度图，以及所述第一图像帧中像素点的像素特征和描述特征，构建所述第二图像帧的重构图；其中，所述描述特征包括全局描述特征和/或局部描述特征；根据所述第二图像帧和所述重构图，对所述位姿估计模型和所述深度估计模型进行联合训练。2.根据权利要求1所述的方法，其中，所述根据相机内参、所述位姿变换信息和所述深度图，以及所述第一图像帧中像素点的像素特征和描述特征，构建所述第二图像帧的重构图，包括：根据相机内参、所述位姿变换信息和所述深度图，以及所述第一图像帧中像素点的像素特征，构建所述第二图像帧的第一重构图；根据相机内参、所述位姿变换信息和所述深度图，以及所述第一图像帧中像素点的描述特征，构建所述第二图像帧的第二重构图。3.根据权利要求2所述的方法，其中，所述根据相机内参、所述位姿变换信息和所述深度图，以及所述第一图像帧中像素点的描述特征，构建所述第二图像帧的第二重构图，包括：根据相机内参、所述位姿变换信息和所述深度图，以及所述第一图像帧中像素点的全局描述特征，构建所述第二重构图中的第一子图；和/或，根据相机内参、所述位姿变换信息和所述深度图，以及所述第一图像帧中像素点的局部描述特征，构建所述第二重构图中的第二子图。4.根据权利要求2所述的方法，其中，所述根据相机内参、所述位姿变换信息和所述深度图，以及所述第一图像帧中像素点的描述特征，构建所述第二图像帧的第二重构图，包括：对所述第一图像帧中像素点的全局描述特征和所述局部描述特征进行融合，得到融合特征；根据相机内参、所述位姿变换信息和所述深度图，以及融合特征，构建所述第二图像帧的第二重构图。5.根据权利要求3所述的方法，其中，所述根据所述第二图像帧和所述重构图，对所述位姿估计模型和所述深度估计模型进行联合训练，包括：根据应用场景信息，对所述第二图像帧和所述第一子图之间的第二相似度差异，以及第二图像帧和所述第二子图之间的第三相似度差异进行更新；根据所述第二图像帧和所述第一重构图之间的第一相似度差异，更新后的第二相似度差异，以及更新后的第三相似度差异，确定训练损失；采用所述训练损失，对所述位姿估计模型和所述深度估计模型进行联合训练。6.根据权利要求1所述的方法，还包括：对原始视频中的移动物体进行删除，得到所述单目视频。
7.一种图像处理方法，包括：获取目标图像帧；将所述目标图像帧输入至训练后的深度估计模型，得到所述目标图像帧的深度图；其中，所述深度估计模型是通过权利要求1
‑
6中任一所述的模型训练方法训练得到。8.一种模型训练装置，包括：位姿深度信息确定模块，用于将单目视频中相邻两图像帧输入至位姿估计模型，得到所述相邻两图像帧中第一图像帧到第二图像帧的位姿变换信息，以及将所述第一图像帧输入至深度估计模型，得到所述第一图像帧的深度图；重构图确定模块，用于根据相机内参、所述位姿变换...
【专利技术属性】
技术研发人员：杨威，叶晓青，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。