【技术实现步骤摘要】
本专利技术涉及图像处理领域，尤其涉及一种深度识别模型训练方法、图像深度识别方法及相关设备。
技术介绍
1、在目前对车载图像进行深度识别的方案中，可利用图像分割网络对图像进行准确分割，再基于分割后的图像进行深度识别。然而，由于图像分割网络的网络参数多而复杂，会导致图像分割这一过程的耗费时间长，从而导致图像的深度识别效率不高。因此，如何提高图像的深度识别效率成为了一个需要解决的技术问题。
技术实现思路
1、鉴于以上内容，有必要提供一种深度识别模型训练方法、图像深度识别方法及相关设备，解决了图像的深度识别效率不高的技术问题。
2、本申请提供一种深度识别模型训练方法，所述深度识别模型训练方法包括：获取所述拍摄设备拍摄的第一图像及第二图像，构建地平面分割网络，使用所述地平面分割网络对所述第一图像进行分割，确定所述第一图像中的地平面区域，基于所述第一图像、所述第一图像对应的初始深度图像及同时与所述第一图像及所述第二图像对应的位姿矩阵，生成所述第一图像的投影图像，基于预先获取的深度识别网络、所述拍摄设备、所述初始深度图像及所述第一图像中的地平面区域，生成所述深度识别网络的目标高度损失，根据所述初始深度图像与所述第一图像之间的梯度损失及所述投影图像与所述第一图像之间的光度损失，计算所述深度识别网络的深度损失，基于所述深度损失及所述目标高度损失，调整所述深度识别网络，得到深度识别模型。
3、根据本申请可选实施例，所述构建地平面分割网络包括：获取高分辨率网络，其中，所述高分辨率
4、根据本申请可选实施例，所述地平面分割网络还包括分类层，所述使用所述地平面分割网络对所述第一图像进行分割，得到所述第一图像中的地平面区域包括：将所述第一图像输入到所述地平面分割网络中的图像分辨网络进行处理，得到所述图像分辨网络中的所述第三分辨网络在每个分支网络所输出的第三分支特征图，将多个所述第三分支特征图输入到对应的输出层中进行卷积操作，得到每个输出层输出的目标特征图，将多个所述目标特征图进行特征融合，得到融合特征图，将所述融合特征图输入到所述分类层中进行分类，得到所述第一图像中每个预设类别对应的初始对象，选取所述预设类别为地平面类别对应的初始对象所占的区域作为所述地平面区域。
5、根据本申请可选实施例，所述将所述第一图像输入到所述地平面分割网络中的图像分辨网络进行处理，得到所述图像分辨网络中的所述第三分辨网络在每个分支网络所输出的第三分支特征图包括：将所述第一图像输入到所述第一分辨网络的主干网络中进行特征提取，得到所述第一分辨网络的主干网络所输出的第一主干特征图，将所述第一主干特征图输入到所述第一分辨网络的每个分支网络中进行卷积运算，得到所述第一分辨网络中的每个分支网络输出的第一分支特征图，将多个所述第一分支特征图输入至所述第二分辨网络进行特征提取，得到所述第二分辨网络所输出的第二分支特征图，并将多个所述第二特征图输入至所述第三分辨网络进行特征提取，得到所述第三分支特征图。
6、根据本申请可选实施例，所述第一图像及所述第二图像中包括相同的初始对象，所述基于所述第一图像、所述第一图像对应的初始深度图像及同时与所述第一图像及所述第二图像对应的位姿矩阵生成所述第一图像的投影图像包括：将所述第一图像中所述相同的初始对象对应的像素点确定为第一像素点，并将所述第二图像中所述相同的初始对象对应的像素点确定为第二像素点，获取所述第一像素点的第一齐次坐标矩阵，并获取所述第二像素点的第二齐次坐标矩阵，获取所述拍摄设备的内参矩阵的逆矩阵，根据所述第一齐次坐标矩阵及所述内参矩阵的逆矩阵计算出所述第一像素点的第一相机坐标，并根据所述第二齐次坐标矩阵及所述内参矩阵的逆矩阵计算出所述第二像素点的第二相机坐标，基于预设对极约束关系式对所述第一相机坐标及所述第二相机坐标进行计算，得到旋转矩阵及平移矩阵，将所述旋转矩阵及所述平移矩阵进行拼接，得到所述位姿矩阵，获取所述第一图像中每个像素点的齐次坐标矩阵，并从所述初始深度图像中获取所述第一图像中每个像素点的深度值，基于所述位姿矩阵、每个像素点的齐次坐标矩阵及每个像素点的深度值计算出所述第一图像中每个像素点的投影坐标，根据每个像素点的投影坐标对每个像素点进行排列处理，得到所述投影图像。
7、根据本申请可选实施例，所述基于所述拍摄设备、所述初始深度图像及所述第一图像中的地平面区域生成所述深度识别网络的目标高度损失包括：获取所述拍摄设备的光心到所述地平面区域的真实世界高度，基于所述第一图像及所述拍摄设备构建相机坐标系，根据所述相机坐标系中所述地平面区域的每个地面像素点的坐标计算出投影高度，根据所述初始深度图像中像素点的像素坐标、所述投影高度及所述真实世界高度计算出所述目标高度损失。
8、根据本申请可选实施例，所述根据所述相机坐标系中所述地平面区域的每个地面像素点的坐标计算出投影高度包括：获取所述相机坐标系中所述地平面区域的任一地面像素点的坐标，根据所述任一地面像素点的坐标计算出单位法向量，将以所述拍摄设备的光心为起点及以每个地面像素点为终点构成的向量确定为该地面像素点的目标向量，根据每个地面像素点的目标向量与所述单位法向量计算出每个地面像素点对应的投影距离，将所有地面像素点对应的投影距离进行加权平均运算，得到所述投影高度。
9、根据本申请可选实施例，所述基于预先获取的深度识别网络、所述拍摄设备、所述初始深度图像及所述第一图像中的地平面区域，生成所述深度识别网络的目标高度损失包括：计算所述真实世界高度与所述投影高度的高度比值，将所述高度比值与所述初始深度图像中每个像素点的像素坐标进行相乘运算，得到每个像素点对应的深度坐标，根据所述初始深度图像中每个像素点的像素坐标及对应的深度坐标生成第一高度损失，将所述平移矩阵与所述高度比值进行相乘运算，得到相乘矩阵，根据所述相乘矩阵及所述平移矩阵生成第二高度损失，根据所述第一高度损失及所述第二高度损失生成所述目标高度损失。
10、本申请提供一种图像深度识别方法，所述图像深度识别方法包括：获取待识别图像，将所述待识别图像输入到深度识别模型中，得到所述待识别图像的目标深度图像及所述待识别图像的深度信息，所述深度识别模型通过执行如所述的深度识别模型训练方法而获得。
【技术保护点】
1.一种深度识别模型训练方法，应用于电子设备，所述电子设备与拍摄设备相通信，其特征在于，所述深度识别模型训练方法包括：
2.如权利要求1所述的深度识别模型训练方法，其特征在于，所述构建地平面分割网络包括：
3.如权利要求2所述的深度识别模型训练方法，其特征在于，所述地平面分割网络还包括分类层，所述使用所述地平面分割网络对所述第一图像进行分割，得到所述第一图像中的地平面区域包括：
4.如权利要求3所述的深度识别模型训练方法，其特征在于，所述将所述第一图像输入到所述地平面分割网络中的图像分辨网络进行处理，得到所述图像分辨网络中的所述第三分辨网络在每个分支网络所输出的第三分支特征图包括：
5.如权利要求1所述的深度识别模型训练方法，其特征在于，所述第一图像及所述第二图像中包括相同的初始对象，所述基于所述第一图像、所述第一图像对应的初始深度图像及同时与所述第一图像及所述第二图像对应的位姿矩阵，生成所述第一图像的投影图像包括：
6.如权利要求5所述的深度识别模型训练方法，其特征在于，所述基于预先获取的深度识别网络、所述拍摄设备、所
7.如权利要求6所述的深度识别模型训练方法，其特征在于，所述根据所述相机坐标系中所述地平面区域的每个地面像素点的坐标计算出投影高度包括：
8.如权利要求6所述的深度识别模型训练方法，其特征在于，所述根据所述初始深度图像中像素点的像素坐标、所述投影高度及所述真实世界高度计算出所述目标高度损失包括：
9.一种图像深度识别方法，其特征在于，所述图像深度识别方法包括：
10.一种电子设备，其特征在于，所述电子设备包括：
...【技术特征摘要】
1.一种深度识别模型训练方法，应用于电子设备，所述电子设备与拍摄设备相通信，其特征在于，所述深度识别模型训练方法包括：
2.如权利要求1所述的深度识别模型训练方法，其特征在于，所述构建地平面分割网络包括：
3.如权利要求2所述的深度识别模型训练方法，其特征在于，所述地平面分割网络还包括分类层，所述使用所述地平面分割网络对所述第一图像进行分割，得到所述第一图像中的地平面区域包括：
4.如权利要求3所述的深度识别模型训练方法，其特征在于，所述将所述第一图像输入到所述地平面分割网络中的图像分辨网络进行处理，得到所述图像分辨网络中的所述第三分辨网络在每个分支网络所输出的第三分支特征图包括：
5.如权利要求1所述的深度识别模型训练方法，其特征在于，所述第一图像及所述第二图像中包括相同的初始对象，所述基于所述第一图像、所述第一...
【专利技术属性】
技术研发人员：简士超，郭锦斌，
申请(专利权)人：鸿海精密工业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。