用于训练图像处理网络和图像处理的方法和装置制造方法及图纸

本公开提供了用于训练图像处理网络和图像处理的方法、装置、电子设备、存储介质和计算机程序产品，涉及人工智能领域，具体为计算机视觉和深度学习技术领域。具体实现方案为：将左图和右图输入双目深度学习网络，输出第一视差图；将第一视差图转换成第一双目预测深度图；计算第一双目预测深度图的可靠区域；将选取的第一样本的左图或右图输入单目深度估计网络，得到第一单目预测深度图；将可靠区域的深度值作为单目深度估计网络的伪监督信息，计算第一单目预测深度图中与可靠区域对应的区域的深度值的第一损失值；若第一损失值小于预定第一阈值，则单目深度估计网络训练完成。该实施方式减少了人工标注量并提高了单双目深度估计的准确性。

【技术实现步骤摘要】
用于训练图像处理网络和图像处理的方法和装置
本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习
，具体为用于训练图像处理网络和图像处理的方法和装置。
技术介绍
目前，深度估计首先按照传感器可以分为：单目深度估计与双目深度估计，其次，按照是否有监督，又可以进一步细分为：单目有监督深度估计与单目无监督深度估计，其中单目无监督一般需要借助额外的信息，如前后帧视频序列的姿态信息、光流信息等，双目也可分为双目有监督与双目无监督深度估计。有监督的方法需要较高的采集标注成本，如室外需要使用激光雷达、室内需要使用结构光/ToF相机等，并实现激光雷达/深度相机与RGB相机的标定与配准。单目无监督的方法通常需要借助额外的信息，如前后帧视频序列的姿态信息、光流信息等。
技术实现思路
本公开提供了一种用于训练图像处理网络和图像处理的方法、装置、设备、存储介质以及计算机程序产品。根据本公开的第一方面，提供了一种用于训练图像处理网络的方法，包括：获取根据预设损失函数训练的双目深度学习网络和样本集，其中，样本集中的样本包括本文档来自技高网...

【技术保护点】
1.一种用于训练图像处理网络的方法，包括：/n获取根据预设损失函数训练的双目深度学习网络和样本集，其中，所述样本集中的样本包括校正好的左图和右图；/n从所述样本集中选择第一样本，执行如下第一训练步骤：将选取的第一样本的左图和右图输入所述双目深度学习网络，输出第一视差图；将所述第一视差图转换成第一双目预测深度图；计算所述第一双目预测深度图的可靠区域；将选取的第一样本的左图或右图输入单目深度估计网络，得到第一单目预测深度图；将所述可靠区域的深度值作为所述单目深度估计网络的伪监督信息，计算所述第一单目预测深度图中与所述可靠区域对应的区域的深度值的第一损失值；若所述第一损失值小于预定第一阈值，则确定出...

【技术特征摘要】
1.一种用于训练图像处理网络的方法，包括：
获取根据预设损失函数训练的双目深度学习网络和样本集，其中，所述样本集中的样本包括校正好的左图和右图；
从所述样本集中选择第一样本，执行如下第一训练步骤：将选取的第一样本的左图和右图输入所述双目深度学习网络，输出第一视差图；将所述第一视差图转换成第一双目预测深度图；计算所述第一双目预测深度图的可靠区域；将选取的第一样本的左图或右图输入单目深度估计网络，得到第一单目预测深度图；将所述可靠区域的深度值作为所述单目深度估计网络的伪监督信息，计算所述第一单目预测深度图中与所述可靠区域对应的区域的深度值的第一损失值；若所述第一损失值小于预定第一阈值，则确定出所述单目深度估计网络训练完成。


2.根据权利要求1所述的方法，其中，所述方法还包括：
若所述第一损失值不小于预定第一阈值，则调整所述单目深度估计网络的相关参数，以及从所述样本集中重新选取第一样本，使用调整后的单目深度估计网络，继续执行所述第一训练步骤。


3.根据权利要求1所述的方法，其中，所述方法还包括：
从所述样本集中选择第二样本，执行如下第二训练步骤：获取选取的第二样本的第二双目预测深度图，并确定出所述第二双目预测深度图的不可靠区域；将选取的第二样本的左图或右图输入训练完成的单目深度估计网络，得到第二单目预测深度图；将所述不可靠区域的深度值作为双目深度估计网络的伪监督信息，计算所述第二双目预测深度图中与所述不可靠区域对应的区域的深度值的双目损失值；根据所述预设损失函数计算基础损失值；将所述双目损失值和所述基础损失值之和确定为第二损失值；若所述第二损失值小于预定第二阈值，则确定出所述双目深度估计网络训练完成。


4.根据权利要求3所述的方法，其中，所述方法还包括：
若所述第二损失值不小于预定第二阈值，则调整所述双目深度估计网络的相关参数，以及从所述样本集中重新选取第二样本，使用调整后的双目深度估计网络，继续执行所述第二训练步骤。


5.根据权利要求3所述的方法，其中，所述获取选取的第二样本的第二双目预测深度图，并确定出所述第二双目预测深度图的不可靠区域，包括：
若所述第二样本属于第一样本，则将所述第一双目预测深度图确定为第二双目预测深度图，并将所述第一双目预测深度图的可靠区域确定为第二双目预测深度图的可靠区域，将所述第二双目预测深度图中除所述可靠区域之外的区域确定为第二双目预测深度图的不可靠区域。


6.根据权利要求3所述的方法，其中，所述获取选取的第二样本的第二双目预测深度图，并确定出所述第二双目预测深度图的不可靠区域，包括：
若所述第二样本不属于第一样本，则将选取的第二样本的左图和右图输入所述双目深度学习网络，输出第二视差图；将所述第二视差图转换成第二双目预测深度图；计算所述第二双目预测深度图的可靠区域；将所述第二双目预测深度图中除所述可靠区域之外的区域确定为第二双目预测深度图的不可靠区域。


7.根据权利要求1所述的方法，其中，所述获取根据预设损失函数训练的双目深度学习网络，包括：
获取样本集，其中，所述样本集中的样本包括校正好的左图和右图；
从所述样本集中选择第三样本，执行如下第三训练步骤：将选取的第三样本的左图和右图输入初始双目深度学习网络，输出第三视差图；根据所述第三视差图对原始的右图进行重建，得到重建右图；计算所述重建右图与原始的右图之间的光度误差作为基础损失值；若所述基础损失值小于预定第三阈值，则确定出所述初始双目深度学习网络训练完成，得到双目深度学习网络。


8.根据权利要求7所述的方法，其中，所述方法还包括：
若所述基础损失值不小于预定第三阈值，则调整所述初始双目深度学习网络的相关参数，以及从所述样本集中重新选取第三样本，使用调整后的初始双目深度学习网络，继续执行所述第三训练步骤。


9.根据权利要求1-8中任一项所述的方法，其中，所述方法还包括：
迭代交替训练单目深度估计网络与双目深度估计网络，并在每次迭代时，使用上一次得到的预测结果作为伪监督信息。


10.一种图像处理方法，包括：
获取待识别的图像；
若所述图像为校正好的左图和右图，则将所述图像输入根据权利要求3-6中任一项的方法训练的双目深度估计网络，得到双目深度估计值；
若所述图像为单图，则将所述图像输入根据权利要求1-9中任一项的方法训练的单目深度估计网络，得到单目深度估计值。


11.一种用于训练图像处理网络的装置，包括：
获取单元，被配置成获取根据预设损失函数训练的双目深度学习网络和样本集，其中，所述样本集中的样本包括校正好的左图和右图；
第一训练单元，被配置成从所述样本集中选择第一样本，执行如下第一训练步骤：将选取的第一样本的左图和右图输入所述双目深度学习网络，输出第一视差图；将所述第一视差图转换成第一双目...

【专利技术属性】
技术研发人员：叶晓青，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11