一种基于改进YOLOv3模型的深度估计方法技术

本发明专利技术公开了一种基于改进YOLOv3模型的深度估计方法。深度估计是机器人视觉感知中实现对周围环境物体定位的关键步骤之一，基于特征点的深度估计方法以点表示物体，不能直接将深度估计结果等同物间垂直距离，因此在物体定位和高精度地图匹配中应用受限。本发明专利技术以深度卷积神经网络与深度估计应用结合为基础，针对性改进YOLOv3模型的损失函数，增加模型对左右视图中目标

【技术实现步骤摘要】
一种基于改进YOLOv3模型的深度估计方法
本专利技术涉及智能体自主导航和环境感知领域，特别涉及一种基于改进YOLOv3模型的深度估计方法。
技术介绍
智能体为实现安全可靠的自主导航需要具备完善的环境感知功能，环境感知中需要对智能体周围环境的各类目标进行准确识别和深度估计。基于机器视觉的环境感知最早使用人为设计的浅层目标特征，如SIFT特征、HOG特征、局部二值特征等，由于现实环境复杂多变且光照强度不均匀等，此类特征的检测效果不够稳定。将此类特征点代表环境目标进行深度估计，在立体目标上缺乏表达性且估计误差很大。当前智能体环境感知任务中，通常将目标检测和深度估计作为两个独立的部分来处理，两部分之间处理的信息不能共享，很大程度上造成了计算资源的浪费。随着人工智能的发展，智能体逐渐应用深度卷积神经网络来完成环境感知任务。相比于人为设计特征的感知方式，深度卷积神经网络对环境特征的感知更加丰富和多层次，且能够通过从大规模数据集中不断学习当前任务的特征表达，从而获得更优的感知效果。因此研究基于深度卷积神经网络的深度估计方法，以实现目标检测和深度估计端到端处理，具有重要的现实意义。
技术实现思路
专利技术目的：针对上述现有技术，提出基于深度卷积神经网络的目标深度估计方法，实现目标检测和深度估计的有效融合和端到端处理，并通过改进原有模型提高深度估计的整体精度，为智能体自主导航和环境感知提供基础。技术方案：一种基于改进YOLOv3模型的深度估计方法，首先采用改进YOLOv3模型对左右视图分别进行目标检测；然后根据目标检测信息进行左右视图间的目标匹配；最后基于目标匹配结果完成对各类目标的深度估计。进一步的，一种基于改进YOLOv3模型的深度估计方法包括如下具体步骤：步骤1)，采用改进YOLOv3模型对左右视图分别进行目标检测，包括如下具体步骤：a)，对原始YOLOv3模型的损失函数进行改进并针对性训练，其中x误差项正向赋值，其余项固定赋值，损失函数如式(1)所示：式中，K为输入层网格数；M为单个网格预测的锚框数；为目标的判断标志；w、h、x、y和分别为目标检测框宽、高、质心坐标的真值和预测值；n为目标类别数；r为当前类别索引；truthclass、truthconf和predictconf为类别、置信度真值和预测值；b)，用改进的模型YOLOv3对左右视图分别进行目标检测，输出左右视图的目标检测框组BL＝{BL1,BL2,…,BLi,BLn}、BR＝{BR1,BR2,…,BRj,BRm}和对应类别组ClassL、ClassR，并由式(2)得到左右视图中目标检测框的像素面积Sli、Srj和质心坐标Cli(uli,vli)、Crj(urj,vrj):式中，xl1、yl1和xr1、yr1分别是左右视图中目标检测框左上顶点的像素坐标，xl2、yl2和xr2、yr2分别是左右视图中目标检测框右下顶点的像素坐标；步骤2)，根据目标检测信息进行左右视图间的目标匹配，包括如下具体步骤：a)，计算左右视图中任意两目标检测框的像素面积差Seij和质心v轴像素坐标差Veij，如式(3)所示：b)，对上述任意两目标检测框进行目标匹配，若满足条件则匹配成功，不满足条件则遍历至下一组重新进行目标匹配，匹配成功条件如式(4)所示：式中，A、B为像素阈值；步骤3)，基于目标匹配结果完成对各类目标的深度估计，包括如下具体步骤：a)，对匹配成功的目标检测框组进行像素视差计算，然后将像素视差转换成视差，过程如式(5)所示：式中Di为像素视差；di为视差；XLi、XRj分别是左右质心在物理成像平面坐标系下的横坐标；α为成像平面坐标系与像素坐标系的横轴缩放比例系数；b)，使用上述得到的视差对目标进行深度估计，过程如式(6)所示：式中zi为目标深度；b为双目相机基线；fx为相机内参数矩阵中的标量；进一步的，当进行步骤2)时，将左视图中目标检测框BL1同右视图中目标检测框组BR进行遍历匹配，若某一对目标检测框满足式(4)要求，则目标匹配成功，并将右视图中该匹配成功的目标检测框移除目标检测框组BR，且不再进行目标检测框BL1对应的后续框组遍历匹配，转而进行目标检测框BL2对应的框组遍历匹配，如此循环直至结束。有益效果：本专利技术所提出的一种基于改进YOLOv3模型的深度估计方法，将基于深度卷积神经网络的目标检测信息用于深度估计，实现目标检测和深度估计的端到端处理；在对原始YOLOv3模型的改进过程中，结合深度估计的几何原理修改模型的损失函数并针对性训练，重点增强模型对左右视图中目标u轴坐标变化的敏感程度，从而实现改进模型对深度估计精度的控制。使用本专利技术所提出的方法，可极大地节省智能体环境感知的计算资源；同时，相较应用于原始模型，目标的深度估计精度得到了显著提升。附图说明图1深度估计方法流程图；图2深度估计方法各步骤示意图；图3双目相机深度估计模型；图4像素视差计算模型；图5改进YOLOv3模型训练的损失变化；图6改进YOLOv3模型测试效果；图7所提方法与原始模型的深度估计精度对比；具体实施方式下面结合附图和具体实施方式，进一步阐明本专利技术，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。一种基于改进YOLOv3模型的深度估计方法，使用基于深度卷积神经网络的目标检测和双目相机深度估计模型相结合的策略对目标进行深度估计，针对深度估计任务在原始YOLOv3模型的基础上进行了相关改进，将部分目标检测信息用于深度估计，实现对目标类别、定位和深度估计信息的全部输出；包括如下具体步骤：步骤1)，采用改进YOLOv3模型对左右视图分别进行目标检测，包括如下具体步骤：a)，对原始YOLOv3模型的损失函数进行改进并针对性训练，其中x误差项正向赋值，其余项固定赋值，损失函数如式(1)所示：式中，K为输入层网格数；M为单个网格预测的锚框数；为目标的判断标志；w、h、x、y和分别为目标检测框宽、高、质心坐标的真值和预测值；n为目标类别数；r为当前类别索引；truthclass、truthconf和predictclassr、predictconf为类别、置信度真值和预测值；b)，用改进的模型YOLOv3对左右视图分别进行目标检测，输出左右视图的目标检测框组BL＝{BL1,BL2,…,BLi,BLn}、BR＝{BR1,BR2,…,BRj,BRm}和对应类别组ClassL、ClassR，并由式(2)得到左右视图中目标检测框的像素面积Sli、Srj和质心坐标Cli(uli,vli)、Crj(urj,vrj)：式中，xl1、yl1和xr1、yr1分别是左右视图中目标检测框左上顶点的像素坐标，xl2、yl2和xr2、yr2分别是左右视图中目标检测框右下顶点的像素坐标；...

【技术保护点】
1.一种基于改进YOLOv3模型的深度估计方法，其特征在于：首先采用改进YOLOv3模型对左右视图分别进行目标检测；然后根据目标检测信息进行左右视图间的目标匹配；最后基于目标匹配结果完成对各类目标的深度估计。/n

【技术特征摘要】
1.一种基于改进YOLOv3模型的深度估计方法，其特征在于：首先采用改进YOLOv3模型对左右视图分别进行目标检测；然后根据目标检测信息进行左右视图间的目标匹配；最后基于目标匹配结果完成对各类目标的深度估计。


2.根据权利要求1所述的基于改进YOLOv3模型的深度估计方法，其特征在于，包括如下具体步骤：
步骤1)，采用改进YOLOv3模型对左右视图分别进行目标检测，包括如下具体步骤：
a)，对原始YOLOv3模型的损失函数进行改进并针对性训练，其中x误差项正向赋值，其余项固定赋值，损失函数如式(1)所示：



式中，K为输入层网格数；M为单个网格预测的锚框数；为目标的判断标志；w、h、x、y和分别为目标检测框宽、高、质心坐标的真值和预测值；n为目标类别数；r为当前类别索引；truthclass、truthconf和predictclassr、predictconf为类别、置信度真值和预测值；
b)，用改进的模型YOLOv3对左右视图分别进行目标检测，输出左右视图的目标检测框组BL＝{BL1,BL2,…,BLi,BLn}、BR＝{BR1,BR2,…,BRj,BRm}和对应类别组ClassL、ClassR，并由式(2)得到左右视图中目标检测框的像素面积Sli、Srj和质心坐标Cli(uli,vli)、Crj(urj,vrj)：



式中，xl1、yl1和xr1、yr1分别是左右视图中目标检测框左上顶点的像素坐标，xl2、yl2和xr2、yr2分别是左右视图中目...

【专利技术属性】
技术研发人员：潘树国，魏建胜，高旺，赵涛，孙迎春，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32