【技术实现步骤摘要】
本专利技术属于计算机视觉和图像处理，具体涉及一种基于单目摄像头的交通锥桶3d实时检测方法、系统、设备及介质。
技术介绍
1、交通锥桶常作为复杂路段道路施工和交通管理中常见的标志物，具有重要的实际意义，准确地检测出交通锥桶在三维空间中的信息，可以提高道路安全性、交通效率和施工管理的效果；在自动驾驶场景中，车端摄像头也需要实时地检测出交通锥桶以遵守交通指挥并避障。基于单阶段的目标检测算法能够实时地检测出图像中锥桶的边界框，但是要获取锥桶的深度信息往往需要借助激光雷达或深度相机，其昂贵的成本限制了其在各种工业场景下的应用。计算机视觉的进步表明，即使是单目相机也可以用来揭示锥桶在3d世界中的物理位置，且使用单目相机更具成本效益和可维护性。
2、近年来在检测交通标志和信号灯方面取得了很大的进展，然而交通锥桶的实时检测并没有得到足够的重视，针对道路交通锥桶的现有的目标检测算法能够做到实时地检测目标边界框，然而要获取锥桶在三维空间中的信息则需要借助激光雷达或深度摄像头，这种方案的明显缺点就是造价昂贵，不易维护。
3、公开号为cn114724105a的专利申请文件，公开了一种基于云边端架构的复杂背景下锥桶识别方法，通过云服务器、边缘控制器和终端组成的云边端架构，由终端负责采集图像数据并将采集到的前方路况的图像上传至与其建立通信的边缘控制器，边缘控制器识别图像中的锥桶位置信息并下发回终端设备，但由于该方法必须提前在道路两侧部署边缘控制器与终端建立通信而不能由终端设备直接处理图像数据，从而产生结构复杂、成本昂贵、检测时延大等
4、公开号为cn112183485a的专利申请文件，公开了一种基于深度学习的交通锥桶检测定位方法、系统及存储介质，通过在彩色图像与深度图像中分别检测交通锥桶并对两者的结果进行匹配，得到最终的交通锥桶的类别和三维空间位置，但由于该方法必须借由双目摄像头获取到锥桶的深度信息，且在彩色图像中采取的yolov4算法检测精度和速度都有所不足，从而产生成本较高、检测性能不佳等问题。
技术实现思路
1、为了克服上述现有技术的不足，本专利技术的目的在于提供了一种基于单目摄像头的交通锥桶3d实时检测方法、系统、设备及介质，运用yolov5算法检测出交通锥桶并从原图中提取出各交通锥桶子图像块，再利用基于深度残差网络(resnet)的patchnet回归交通锥桶边缘关键点，并通过逆投影算法完成关键点映射，从而获取锥桶在三维空间的信息；本专利技术方案简单易实现，成本较低，可部署在监控摄像头中，提供及时的道路状况信息，为交通管理部门优化交通规划和决策过程创造条件。
2、为了实现上述目的，本专利技术采取的技术方案是：
3、一种基于单目摄像头的交通锥桶3d实时检测方法，包括以下步骤：
4、s1,收集不同场景下的从单目摄像头中捕捉到的包含交通锥桶的图像帧，构建交通锥桶数据集并手动标注交通锥桶边界框，采用数据增强对交通锥桶数据集进行扩充，将扩充后的交通锥桶数据集用于训练yolov5神经网络模型，并用训练后得到的参数权重对交通锥桶图像进行2d目标检测，得到交通锥桶的类别和边界框；
5、s2，通过步骤s1得到的类别和边界框提取出各交通锥桶子图像块，使用基于深度残差网络(resnet)的patchnet对交通锥桶子图像块进行关键点回归；
6、s3，使用逆投影算法将步骤s2回归后的交通锥桶关键点映射到三维空间，得到交通锥桶的三维空间信息。
7、所述步骤s1的具体流程如下：
8、s1-1，收集真实道路场景下的从单目摄像头中捕捉到的包含交通锥桶的图像帧，构建交通锥桶图像数据集，交通锥桶图像数据集包括一天中不同时间、不同季节、不同的光照强度、不同角度的样本，对交通锥桶图像数据集进行手动标注，得到交通锥桶的类别和边界框的归一化像素坐标；
9、s1-2，对步骤s1-1得到的交通锥桶图像数据集采用数据增强进行扩充，包括随机缩放和裁剪、随机水平翻转和旋转、混合(mixup)、高斯加噪、hsv变换、复制粘贴(copypaste)；
10、s1-3，对步骤s1-1手动标注的交通锥桶边界框进行聚类，预先生成三个不同尺寸的先验框；
11、s1-4，设置yolov5神经网络模型超参数，将步骤s1-2处理后的交通锥桶图像数据集随机打乱并分成训练集、验证集和测试集，在训练集和验证集上迭代训练以更新yolov5神经网络模型的参数，保留平均精度(map)最高的轮次的训练权重，在测试集上评估检测性能，如果检测精确率达到88％以上，召回率达到85％以上则视作训练完成，利用训练后的参数对交通锥桶图像进行2d目标检测，yolov5神经网络模型基于s1-3中生成的先验框预测锥桶实际位置相对于先验框的归一化偏移量，最后输出各交通锥桶的边界框信息。
12、所述步骤s2具体流程如下：
13、s2-1，根据步骤s1-4得到的各交通锥桶的边界框信息，使用opencv从检测后的图像中提取出各交通锥桶子图像块；
14、s2-2，将步骤s2-1提取出的各交通锥桶子图像块从rgb转换为hsv，并过滤出v或s值低于0.3的像素；
15、s2-3，将经步骤s2-2处理后的各交通锥桶子图像块统一下采样并输入到基于深度残差网络(resnet)的patchnet中，输出交通锥桶边缘七个关键点的坐标，七个关键点包括圆锥体的顶点，中心条纹、背景和上/下条纹相交的四个点，以及圆锥体底部左右两侧的两个点，从上到下、从左到右分别用p0,p1,p2,p3,p4,p5,p6表示；
16、使用先验姿态信息约束关键点回归任务，基于深度残差网络(resnet)的patchnet的损失函数由各预测关键点绝对坐标的均方误差和关键点之间的向量平行误差组成，其数学方程为：
17、losstotal＝lmse+γhorz(2-v12·v34-v34·v56)+γvert(4-v01·v13-v13·v35-v02·v24-v24v46)。
18、所述步骤s3的具体流程如下：
19、s3-1，将步骤s2-3中从交通锥桶子图像中预测出的关键点像素坐标缩放到原图像尺寸大小；
20、s3-2，借助标定板对单目相机进行标定，获取相机内参，焦距f、光心坐标oc；
21、s3-3，根据步骤s3-2测量的单目相机标定参数计算像素坐标系和图像坐标系、图像坐标系和相机坐标系之间的转换矩阵；
22、像素坐标系的原点为图像左上角，单位为像素(pixel)；图像坐标系中，光心为图像中点，单位为毫米(mm)；相机坐标系的原点为光心，单位为米(m)；设三维空间中某一点p，其在像素坐标系中的坐标为(x,y)，在图像坐标系中的坐标为(u,v)，在相机坐标系中的坐标为(xc,yc,zc)，其中：
23、像素坐标系和图像坐标系坐标转换关系是：
24、
25、图像坐标系和相机坐本文档来自技高网...
【技术保护点】
1.一种基于单目摄像头的交通锥桶3D实时检测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于单目摄像头的交通锥桶3D实时检测方法，其特征在于：所述步骤S1的具体流程如下：
3.根据权利要求1所述的一种基于单目摄像头的交通锥桶3D实时检测方法，其特征在于：所述步骤S2具体流程如下：
4.根据权利要求1所述的一种基于单目摄像头的交通锥桶3D实时检测方法，其特征在于：所述步骤S3的具体流程如下：
5.根据权利要求3所述的一种基于单目摄像头的交通锥桶3D实时检测方法，其特征在于：所述步骤S2-3中的基于深度残差网络(Resnet)的卷积神经网络PatchNet，以80*80*3的子图像块作为输入，并将其映射到R14，空间维度选择为80*80，即交通锥桶边界框的平均尺寸，输入图像先经过一个大小为64*7*7的卷积层、BatchNorm层和ReLU激活函数，然后再依次输入到通道数C为64、128、256、512的深度残差网络基本模块(Resnet Basic Block)，通道数为C的深度残差网络基本模块(Resnet Bas
6.基于权利要求1-5任一项所述的一种基于单目摄像头的交通锥桶3D实时检测系统，其特征在于：包括：
7.一种基于单目摄像头的交通锥桶3D实时检测设备，其特征在于：包括：
8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现权利要求1-5任一项所述的一种基于单目摄像头的交通锥桶3D实时检测方法。
...【技术特征摘要】
1.一种基于单目摄像头的交通锥桶3d实时检测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于单目摄像头的交通锥桶3d实时检测方法，其特征在于：所述步骤s1的具体流程如下：
3.根据权利要求1所述的一种基于单目摄像头的交通锥桶3d实时检测方法，其特征在于：所述步骤s2具体流程如下：
4.根据权利要求1所述的一种基于单目摄像头的交通锥桶3d实时检测方法，其特征在于：所述步骤s3的具体流程如下：
5.根据权利要求3所述的一种基于单目摄像头的交通锥桶3d实时检测方法，其特征在于：所述步骤s2-3中的基于深度残差网络(resnet)的卷积神经网络patchnet，以80*80*3的子图像块作为输入，并将其映射到r14，空间维度选择为80*80，即交通锥桶边界框的平均尺寸，输入图像先经过一个大小为64*7*7的卷积层、batchnorm层和relu激活函数，然后再依次输入到通道数c为64、128、256、512的深度残差网络基本模块(resnet ...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。