【技术实现步骤摘要】
本专利技术涉及人工智能,特别是涉及一种基于yolo的隧道障碍物检测方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。
2、隧道施工环境较为恶劣,使用机器人代替工人进行隧道环境下的危险性高、施工难度大的工作,可以有效提高工作效率,保障工作人员的生命安全。
3、目前的隧道机器人自主能力不高,导致其避障可靠性和工作效率较低。因此机器人需要具备自主避障的功能,而实现自主避障的前提是需要对机器人前方的障碍物进行高精度的识别检测。
技术实现思路
1、为了解决上述问题,本专利技术提出了一种基于yolo的隧道障碍物检测方法及系统,基于yolov5模型,并针对隧道施工场景的特殊性,对yolov5模型进行一系列适应性改进,提升了隧道障碍物的检测精度的同时能够更快的识别检测出目标。
2、为了实现上述目的,本专利技术采用如下技术方案:
3、第一方面,本专利技术提供一种基于yolo的隧道障碍物检测方法,包括以下步骤:
4、采集隧道施工场景中的图像数据,并对图像数据集进行标注;
5、提取图像的光照特征,获得光照特征图,基于光照特征图统计图像的光照分布,根据图像的光照分布动态调整图像的亮度和对比度,获得第一图像,对第一图像进行特征提取,获得第一特征图;
6、提取隧道的几何特征,基于隧道的几何特征获得隧道位置分布图,将隧道位置分布图与第一特征图进行融合,获得联合特征图,利用联合
7、定义损失函数,优化模型参数,获得训练好的隧道障碍物检测模型;
8、利用训练好的隧道障碍物检测模型对待检测图像进行检测。
9、作为可选择的实施方式,还包括对采集的隧道施工场景中的图像数据进行预处理,具体为:
10、对图像进行镜像翻转操作,利用swin-enlightengan算法,对较为昏暗的图像进行亮度增强处理,最后将图像随机划分为训练集、验证集和测试集。
11、作为可选择的实施方式,使用swin-unet替换enlightengan生成器网络中的unet架构得到所述swin-enlightengan算法。
12、作为可选择的实施方式,利用swin transformer网络提取图像的光照特征,所述swin transformer网络在特定层次上引入多尺度注意力机制,以捕捉不同空间范围内的光照变化,且swin transformer网络具有滑动窗口机制,通过层级递进的方式,处理不同分辨率下的图像。
13、作为可选择的实施方式,基于隧道的几何特征获得隧道位置分布图,具体为:
14、通过卷积神经网络提取隧道的几何特征,获得几何结构图,基于几何结构图和障碍物的位置分布信息,获得隧道位置分布图,并显示物体在隧道中出现的概率区域。
15、作为可选择的实施方式,定义损失函数为focalloss,并针对数据集对focalloss损失函数中的参数进行修改,增强模型对昏暗图像的检测能力。
16、第二方面,本专利技术提供一种基于yolo的隧道障碍物检测系统,包括:
17、数据获取模块,被配置为:采集隧道施工场景中的图像数据,并对图像数据集进行标注;
18、特征提取模块,被配置为:提取图像的光照特征,获得光照特征图,基于光照特征图统计图像的光照分布,根据图像的光照分布动态调整图像的亮度和对比度,获得第一图像,对第一图像进行特征提取,获得第一特征图;
19、环境特征辅助模块,被配置为:提取隧道的几何特征,基于隧道的几何特征获得隧道位置分布图,将隧道位置分布图与第一特征图进行融合,获得联合特征图,利用联合特征图进行隧道障碍物检测;
20、模型训练模块,被配置为:定义损失函数,优化模型参数,获得训练好的隧道障碍物检测模型;
21、输出模块,被配置为:利用训练好的隧道障碍物检测模型对待检测图像进行检测。
22、第三方面,本专利技术提供一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成第一方面所述的方法。
23、第四方面,本专利技术提供一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成第一方面所述的方法。
24、第五方面,本专利技术提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现完成第一方面所述的方法。
25、与现有技术相比,本专利技术的有益效果为:
26、本公开提出一种基于yolo的隧道障碍物检测方法及系统,利用改进的swin-enlightengan算法对低光照图像进行增强处理,提高了昏暗图像的对比度,通过swintransforme网络提取图像的光照特征,将不同尺度下的光照特征结合到yolov5主干网络中,增强模型在复杂光照环境下的感知能力。根据图像的全局光照信息,动态调整图像的亮度和对比度,从而消除隧道环境下的光照不均匀性。通过上述操作,图像的亮度和对比度将被调整到期望的状态,使得在隧道环境中图像特征更容易被提取。并构建了隧道环境模型,利用环境特征辅助目标检测,且针对昏暗场景,修改yolov5模型的损失函数。通过对yolov5模型进行一系列的适应性改进,使得模型能够直接给出物体的类别概率和位置,同时对原模型进行了轻量化处理,使得模型在保持较高精度的前提下,能够更快的识别检测出目标,满足隧道场景下对障碍物的高效、准确的识别检测需求。
27、本专利技术附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.一种基于YOLO的隧道障碍物检测方法,其特征在于,包括以下步骤:
2.如权利要求1所述的一种基于YOLO的隧道障碍物检测方法,其特征在于,还包括对采集的隧道施工场景中的图像数据进行预处理,具体为:
3.如权利要求2所述的一种基于YOLO的隧道障碍物检测方法,其特征在于,使用Swin-UNet替换EnlightenGAN生成器网络中的UNet架构得到所述Swin-EnlightenGAN算法。
4.如权利要求1所述的一种基于YOLO的隧道障碍物检测方法,其特征在于,利用SwinTransformer网络提取图像的光照特征,所述Swin Transformer网络在特定层次上引入多尺度注意力机制,以捕捉不同空间范围内的光照变化,且Swin Transformer网络具有滑动窗口机制,通过层级递进的方式,处理不同分辨率下的图像。
5.如权利要求1所述的一种基于YOLO的隧道障碍物检测方法,其特征在于,基于隧道的几何特征获得隧道位置分布图,具体为:
6.如权利要求4所述的一种基于YOLO的隧道障碍物检测方法,其特征在于,定义
7.一种基于YOLO的隧道障碍物检测系统,其特征在于,包括:
8.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1-6任一项所述的方法。
10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被处理器执行时实现完成权利要求1-6任一项所述的方法。
...【技术特征摘要】
1.一种基于yolo的隧道障碍物检测方法,其特征在于,包括以下步骤:
2.如权利要求1所述的一种基于yolo的隧道障碍物检测方法,其特征在于,还包括对采集的隧道施工场景中的图像数据进行预处理,具体为:
3.如权利要求2所述的一种基于yolo的隧道障碍物检测方法,其特征在于,使用swin-unet替换enlightengan生成器网络中的unet架构得到所述swin-enlightengan算法。
4.如权利要求1所述的一种基于yolo的隧道障碍物检测方法,其特征在于,利用swintransformer网络提取图像的光照特征,所述swin transformer网络在特定层次上引入多尺度注意力机制,以捕捉不同空间范围内的光照变化,且swin transformer网络具有滑动窗口机制,通过层级递进的方式,处理不同分辨率下的图像。
5.如权利要求1所述的一种基于yo...
【专利技术属性】
技术研发人员:孙子正,唐苑寿,王红梅,李英杰,王睿,李政岳,裘一涵,张庆泽,孟琪,潘晓龙,
申请(专利权)人:山东大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。