【技术实现步骤摘要】
本专利技术属于垃圾清扫车，具体为一种基于改进yolov8的无人垃圾清扫车视觉垃圾识别方法。
技术介绍
1、随着人工智能技术、计算机视觉和图像处理技术的不断发展，基于计算机视觉和图像处理技术的无人车在各个领域都有广泛的应用。近几年，基于计算机视觉和图像处理的无人车技术在自动驾驶、智慧交通、配送和物流等领域已经取得了一定的成熟度，并且在实际环境中进行了验证和应用，但是无人车在垃圾清扫方面亟需发展，其中感知和识别垃圾，需要识别各种形状、尺寸和颜色的垃圾，并与其他物体进行区分。
2、现有的无人车的视觉垃圾识别技术主要有以下几个：1)图像处理和特征提取：通过图像处理技术，对图像进行预处理和增强，以提高对垃圾识别效果；2)机器学习和深度学习：通过构建训练数据集，将图像与其对应的垃圾类别进行标注，然后使用分类算法或卷积神经网络模型进行训练和分类；3)目标检测和物体识别：基于深度学习的方法在图像中检测和定位垃圾对象；4)分割和实例分析：将图像中的垃圾与背景进行分离，以便更准确地进行垃圾识别和分类。
3、视觉垃圾识别方法对于无人垃圾清扫车的需求主要体现在识别垃圾的准确率高、稳定性好以及可靠性强等方面。上文中所述无人车的视觉垃圾识别技术在应用场景下均存在一些问题：1)数据质量和多样性：图像处理和特征提取中存在噪声、遮挡或光照变化等问题，可能会影响视觉识别的准确性；2)类别的变化和扩展性：传统的机器学习和深度学习方法需要大量的标注数据来训练针对特定类别的分类器。如果遇到新的垃圾类别或需要快速适应变化的场景，需要重新收集和标注数
4、另外，无人垃圾清扫车的难点在于垃圾的种类繁多，包括纸张、塑料瓶、纸塑铝复合包装、玻璃、烟头、电池等各种垃圾。每种垃圾都有其独特的外观特征，因此需要训练算法能够准确地辨别垃圾。受环境背景影响导致垃圾边界特征可能不明显，这增加了垃圾识别的难度，需要算法能够识别并适应各种垃圾边界的情况。无人垃圾清扫车在户外环境中操作，会受到天气因素的影响，这可能导致垃圾的外观特征变得模糊或不清晰，使垃圾识别更加困难。
5、基于上述问题，有必要提供一种可以提升户外场景下无人垃圾清扫车的视觉垃圾识别的适应性、准确性和可靠性，解决现有视觉垃圾识别方法环境适应性差的问题的无人垃圾清扫车视觉垃圾识别方法。
技术实现思路
1、针对上述情况，为弥补上述现有缺陷，本专利技术提供了一种基于改进yolov8的无人垃圾清扫车视觉垃圾识别方法，该视觉垃圾识别方法通过单目相机，来获取实时环境的视频图像信息，并对视频图像进行预处理以及图形的清晰度优化(去雾、去雨)，再通过改进yolov8的网络架构、注意力机制以及损失函数，进而提升垃圾识别的准确性和实用性。
2、本专利技术提供如下的技术方案：本专利技术提出了一种基于改进yolov8的无人垃圾清扫车视觉垃圾识别方法，具体包括下述步骤：
3、一、准备标注完成的垃圾图像数据集，并将数据集按8:2比例划分为训练集和验证集；
4、二、通过单目相机实时获取周围环境的视频图像；
5、三、对采集到的视频图像进行预处理，再进行包括图像去雨、去雾在内的图像增强操作，提高图像的清晰度和准确性
6、3.1图像预处理
7、对采集的图像对其通过红色通道(r分量)、绿色通道(g分量)以及蓝色通道(b分量)处理；
8、3.2l0梯度最小化去雨
9、在实际采集的垃圾数据中，垃圾在图像中为显著的主要梯度边缘，雨水干扰为次要可忽略的梯度边缘，通过l0梯度最小化方法可以消除雨水的次要边缘干扰，同时增强垃圾显著边缘。l0梯度最小化方法的核心思想是通过离散计数函数作为目标函数的约束条件求得，l0梯度最小化计算公式为：
10、
11、其中，s代表l0梯度最小化结果，ip代表输入图像，λ表示权重参数，sp由l0梯度最小化f求得，c(s)表示目标离散计数函数的约束条件，即：
12、
13、
14、其中，#{}表示计数操作，p表示记录不为零的像素个数，和分别表示处理后的图像中每个像素p在处沿x和y方向的偏导数，表示梯度；
15、3.3暗通道先验去雾
16、去雾方法的核心思想是通过有雾图像求无雾图像的过程，雾的成像模型公式为：
17、i(x,y)＝j(x,y)t(x,y)+a(1-t(x,y))
18、其中，(x,y)表示图像的像素坐标，i(x,y)表示有雾图像，j(x,y)表示需复原的无雾图像，a表示全局大气光值，t(x,y)表示光的透射率；
19、对于去雾后的图像j(x,y)，暗通道的公式为：
20、
21、其中，ω(x)表示以x为中心的局部区域，jc(x,y)表示原图像的某个色彩通道值，jdark(x,y)表示暗原色通道；
22、估计透射率是暗通道先验去雾方法的核心，透射率的公式为：
23、
24、其中，t(x)表示透射率，ω表示缓冲因子；
25、去雾后的图像公式为：
26、
27、其中，j(x)表示去雾图像，i(x)表示有雾图像，t0表示透射率下限。
28、四、改进的移动端网络架构repvit
29、4.1构建基于yolov8的repvit模型网络架构
30、创建一个repvit.yaml文件，其中包括yolov8的模型参数(类别数量、尺度参数)、主干网络(backbone)以及头部部分(head)。
31、4.2添加改进的网络模型
32、(1)在modules.py中导入了torch和torch.nn模块，以及一个名为squeeze_excite的自定义模块；接下来定义一个名为conv2d_bn的类，继承自torch.nn.sequential类，这个类用于定义一个包含卷积层和批归一化层的序列模块，在初始化函数中，它使用给定的参数来创建卷积层和批归一化层，并对批归一化层的权重进行初始化；
33、(2)定义一个名为residual的类，继承自torch.nn.module类，这个类用于定义一个残差模块，它接收输入x，并通过添加输入x和子模块m的结果来进行前向传播；
34、(3)定义了一个名为repvggdw的类，继承自torch.nn.module类，这个类用于定义一个残差模块，它包含两个conv2d_bn模块，前向传播函数将输入x通过两个conv2d_bn模本文档来自技高网...
【技术保护点】
1.一种基于改进YOLOv8的无人垃圾清扫车视觉垃圾识别方法，其特征在于，具体包括下述步骤：
2.根据权利要求1所述的一种基于改进YOLOv8的无人垃圾清扫车视觉垃圾识别方法，其特征在于，步骤5.1的(1)中所述模块创建几个卷积层分别为query_conv、key_conv和value_conv。
【技术特征摘要】
1.一种基于改进yolov8的无人垃圾清扫车视觉垃圾识别方法，其特征在于，具体包括下述步骤：
2.根据权利要求1所述的一种基于改进yolov8的...
【专利技术属性】
技术研发人员：钱浩，张恩浦，王宇洋，赵紫旭，袁尧，张大霖，梁浩，曹连建，
申请(专利权)人：淮安中科晶上智能网联研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。