基于深度学习的道路落叶检测方法、装置及相关组件制造方法及图纸

本发明专利技术公开了一种基于深度学习的道路落叶检测方法、装置及相关组件，方法包括：获取并处理图像数据，并对其分别进行目标检测标注和语义分割标注，得到目标检测数据集和语义分割数据集；通过所述目标检测数据集与所述语义分割数据集分别训练目标检测网络与语义分割网络，并得到目标检测模型与语义分割模型；将待检测图像输入所述目标检测模型进行目标检测，得到检测框并输出推理图片；将所述推理图片输入语义分割模型进行语义分割；计算落叶像素点个数与道路像素点个数的比值，判断是否出现落叶堆积的情况。该方法通过计算落叶像素点个数与道路像素点个数的比值，可有效地衡量道路上落叶密集程度。落叶密集程度。落叶密集程度。

【技术实现步骤摘要】
基于深度学习的道路落叶检测方法、装置及相关组件


[0001]本专利技术涉及深度学习和计算机视觉领域，尤其涉及一种基于深度学习的道路落叶检测方法、装置及相关组件。

技术介绍

[0002]随着城市绿化工程的不断推进，城市中的落叶问题越来越受到重视，为了控制道路落叶对环境的影响，需要实时监控道路的落叶情况，判断道路是否存在落叶堆积的问题，以方便安排环卫工人对道路进行清扫。但由于道路落叶存在重叠和分布不均现象，造成摄像头对成堆落叶检测困难的问题，无法直接通过检测摄像头所监控到的数据判断该道路是否需要清扫。目前，通常采用定时清扫的方法，分别在早晚高峰前，安排环卫工人对道路的落叶情况进行检查。这种方法存在人工耗时长、成本高、效率低的问题。

技术实现思路

[0003]本专利技术实施例提供了基于深度学习的道路落叶检测方法、装置及相关组件，旨在解决现有技术中，因道路落叶存在重叠和分布不均现象而导致道路落叶检测困难的问题。
[0004]第一方面，本专利技术实施例提供了一种基于深度学习的道路落叶检测方法，包括：
[0005]获取图像数据，对所述图像数据进行数据清洗和数据增强，并对所述图像数据分别进行目标检测标注和语义分割标注，得到目标检测数据集和语义分割数据集；其中，目标检测标注的信息包括落叶的位置信息和类别信息，语义分割标注的信息包括落叶的多边形坐标以及标签信息；
[0006]通过所述目标检测数据集训练目标检测网络，得到目标检测模型；
[0007]通过所述语义分割数据集训练语义分割网络，得到语义分割模型；其中，
[0008]将待检测图像输入所述目标检测模型进行目标检测得到检测框并输出推理图片；
[0009]将所述推理图片输入语义分割模型进行语义分割以统计所述检测框内的落叶像素点个数；
[0010]计算所述落叶像素点个数与道路像素点个数的比值，比较所述比值与阈值的大小，若所述比值大于所述阈值，则判定出现落叶堆积需要清扫，若所述比值小于阈值则判定为正常。
[0011]第二方面，本专利技术实施例提供了一种基于深度学习的道路落叶检测装置，包括：
[0012]图像处理模块，用于获取图像数据，对所述图像数据进行数据清洗和数据增强，并对所述图像数据分别进行目标检测标注和语义分割标注，得到目标检测数据集和语义分割数据集；其中，目标检测标注的信息包括落叶的位置信息和类别信息，语义分割标注的信息包括落叶的多边形坐标以及标签信息；
[0013]目标检测训练模块，用于通过所述目标检测数据集训练目标检测网络，得到目标检测模型；
[0014]语义分割训练模块，用于通过所述语义分割数据集训练语义分割网络，得到语义
分割模型；其中，
[0015]目标检测推理模块，用于将待检测图像输入所述目标检测模型进行目标检测得到检测框并输出推理图片；
[0016]语义分割推理模块，用于将所述推理图片输入语义分割模型进行语义分割以统计所述检测框内的落叶像素点个数；
[0017]比较模块，用于计算所述落叶像素点个数与道路像素点个数的比值，比较所述比值与阈值的大小，若所述比值大于所述阈值，则判定出现落叶堆积需要清扫，若所述比值小于阈值则判定为正常。
[0018]第三方面，本专利技术实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于深度学习的道路落叶检测方法。
[0019]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于深度学习的道路落叶检测方法。
[0020]本专利技术公开了一种基于深度学习的道路落叶检测方法、装置及相关组件，方法包括：获取并处理图像数据，并对其分别进行目标检测标注和语义分割标注，得到目标检测数据集和语义分割数据集；通过所述目标检测数据集与所述语义分割数据集分别训练目标检测网络与语义分割网络，并得到目标检测模型与语义分割模型；将待检测图像输入所述目标检测模型进行目标检测，得到检测框并输出推理图片；将所述推理图片输入语义分割模型进行语义分割以统计所述检测框内的落叶像素点个数；计算所述落叶像素点个数与道路像素点个数的比值，比较所述比值与阈值的大小，判断是否出现落叶堆积的情况。该方法融合目标检测算法和语义分割算法对道路上的落叶进行实时监测，并采用像素比法，即通过计算落叶像素点个数与道路像素点个数的比值，可有效地衡量道路上落叶密集程度。
附图说明
[0021]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本专利技术实施例提供的基于深度学习的道路落叶检测方法的流程示意图；
[0023]图2为本专利技术实施例提供的基于深度学习的道路落叶检测方法的子流程示意图；
[0024]图3为本专利技术实施例提供的基于深度学习的道路落叶检测方法的另一子流程示意图；
[0025]图4为本专利技术实施例提供的基于深度学习的道路落叶检测装置的结构示意图；
[0026]图5为本专利技术实施例提供的基于深度学习的道路落叶检测装置的子单元结构示意图；
[0027]图6为本专利技术实施例提供的基于深度学习的道路落叶检测装置的另一子单元结构示意图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0030]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0031]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0032]请参阅图1，图1为本专利技术实施例提供的基于深度学习的道路落叶检测方法的流程示意图，方法可以包括步骤S101～S106：
[0033]S101、获取图像数据，对图像数据进行数据清洗和数据增强，并对图像数据分别进行目标检测标注和语义分割标注，得到目标检测数据集和语义分割数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的道路落叶检测方法，其特征在于，包括；获取图像数据，对所述图像数据进行数据清洗和数据增强，并对所述图像数据分别进行目标检测标注和语义分割标注，得到目标检测数据集和语义分割数据集；其中，目标检测标注的信息包括落叶的位置信息和类别信息，语义分割标注的信息包括落叶的多边形坐标以及标签信息；通过所述目标检测数据集训练目标检测网络，得到目标检测模型；通过所述语义分割数据集训练语义分割网络，得到语义分割模型；将待检测图像输入所述目标检测模型进行目标检测得到检测框并输出推理图片；将所述推理图片输入语义分割模型进行语义分割以统计所述检测框内的落叶像素点个数；计算所述落叶像素点个数与道路像素点个数的比值，比较所述比值与阈值的大小，若所述比值大于所述阈值，则判定出现落叶堆积需要清扫，若所述比值小于阈值则判定为正常。2.根据权利要求1所述的基于深度学习的道路落叶检测方法，其特征在于，所述数据增强包括：通过计算所述图像数据的灰度均值将所述图像数据划分为两个子图；计算所述两个子图的概率密度函数，以获得所述两个子图对应的累积概率密度函数的直方图；通过对所述两个子图的直方图进行均衡化处理并组合所述两个子图，以突出所述图像数据中落叶的纹理特征。3.根据权利要求1所述的基于深度学习的道路落叶检测方法，其特征在于，所述通过所述目标检测数据集训练目标检测网络，得到目标检测模型包括：通过所述目标检测数据集训练Yolov5网络模型；使用沙丘猫群优化算法对Yolov5网络模型的超参数进行优化。4.根据权利要求3所述的基于深度学习的道路落叶检测方法，其特征在于，所述使用沙丘猫群优化算法对Yolov5网络模型的超参数进行优化，包括：将超参数组成矩阵X＝[x1,x2,x3,
…
,x
d
]，其中x表示超参数，d表示超参数的个数；创建数只沙丘猫并通过目标函数对所述沙丘猫进行适应度评估，选择最优沙丘猫，其余所述沙丘猫朝所述最优沙丘猫移动；按如下公式使所述沙丘猫在各自的搜索范围中找到局部最优：其中，公式中S
M
设置为2，iter
c
表示当前迭代，iter
Max
表示最大迭代次数，rand(0,1)表示从0至1之间的随机数；在搜索过程中，按如下公式更新各所述沙丘猫的自身位置：其中，表示最优解，表示当前...

【专利技术属性】
技术研发人员：吕勤学，刘子伟，姚钊盈，王俊宜，郑泽涛，
申请(专利权)人：深圳市万物云科技有限公司，
类型：发明
国别省市：