一种多路径聚合的建筑垃圾检测方法技术

本发明专利技术公开了一种多路径聚合的建筑垃圾检测方法，包括以下步骤；步骤一：通过视觉传感器采集建筑垃圾样本图像并预处理，制作标签；步骤二：构建颜色多尺度融合特征,用于融合建筑垃圾图像的浅层细节信息和高级语义信息；步骤三：基于数字图像的局部二值模式，提取数字图像的深层纹理特征，用于挖掘建筑垃圾图像的深层纹理信息；步骤四、通过RPN网络确定区域建议框的类别和位置信息，并提取目标的特征信息送入R

【技术实现步骤摘要】
一种多路径聚合的建筑垃圾检测方法


[0001]本专利技术涉及建筑垃圾检测
，特别涉及一种多路径聚合的建筑垃圾检测方法。

技术介绍

[0002]建筑垃圾分拣作为建筑垃圾资源再利用的主要步骤，其分拣速率和分拣精度影响建筑垃圾再生品的质量。传统的建筑垃圾分拣方式以人工分拣为主，但这种方法工作效率低，成本高昂，并且恶劣的工作环境危害工作人员健康。随着工业自动化技术的发展，部分学者提出利用破碎，筛分，磁选，风选等方法分拣建筑垃圾，但上述方法分拣精度低，影响建筑垃圾再生物料的利用。
[0003]随着硬件设备的发展，机器视觉技术作为一种无损检测工具已成功应用于农业、医学和工业等领域。随着可持续发展意识的增强，部分学者提取建筑垃圾颜色、纹理、密度等特征，实现了单一种类或特定两种建筑垃圾的识别。从工业角度，由于我国建筑垃圾采用多种物料集中堆放的方式，因此上述方法的应用场景有限；从信息角度，手工提取图像的单一特征，易造成图像部分信息丢失，影响建筑垃圾检测精度。随着深度学习的发展，卷积神经网络通过提取图像的潜在特征已广泛应用于图像分割，目标检测等领域。现阶段，基于卷积神经网络的目标检测算法可以分为以R
‑
CNN，Fast RCNN和Faster RCNN为主的two
‑
stage目标检测框架；和以YOLO为代表的one
‑
stage目标检测框架。Two
‑
stage检测算法在提取出候选检测区域的基础上，通过分类和回归的方式进行目标检测，与one
‑
stage目标检测算法相比，two
‑
stage目标检测算法检测精度较高。虽然基于卷积神经网络的目标检测算法已经成熟，但由于同种建筑物料经过使用、拆除产生的废弃物存在显著的颜色、形状等差异，甚至存在遮挡、污染的情况，因此目前适用于工业环境下的建筑垃圾检测算法研究较少。在此背景下，迫切需要研究多种类建筑物料的精确检测方法。

技术实现思路

[0004]为了克服上述现有技术的不足，本专利技术的目的在于提供一种多路径聚合的建筑垃圾检测方法，以解决建筑垃圾自动化分拣精度低，影响建筑垃圾再生物料利用的问题，实现多种建筑物料的精确检测。
[0005]为了实现上述目的，本专利技术采用的技术方案是：
[0006]一种多路径聚合的建筑垃圾检测方法，包括以下步骤；
[0007]步骤一：通过视觉传感器采集混凝土、红砖、泡沫、硬塑料和木块五种建筑垃圾样本图像并预处理，制作标签；
[0008]步骤二：基于Faster RCNN网络，提出多尺度特征融合网络，构建颜色多尺度融合特征,用于融合建筑垃圾图像的浅层细节信息和高级语义信息，并记为颜色多尺度融合特征分支，用于获取步骤四中的候选区域提取层，并为步骤五中多支路神经网络融合策略提供特征；
[0009]步骤三：基于数字图像的局部二值模式，提取数字图像的深层纹理特征，挖掘建筑垃圾图像的深层纹理信息，并作为深层纹理特征分支为步骤五中多支路神经网络融合策略提供特征；
[0010]步骤四、根据步骤二中颜色多尺度融合特征，通过RPN网络确定区域建议框的类别和位置信息，并提取目标的特征信息送入R
‑
CNN子网络；
[0011]步骤五、根据步骤四中R
‑
CNN子网络输出的目标类别置信度，结合步骤二中的颜色多尺度融合特征和步骤三中的深层纹理特征，设计多支路神经网络融合策略，输出该目标最终的类别置信度；
[0012]步骤六：设计多任务加权损失函数，实现模型端到端训练；
[0013]步骤七：通过训练模型，提高建筑垃圾的分拣精度，实现各类别建筑垃圾的精准检测。
[0014]进一步地，所述步骤一中图像预处理的方法为：
[0015]步骤1.1，利用LabelImg软件制作采集图像的标签；
[0016]步骤1.2，通过旋转、翻转、色域变换操作扩增建筑垃圾图像集。
[0017]进一步地，所述步骤二中基于Faster RCNN网络，提出多尺度特征融合网络，构建颜色多尺度融合特征的方法为：
[0018]步骤2.1，提取VGG网络第三层、第四层和第五层特征图；其中，浅层特征图用于描述建筑垃圾的几何形状特征，深层特征图用于描述建筑垃圾的高级语义信息；
[0019]步骤2.2，浅层特征图通过下采样和卷积操作与深层特征图融合形成候选区域提取层，该候选区域提取层与传统的Faster RCNN模型特征图通道数相同，因此该模块在几乎不增加算法复杂度情况下，能够将建筑垃圾图像的浅层细节信息与高级语义信息融合，实现图像信息的相互补充，有助于提高建筑垃圾的检测精度。
[0020]进一步地，所述步骤三中基于数字图像的局部二值模式，提取目标的深层纹理特征的方法为：
[0021]步骤3.1，提取数字图像纹理特征：首先，将步骤一中采集的数字图像灰度化，然后，以图像中各像素为中心像素点，通过如下公式，在中心像素的3
×
3邻域内，计算邻域像素与中心像素的差值并编码，以获取目标的纹理特征；
[0022][0023][0024]式中，为邻域像素数，设为邻域像素数，设为中心点像素值，为中心点领域像素值；
[0025]步骤3.2，将步骤3.1中提取的数字图像的纹理特征图送入VGG16网络的前两个卷积层，以进一步提取图像的深层纹理特征，以补充建筑垃圾图像的局部细节信息，并用于步骤五中多支路神经网络融合策略模型的输入。
[0026]进一步地，所述步骤四中，根据步骤二中颜色多尺度融合特征，通过RPN网络确定区域建议框的类别和位置信息，提取目标的深层颜色和纹理信息并送入R
‑
CNN网络的方法为：
[0027]步骤4.1，将颜色多尺度融合特征分支获取的特征图作为候选区域提取层，建立RPN网络确定区域建议框的类别和位置信息；
[0028]步骤4.2，根据区域建议框的类别和位置信息，将建议框映射至颜色多尺度融合特征分支和深层纹理特征分支，以获取目标的颜色特征和深层纹理特征；
[0029]步骤4.3，利用步骤4.2中目标的颜色特征，通过全连接层，获取目标的类别置信度和精确的位置信息，根据步骤4.2中目标的深层纹理特征，通过全连接层，再次获取目标的类别置信度。
[0030]进一步地，所述步骤五中，根据步骤四中R
‑
CNN网络输出的目标类别置信度，多支路神经网络融合策略的方法为：
[0031]步骤5.1，根据各路卷积神经网络目标检测精度设置折扣融合权重，具体如公示所示；
[0032][0033]式中，M表示事件集合{红砖，混凝土，木块，硬塑料，泡沫，θ}；{θ}表示事件：红砖、混凝土、木块、硬塑料、泡沫的组合，即表示网络的不精确程度；和分别表示颜色和纹理卷积神经网络分支建筑垃圾检测精度；和分别表示颜色和纹理卷积神经网络分支判断边框属于M类的概率；
[0034]步骤5.2，根据颜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多路径聚合的建筑垃圾检测方法，其特征在于，包括以下步骤；步骤一：通过视觉传感器采集混凝土、红砖、泡沫、硬塑料和木块五种建筑垃圾样本图像并预处理，制作标签；步骤二：基于Faster RCNN网络，提出多尺度特征融合网络，构建颜色多尺度融合特征,用于融合建筑垃圾图像的浅层细节信息和高级语义信息，并记为颜色多尺度融合特征分支，用于获取步骤四中的候选区域提取层，并为步骤五中多支路神经网络融合策略提供特征；步骤三：基于数字图像的局部二值模式，提取数字图像的深层纹理特征，挖掘建筑垃圾图像的深层纹理信息，并作为深层纹理特征分支为步骤五中多支路神经网络融合策略提供特征；步骤四、根据步骤二中颜色多尺度融合特征，通过RPN网络确定区域建议框的类别和位置信息，并提取目标的特征信息送入R
‑
CNN子网络；步骤五、根据步骤四中R
‑
CNN子网络输出的目标类别置信度，结合步骤二中的颜色多尺度融合特征和步骤三中的深层纹理特征，设计多支路神经网络融合策略，输出该目标最终的类别置信度；步骤六：设计多任务加权损失函数，实现模型端到端训练；步骤七：通过训练模型，提高建筑垃圾的分拣精度，实现各类别建筑垃圾的精准检测。2.根据权利要求1所述的一种多路径聚合的建筑垃圾检测方法，其特征在于，所述步骤一中图像预处理的方法为：步骤1.1，利用LabelImg软件制作采集图像的标签；步骤1.2，通过旋转、翻转、色域变换操作扩增建筑垃圾图像集。3.根据权利要求1所述的一种多路径聚合的建筑垃圾检测方法，其特征在于，所述步骤二中基于Faster RCNN网络，提出多尺度特征融合网络，构建颜色多尺度融合特征的方法为：步骤2.1，提取VGG网络第三层、第四层和第五层特征图；其中，浅层特征图用于描述建筑垃圾的几何形状特征，深层特征图用于描述建筑垃圾的高级语义信息；步骤2.2，浅层特征图通过下采样和卷积操作与深层特征图融合形成候选区域提取层，将建筑垃圾图像的浅层细节信息与高级语义信息融合，实现图像信息的相互补充。4.根据权利要求1所述的一种多路径聚合的建筑垃圾检测方法，其特征在于，所述步骤三中基于数字图像的局部二值模式，提取目标的深层纹理特征的方法为：步骤3.1，提取数字图像纹理特征：首先，将步骤一中采集的数字图像灰度化，然后，以图像中各像素为中心像素点，通过如下公式，在中心像素的3
×
3邻域内，计算邻域像素与中心像素的差值并编码，以获取目标的纹理特征；心像素的差值并编码，以获取目标的纹理特征；式中，为邻域像素数，设为邻域像素数，设为中心点像素值，为中心点领域像素值；
步骤3.2，将步骤3.1中提取的数字图像的纹理特征图送入VGG16网络的前两个卷积层，以进一步提取图像的深层纹理特征，以补充建筑垃圾图像的局部细节信息，并用于步骤五中多支路神经网络融合策略模型的输入。5.根据权利要求1所述的一种多路径聚合的建筑垃圾检测方法，其特征在于，所述步骤四中，根据步骤二中颜色多尺度融合特征，通过RPN网络确定区域建议框的类别和位置信息，提取目标的深层颜色和纹理信息并送入R
‑
CNN网络的方法为：步骤4.1，将颜色多尺度融合特征分支获取的特征图作为候选区域提取层，建立RPN网络确定区域建议框的类别和位置信息；步骤4.2，根据区域建议框的类别和位置信息，将建议框映射至颜色多尺度融合特...

【专利技术属性】
技术研发人员：宋琳，赵慧轩，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：