本发明专利技术公开了一种基于多尺度图像解析的一体化废钢判级与异物预警方法，涉及金属处理技术领域。利用卸货车辆总体信息和对比学习方法构建先验知识库，对每层抓取的废钢图像进行大类划分，结合先验知识和划分结果，有针对性的引导验质过程调用不同的验质模型进行种类识别。同时引入空洞卷积策略，能扩大视觉感受野，并据此构建了可以提取多尺度信息的编码器和解码器结构。通过FPN网络对图像进行卷积抽取特征，再对不同层次的特征图使用基于通道注意力与空间注意力的反复注意力机制进行增强，以凸显图像中异物和杂质区域。以凸显图像中异物和杂质区域。以凸显图像中异物和杂质区域。
【技术实现步骤摘要】
基于多尺度图像解析的一体化废钢判级与异物预警方法
[0001]本专利技术涉及金属处理
，具体为一种基于多尺度图像解析的一体化废钢判级与异物预警方法。
技术介绍
[0002]近年来，学术界提出了多种方法，以提高语义分割和目标检测任务的精确率，空洞卷积是其中使用较为广泛的技术之一。空洞卷积在深度网络里，可以在增加感受野的同时，保持原始的分辨率不易丢失，并使得目标的定位更加精准。该技术在学术界较为成熟，然而在工业界上的落地有所欠缺。除此之外，在实际场景的数据采集工作中，会存在大量未被利用的无标签数据。相比人工标注的数据而言，无标签数据具有易获得、规模大的特点，存在较高的利用价值。为利用这些无标签数据，对比学习应运而生。对比学习的思想被广泛应用于标签量较少的模型训练任务中，通过学习不同类别之间的判别信息，实现对无标签数据的充分利用。
[0003]现有的废旧钢材自动化验质判级系统往往仅聚焦于直接从图像中获取判级依据，而忽视了对包括原料来源以及总体特征等先验知识的采集、获取和利用，从而导致系统构建过程中人力投入成本高昂、数据累积周期长、判级依据单一、信息利用不充分的问题，此外，废钢图像语义分割中不同目标实例之间尺度跨度大，对于异物预警和杂质识别时样本尺度不均衡，数据量少；鉴于此，我们提出了一种基于多尺度图像解析的一体化废钢判级与异物预警方法。
技术实现思路
[0004]（一）解决的技术问题针对现有技术的不足，本专利技术提供了一种基于多尺度图像解析的一体化废钢判级与异物预警方法，解决了上述
技术介绍
提到的问题。
[0005]（二）技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于多尺度图像解析的一体化废钢判级与异物预警方法，包括以下步骤：S1、根据原料采购源头的废钢种类特点进行先验知识库的构建，且对废钢卸货车辆的装载废钢重量、车厢总体积等预信息进行采集。
[0006]S2、训练用于卸货触发的识别模型、完成视频监控卸货过程中新图层的自动化抓取、对新图层所处大类进行划分等操作。
[0007]S3、验质导向选择器根据先验知识和大类划分结果进行模型的调用。
[0008]S4、面向应用场景进行推理工作，包含验质类别判级、异物识别和杂质检测的详细过程。
[0009]S5、根据判级和预警信息完成整车判级结果的输出，完成信息到中控系统的推送。
[0010]S6、对验质过程进行远程监控和人为干预的设定，完成判级信息到供应商端的分
发和共同确认。
[0011]优选的，所述步骤S1具体包括：S11、根据废钢采购的种类分布和企业回收标准，建立废钢识别的大类划分和小类细化工作。
[0012]S12、在卸货场地搭建摄像头监控环境。
[0013]S13、完成先验知识所需的正负样本的构造。
[0014]S14、对每对正样本数据的每张类别图片通过ResNet构建的特征提取器进行特征编码。
[0015]S15、定义相似度度量函数。
[0016]S16、将S13
‑
S15步骤所训练得到的图像特征编码器作为先验知识保留到先验知识库。
[0017]S17、对入场时的卸货车辆进行称重和体积测量，同时计算所装载的废钢密度信息。
[0018]优选的，所述步骤S2具体包括：S21、基于S12步骤中所获得的标注信号图片数据集。
[0019]S22、将实时监听卸货信息，卸货车辆入场刷卡后会发送刷卡信号，并触发判级服务。
[0020]S23、对探测帧识别到的卸货动作信号，触发抽取动作。
[0021]S24、利用S12步骤中所获得的人工划分大类图片数据，训练以ResNet101网络为基础的单图料型分类模型。
[0022]S25、将S23中获得的每层卸货图像输入到S24步骤中所构建的类别分类器，得到废钢图像所包含的大类信息。
[0023]优选的，所述步骤S3具体包括：S31、对S12中获得的大类划分图片进行标注，包括用于分割验质的废钢种类标注和用于异物预警和杂质识别的检测标注。
[0024]S32、模型导向器将综合S24
‑
S25步骤对每层图片的料型分类信息。
[0025]S33、对步骤S23抓取的每层图像，均调用异物识别模型和杂质检测模型进行目标检测。
[0026]优选的，所述步骤S4包括：S41、在S3步骤选定特定的大类验质模型后，多层废钢图像输入到对应的大类验质模型中。
[0027]S42、对S41步骤得到的特征，进行多尺度空洞卷积和图像全局池化的操作。
[0028]S43、将步骤S42中4个卷积层和图像全局特征连接起来，经过一个1
×
1的普通卷积得到编码器的输出。
[0029]S44、将S43中编码器的输出上采样4倍，与步骤S41尺寸相同的低层特征进行拼接。
[0030]优选的，所述步骤S4还包括：S45、根据图像语义分割的结果确定不同种类废钢所占的比例，最终通过动态阈值分类确定废钢的类别。
[0031]S46、在异物识别和杂质检测部分，首先对数据图像进行填充，固定其长宽比，最后通过多分辨率图像输入器调整图像大小，以进行多尺度的训练。
[0032]S47、使用FPN网络对图像进行特征提取，以获取不同层次的特征。
[0033]S48、将S47步骤的输出作为ROI池化层的输入，以获取目标级别的特征图。
[0034]S49、将S45步骤所获得的像素级别废钢种类判定输出进行面积占比统计，获得各小类别的数量以及各大类别的占比情况。
[0035]优选的，所述步骤S5具体包括：S51、对S49步骤所获得的废钢种类输出、异物信息和掺杂情况进行汇总，完成可视化结果的呈现，包括对危险异物进行醒目提示，构建整车的废钢类别信息清单等，并且完成判级结果到远程中控台的推送。
[0036]S52、完成对应卸货车辆整车判级流程的结算。
[0037]优选的，所述步骤S6具体包括：S61、在废钢验质流程中实现对卸货车辆信息与先验知识库的通讯，和废钢卸货场景的实时监控等工作。
[0038]（三）有益效果本专利技术提供了一种基于多尺度图像解析的一体化废钢判级与异物预警方法。具备以下有益效果：（1）、该基于多尺度图像解析的一体化废钢判级与异物预警方法，能够自主的根据视频流信息，实时输出废钢种类判定图、可引起危险事故的异物预警和废钢杂质扣重指导等有益结果，从而解放人力，提高生产效率。
[0039]（2）、该基于多尺度图像解析的一体化废钢判级与异物预警方法，能够充分利用废钢种类和卸货车辆的先验知识，而不是把图像的识别结果作为验质的唯一依据。
[0040]（3）、该基于多尺度图像解析的一体化废钢判级与异物预警方法，根据不同的废钢大类进行有针对性的模型调用引导，实现了更为精准的细粒度识别效果。该方式可根据不同种类划分进行变动，具有较高的灵活性和识别覆盖率。
[0041]（4）、该基本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多尺度图像解析的一体化废钢判级与异物预警方法，其特征在于：包括以下步骤：S1、根据原料采购源头的废钢种类特点进行先验知识库的构建，且对废钢卸货车辆的装载废钢重量、车厢总体积等预信息进行采集；S2、训练用于卸货触发的识别模型、完成视频监控卸货过程中新图层的自动化抓取、对新图层所处大类进行划分等操作；S3、验质导向选择器根据先验知识和大类划分结果进行模型的调用；S4、面向应用场景进行推理工作，包含验质类别判级、异物识别和杂质检测的详细过程；S5、根据判级和预警信息完成整车判级结果的输出，完成信息到中控系统的推送；S6、对验质过程进行远程监控和人为干预的设定，完成判级信息到供应商端的分发和共同确认。2.根据权利要求1所述的基于多尺度图像解析的一体化废钢判级与异物预警方法，其特征在于：所述步骤S1具体包括：S11、根据废钢采购的种类分布和企业回收标准，建立废钢识别的大类划分和小类细化工作；S12、在卸货场地搭建摄像头监控环境；S13、完成先验知识所需的正负样本的构造；S14、对每对正样本数据的每张类别图片通过ResNet构建的特征提取器进行特征编码；S15、定义相似度度量函数；S16、将S13
‑
S15步骤所训练得到的图像特征编码器作为先验知识保留到先验知识库；S17、对入场时的卸货车辆进行称重和体积测量，同时计算所装载的废钢密度信息。3.根据权利要求2所述的基于多尺度图像解析的一体化废钢判级与异物预警方法，其特征在于：所述步骤S2具体包括：S21、基于S12步骤中所获得的标注信号图片数据集；S22、将实时监听卸货信息，卸货车辆入场刷卡后会发送刷卡信号，并触发判级服务；S23、对探测帧识别到的卸货动作信号，触发抽取动作；S24、利用S12步骤中所获得的人工划分大类图片数据，训练以ResNet101网络为基础的单图料型分类模型；S25、将S23中获得的每层卸货图像输入到S24步骤中所构建的类别分类器，得到废钢图像所包含的大类信息。4.根据权利要求3所述的基于多尺度图像解析的一体化废钢判级与异物预警方法，其特征在于：所述步骤S3具体包括：S31、对S12中获得的大类划分图片进行标注，包括用于分...
【专利技术属性】
技术研发人员：李毅仁，甘甜，申培，聂礼强，郝亮，王晔，李玉涛，陈雨涛，
申请(专利权)人：山东大学青岛海尔智能技术研发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。