基于深度学习的石子粒径分类方法、系统及存储介质技术方案

本发明专利技术公开了一种基于深度学习的石子粒径分类方法、系统及存储介质。获取拍摄模拟环境中的石子堆和获取石子堆高度信息；利用N*N宫格图像拼接结合激光三角法去除石子堆不同区域存在高度落差的干扰；利用傅里叶变换把N宫格石子图像转换到频率域；使用通过高通滤波器后的石子三维频谱图作为分类模型数据集；改进ResNet34模型，优化残差结构、加入空洞卷积、引入ECA模块，将通过高通滤波器后的石子三维频谱图数据集放入改进后的ResNet34模型中训练，最终用于石子粒径等级分类。本发明专利技术在石子堆高度落差不同、光照天气等因素有差异情况下的石子粒径分类任务中分类准确，适用于多种花色石子，判别均正确，具有良好的鲁棒性。具有良好的鲁棒性。具有良好的鲁棒性。

【技术实现步骤摘要】
基于深度学习的石子粒径分类方法、系统及存储介质


[0001]本专利技术涉及人工智能领域，尤其涉及一种基于深度学习的石子粒径分类方法、系统及存储介质。

技术介绍

[0002]在建筑工地实际场景中，为保证施工质量，需对石子的粒径大小有明确的要求。石子通过卡车运输进入工地时应按照不同粒径等级分开堆放。在后续使用时，按照特定比例对三个粒径等级的石子进行混合，以便达到实际应用时工地要求的密实度，称其为级配石子。传统的石子粒径检测方法一般是通过人工抽样，对于少量样本该方法确实具有较好的准确性。但在大规模复杂的石子运输场景下，人工抽样的方法局限性大，易受到工人疲劳、天气情况及夜晚视线欠佳的影响，会对结果造成较大的误差。显然，人工抽样的方法已经无法满足当今建筑工地的实际需求。
[0003]近年来，随着计算机视觉、深度学习等技术不断完善和发展，其应用领域也不断扩大。目前，主流的目标分类技术在其他领域中已经广泛应用，但在复杂环境下的石子粒径分类任务中尚为欠缺。主要是由于在这些场景下的石子种类繁多、受距离因素影响较大、受光线和天气等因素干扰。目前，一些研究机构和企业正在探索利用数字图像处理技术和机器视觉技术来检测石子骨料。例如，李旭等人利用图像处理技术提取混凝土粗骨料的长宽比系数，实现了对混凝土粗骨料的检测。刘春等人则运用形态学处理的方法对石子颗粒与孔隙进行分割，提取出石子颗粒的轮廓信息后，再进一步计算其大小等特征。但是单纯的数字图像处理方法对光照环境有着严苛的要求，并不适用于处理复杂环境下的石子粒径分类任务。
[0004]CNN因其具有良好的鲁棒性，广泛应用于目标分类领域。朱大庆、曹国等人在2020年提出一种基于两阶段深度学习的砂石图像粒径检测方法。这种算法能够有效地将紧密粘附的砂石目标进行分割，并提高了砂石目标粒径大小计算的精度。但是该算法的精度受到石子颗粒粒径大小以及施工环境的影响，而且在实际工地场景中无需准确算出石子粒径的具体数值，只需判别石子粒径的等级即可，这可以极大减少硬件资源和时间的消耗。鄢然等人在2021年将CNN模型应用于砂石骨料分类任务中取得了99％以上的分类准确率。
[0005]目前最新的研究是鄢然等人在2021年将CNN模型应用于砂石骨料分类任务中取得了99％以上的分类准确率。该方法虽然解决了表面湿润因素对分类结果的影响，但并未考虑实际应用场景中石子种类、石子堆高度落差信息以及光照信息对最后分类结果造成的影响。因此，目前依然存在的问题概括如下：
[0006](1)由于在拍摄图像过程中，卡车车厢中不同位置的石子与相机镜头的距离是不相同的，存在高度落差，因此相同粒径的石子在最后图像中所占的像素存在较大的偏差。此外，由于所需细筛的石子粒径分布是较为接近的。若不考虑石子堆高度落差因素带来的影响，会使石子粒径最后分类的结果产生误判，使三个等级的石子摆放混乱，最终造成不可逆的经济损失。
[0007](2)由于不同碎石厂家运输的石子颜色以及边缘形状存有较大的区别，而且工地现场的天气状况、光照情况都有较大的差异，导致通用图像分类模型在此场景下的准确性较差。

技术实现思路

[0008]1、本专利技术的目的
[0009]本专利技术为了能够解决现有的计算机视觉、深度学习的石子分类算法的准确度较差的问题，解决复杂工地场景中石子种类繁多、石子堆高度落差不同、光照天气有差别等因素对最后石子粒径分类结果产生的误差，从而提出了一种基于深度学习的石子粒径分类方法、系统及存储介质。
[0010]2、本专利技术所采用的技术方案
[0011]本专利技术公开了一种基于深度学习的石子粒径分类方法，具体为：
[0012]获取拍摄实际工地环境中的石子堆和获取石子堆高度信息；
[0013]利用N*N宫格图像拼接结合激光三角法去除石子堆不同区域存在高度落差干扰；
[0014]利用傅里叶变换把N*N宫格石子图像转换到频率域；
[0015]使用通过高通滤波器后的石子三维频谱图作为分类模型数据集；
[0016]改进ResNet34模型，优化残差结构即将两个卷积核优化为三个卷积核、增加空洞卷积、为每个通道增加ECA模块调整权重，将通过高通滤波器后的石子三维频谱图数据集放入改进后的ResNet34模型中训练，最终对于石子粒径分类。
[0017]具体地，所述的优化残差结构，将原本用于特征变换的两个卷积核大小为3*3的卷积层优化为一个降低通道数的1*1的卷积层、一个特征变换的3*3的卷积层和另一个恢复通道数的1*1的卷积层串联，所述的空洞卷积：采用空洞率为2的空洞卷积。
[0018]具体地，所述的获取拍摄模拟环境中的石子堆和获取石子堆高度信息，石子堆以速度v从工业相机下方经过，打开激光器并控制工业相机在短曝光时间和正常曝光时间情况下对石子堆连续拍取N*N个位置，共2N*N张石子图像。
[0019]具体地，所述的去除石子堆不同区域存在高度落差干扰，先从短曝光时间图像中获取激光光斑中心位置O，再在对应的正常曝光时间图像中利用激光三角法计算出该激光光斑中心位置的高度信息。
[0020]更进一步，将激光器的位置记为A，工业相机的位置记为B，相机成像平面中的中心点记为C，相机成像平面中的激光光斑中心的像记为D，因此根据正入射的激光三角法可以得到以下关系：
[0021][0022]由式(1)可推出激光点距离相机与激光器平面的距离OA为：
[0023][0024]其中AB代表相机与激光器的水平距离，BC代表相机的焦距，CD代表成像平面中激光光斑成像点与图像像素中心的距离，可以通过激光光斑成像点与图像像素中心的像素差值乘以像元尺寸计算得到。在这一步骤中可以计算得到N*N个激光光斑位置的高度信息。
[0025]更进一步，截取区域石子图像放大插值后再合并成N*N宫格图像，在正常曝光时间的石子图像中截取以激光光斑位置为中心的M*M像素方形区域，将N*N个高度下的M*M像像素的图像合成为一张(N*M)*(N*M)像素的九宫格图像。
[0026]更进一步，在进行图像合并之前，需要对不同高度下的M*M像像素的石子图像进行放大插值，利用获取到的高度信息与基准高度的比例进行缩放，计算出放大后的图像像素，并使用双线性插值的方法将M*M像素的图像进行放大，之后再截取出其中M*M像素的图像，以用于图像合并。
[0027]更进一步，将N*N宫格石子图像的空间域信息通过离散傅里叶变换转化为频率域信息，得到N*N宫格石子图像的三维频谱图，进行更全面的分析和处理。
[0028]更进一步，采用高通滤波器对N*N宫格石子图像的三维频谱图进行滤波，工地中的石子粒径最大为D，利用正入射激光三角法的变式(3)计算得到一块粒径为D的石子在图像中所占的像素K；
[0029][0030]其中f代表相机焦距，H代表石子距离工业相机和激光器平面的距离OA的值，size代表像元尺寸，带入数据可得到一块粒径为D的石子在图像中所占的像素K，带入傅里叶变换公式可以计算出截止频率F，因此可以认为在u，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的石子粒径分类方法，其特征在于：获取拍摄实际工地环境中的石子堆和获取石子堆高度信息；利用N*N宫格图像拼接结合激光三角法去除石子堆不同区域存在高度落差干扰；利用傅里叶变换把N*N宫格石子图像转换到频率域；使用的通过高通滤波器后的石子三维频谱图作为分类模型数据集；改进ResNet34模型，优化残差结构即将两个卷积核优化为三个卷积核、增加空洞卷积、为每个通道增加ECA模块调整权重，将通过高通滤波器后的石子三维频谱图数据集放入改进后的ResNet34模型中训练，最终实现对目标石子粒径的分类。2.根据权利要求1所述的基于深度学习的石子粒径分类方法，其特征在于：所述的优化残差结构，将原本用于特征变换的两个卷积核大小为3*3的卷积层优化为一个降低通道数的1*1的卷积层、一个特征变换的3*3的卷积层和另一个恢复通道数的1*1的卷积层串联，所述的空洞卷积：采用空洞率为2的空洞卷积。3.根据权利要求1所述的基于深度学习的石子粒径分类方法，其特征在于：所述的获取拍摄实际工地环境中的石子堆和获取石子堆高度信息，石子堆以速度v从工业相机下方经过，打开激光器并控制工业相机对石子堆连续拍取N*N个位置，每个位置分别用短曝光时间和正常曝光时间拍摄两张图像，共计2N*N张石子图像。4.根据权利要求1所述的基于深度学习的石子粒径分类方法，其特征在于：所述的去除石子堆不同区域存在高度落差干扰，先从每个位置的短曝光时间图像中获取激光光斑中心位置O，再利用激光三角法计算出该激光光斑中心位置的高度信息，并以此作为对应的正常曝光时间图像中心区域的位置高度信息。5.根据权利要求4所述的基于深度学习的石子粒径分类方法，其特征在于：将激光器的位置记为A，工业相机的位置记为B，相机成像平面中的中心点记为C，相机成像平面中的激光光斑中心的像记为D，因此根据正入射的激光三角法可以得到以下关系：由式(1)可推出激光点距离相机与激光器平面的距离OA为：其中AB代表相机与激光器的水平距离，BC代表相机的焦距，CD代表成像平面中激光光斑成像点与图像像素中心的距离，可以通过激光光斑成像点与图像像素中心的像素差值乘以像元尺寸计算得到；在这一步骤中可以计算得到N*N个激光光斑位置的高度信息。6.根据权利要求5所述的基于深度学习的石子粒径分类方法，其特征在于：截取区域石子图像放大后...

【专利技术属性】
技术研发人员：张渊，蓝舸程，段宏超，王军，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：