基于机器视觉的非接触式堆石颗粒级配检测方法及装置制造方法及图纸

一种基于机器视觉的非接触式堆石颗粒级配检测方法和装置，包括：使用图像获取装置获取堆石颗粒的数字图像；将获取的数字图像传入实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域；对获取的颗粒轮廓进行量化；对多项量化指标进行采样处理；将获取的向量作为输入，级配曲线上提取的向量作为数据标签；构建神经网络模型训练数据集，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库；得到最终用于级配检测神经网络预测模型

【技术实现步骤摘要】
基于机器视觉的非接触式堆石颗粒级配检测方法及装置


[0001]本专利技术属于图像处理
，特别涉及一种基于机器视觉的非接触式堆石颗粒级配检测方法及装置
。

技术介绍

[0002]堆石颗粒大规模存在于铁路下部结构，如路基填料
、
底砟层的级配碎石和有砟道床的道砟颗粒等，以及采矿领域
、
水利工程坝体建造等，堆石颗粒级配对其力学及破碎性能和相关性质的影响巨大
。
传统方法获取颗粒堆积体级配是筛分称重，取样有限，且效率低，获得的级配曲线不够连续
。
随着图像处理技术与人工智能的发展，出现一些基于机器视觉的颗粒级配检测技术，但是大多只可适用于颗粒之间无遮挡的情况，在拍摄图像之前需要人为将颗粒分散开，以获得较好的预测效果，对于紧密堆积的堆石颗粒，在颗粒识别分割方面，由于颗粒本身的纹理以及相互遮挡，传统边缘检测
、
阈值处理等方式无法准确有效的进行识别与分割，级配曲线的预测方面，基于一些形状假设公式的方式无法正确表征颗粒的实际形状
、
且颗粒轮廓之间存在相互遮挡，因此预测效果通常效果不佳，因此无法实现堆石颗粒级配的快速检测
。

技术实现思路

[0003]为克服现有技术中存在的问题，本专利技术提供一种基于机器视觉的非接触式堆石颗粒级配检测方法及装置，本专利技术的基于实例分割深度学习模型的颗粒识别与分割技术，颗粒图像轮廓量化方法，以及基于机器学习和大数据的级配预测算法，可有效克服紧密堆积条件下堆石颗粒准确识别与分割，且无需人为假设任何经验公式，而完全基于大量数据的基础上的机器学习模型，可有效提高适应性和准确性
。
[0004]本专利技术采用如下技术方案：
[0005]本专利技术的第一方面提供了一种基于机器视觉的非接触式堆石颗粒级配检测方法，包括如下步骤：
[0006]步骤
S100
，使用图像获取装置获取堆石颗粒的数字图像；
[0007]步骤
S200
，将获取的数字图像传入实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域；
[0008]步骤
S300
，对获取的颗粒轮廓进行量化；
[0009]步骤
S400
，对多项量化指标进行采样处理；
[0010]步骤
S500
，将步骤
S400
获取的
1x90
向量作为输入，级配曲线上提取的1ⅹ
20
维向量作为数据标签；
[0011]步骤
S600
，构建神经网络模型训练数据集，随机选取大量堆石颗粒，使用三维激光扫描装置扫描大量堆石颗粒，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库；
[0012]步骤
S700
，使用步骤
S200
的方法对生成的已知级配的数字颗粒堆积体图片进行颗
粒的识别与分割，使用步骤
S300
‑
S400
的方法对分割的颗粒轮廓进行量化和数据采样，获得每张图像对应的
1x90
特征向量，这个1ⅹ
90
的特征向量作为训练机器学习模型的输入，继续使用
S500
步骤对应的方法从数字颗粒样本的的级配曲线上进行采样，获得每条级配曲线对应的1ⅹ
20
特征向量，这个特征向量作为训练机器学习模型的输出，完成生成每一组级配的样本图像提取后便得到大量输入特征向量，和输出特征向量；将这些输入特征向量和输出特征向量作为数据集对步骤
S500
推荐的神经网络模型进行训练和模型优化，得到最终用于级配检测神经网络预测模型
。
[0013]进一步的，步骤
S200
中，实例分割深度学习模型使用图像分割大模型
Segment Anything model(SAM)
，针对掩膜这类稠密类型的提示，使用卷积的方式进行编码，点
、
框采用位置编码；掩膜解码模块将图像编码模块输出的图像嵌入矩阵和编码的提示信息高效地结合，并导出这个提示信息对应的掩膜
。
[0014]进一步的，步骤
S300
中，先提取颗粒轮廓的几何量化特征，然后根据所述轮廓的几何量化特征提取每个颗粒轮廓的多项量化指标，
SAM
分割后的颗粒轮廓像素值在0‑1之间，先对图像进行阈值化处理，再分别提取各项量化指标
。
[0015]进一步的，所述阈值化处理方式为，将导出的单个掩膜转化为数字矩阵，按式
(1)
进行阈值化处理；
[0016][0017]其中
pix(x,y)
为原图上
(x,y)
坐标位置的像素值，
pix
’
(x,y)
为处理后的图像上
(x,y)
坐标位置的像素值；
[0018]其中颗粒轮廓面积的计算如式
(2)
所示：
[0019]A
＝
α2·
∑n
x,y
,x
＝
1,2,3,
···
,w
；
y
＝
1,2,3,
···
,h
ꢀꢀꢀꢀ
(2)
[0020]其中
A
是单颗粒轮廓计算面积，
w
为图像宽度，
h
为图像高度，
n
x,y
表示像素的映射值，当像素值为0时，
n
x,y
为0，当像素值不为0时，
n
x,y
为1，
α
为尺度转换因子，代表单个像素表示的真实长度
(
单位：毫米每像素
)
；
[0021]颗粒轮廓周长使用公式3进行计算：
[0022][0023]其中
P
是单颗粒轮廓计算周长，
n
为颗粒轮廓上像素点的个数，
x[i],y[i]分别为对应像素点的横坐标和纵坐标；
[0024]等效圆直径计算如式4所示：
[0025][0026]其中
equivalent_circle_d
为颗粒轮廓等效圆直径
。
[0027]进一步的，最小外接圆直径的计算利用了
OpenCV
内置
welzl
算法，通过递归和迭代得到轮廓的最小外接圆直径；
[0028]等效椭圆长轴与短轴的计算利用了
OpenCV
进行拟合，使用最小二乘法迭代获取轮
廓区域最佳拟合椭圆，得到等效椭圆的长轴与短轴；
[0029]颗粒轮廓最小凸包多边形面积的计算利用了
OpenCV
，使用的算法为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，包括如下步骤：步骤
S100
，使用图像获取装置获取堆石颗粒的数字图像；步骤
S200
，将获取的数字图像传入实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域；步骤
S300
，对获取的颗粒轮廓进行量化；步骤
S400
，对多项量化指标进行采样处理；步骤
S500
，将步骤
S400
获取的
1x90
向量作为输入，级配曲线上提取的1ⅹ
20
维向量作为数据标签；步骤
S600
，构建神经网络模型训练数据集，随机选取大量堆石颗粒，使用三维激光扫描装置扫描大量堆石颗粒，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库；步骤
S700
，使用步骤
S200
的方法对生成的已知级配的数字颗粒堆积体图片进行颗粒的识别与分割，使用步骤
S300
‑
S400
的方法对分割的颗粒轮廓进行量化和数据采样，获得每张图像对应的
1x90
特征向量，这个1ⅹ
90
的特征向量作为训练机器学习模型的输入，继续使用
S500
步骤对应的方法从数字颗粒样本的级配曲线上进行采样，获得每条级配曲线对应的1ⅹ
20
特征向量，这个特征向量作为训练机器学习模型的输出，完成生成每一组级配的样本图像提取后便得到大量输入特征向量，和输出特征向量；将这些输入特征向量和输出特征向量作为数据集对步骤
S500
推荐的神经网络模型进行训练和模型优化，得到最终用于级配检测神经网络预测模型
。2.
根据权利要求1所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，步骤
S200
中，实例分割深度学习模型使用图像分割大模型
Segment Anything model(SAM)
，针对掩膜这类稠密类型的提示，使用卷积的方式进行编码，点
、
框采用位置编码；掩膜解码模块将图像编码模块输出的图像嵌入矩阵和编码的提示信息高效地结合，并导出这个提示信息对应的掩膜
。3.
根据权利要求1所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，步骤
S300
中，先提取颗粒轮廓的几何量化特征，然后根据所述轮廓的几何量化特征提取每个颗粒轮廓的多项量化指标，
SAM
分割后的颗粒轮廓像素值在0‑1之间，先对图像进行阈值化处理，再分别提取各项量化指标
。4.
根据权利要求1所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，所述阈值化处理方式为，将导出的单个掩膜转化为数字矩阵，按式
(1)
进行阈值化处理；其中
pix(x,y)
为原图上
(x,y)
坐标位置的像素值，
pix
’
(x,y)
为处理后的图像上
(x,y)
坐标位置的像素值；其中颗粒轮廓面积的计算如式
(2)
所示：
A
＝
α2·
∑n
x,y
,x
＝
1,2,3,
···
,w
；
y
＝
1,2,3,
···
,h
ꢀꢀꢀꢀ
(2)
其中
A
是单颗粒轮廓计算面积，
w
为图像宽度，
h
为图像高度，
n
x,y
表示像素的映射值，当像素值为0时，
n
x,y
为0，当像素值不为0时，
n
x,y
为1，
α
为尺度转换因子，代表单个像素表示的
真实长度
(
单位：毫米每像素
)
；颗粒轮廓周长使用公式3进行计算：其中
P
是单颗粒轮廓计算周长，
n
...

【专利技术属性】
技术研发人员：肖源杰，彭友全，谭攀，王小明，宁亦凡，孔坤锋，尧俊凯，蔡德钩，
申请(专利权)人：中南大学，
类型：发明
国别省市：