基于两阶段卷积神经网络的集装箱表面损伤检测方法技术

本发明专利技术公开了一种基于两阶段卷积神经网络的集装箱表面损伤检测方法，S1、制作集装箱表面损伤检测训练数据集和测试数据集；S2、构建基于两阶段卷积神经网络的集装箱表面损伤检测模型，两阶段卷积神经网络包括分割网络与分类网络，分割网络对集装箱表面损伤图像样本进行处理以获取损伤分割特征图，分类网络对集装箱表面损伤图像进行损伤类型判断；S3、通过训练数据集和测试数据集训练该集装箱表面损伤检测模型；S4、运用训练好的模型对集装箱表面损伤进行判别并输出检测结果。本发明专利技术通过建立两阶段卷积神经网络模型来进行集装箱表面损伤检测，可有效减少识别错误率，提高检测精确度，实现对集装箱表面损伤类型的准确判断。实现对集装箱表面损伤类型的准确判断。实现对集装箱表面损伤类型的准确判断。

【技术实现步骤摘要】
基于两阶段卷积神经网络的集装箱表面损伤检测方法


[0001]本专利技术涉及集装箱损伤检测领域，尤其涉及一种基于两阶段卷积神经网络的集装箱表面损伤检测方法。

技术介绍

[0002]近年来我国社会经济高速增长，集装箱船舶大型化与港口自动化呈现高速发展趋势，因此集装箱港口的业务量与吞吐量也正不断增长。由于集装箱在吊装堆垛过程易遭受频繁碰撞而产生变形破裂，且常处于日晒雨淋的户外环境中而产生锈蚀孔洞，因此在集装箱港口各作业环节中，箱体表面残损检查评估是集装箱进港的必要流程，可有效避免在集装箱运输装卸过程中发生意外事故，同时防止运输企业和码头因箱体破损而产生纠纷。当前对集装箱表面损伤自动化检测的相关研究还较少。大多数集装箱表面残损查验工作还是依靠人为经验或借助非自动检测工具进行判断是否有破损变形等情况，通常需要多人协助且安全保障不足，由于没有严格统一标准，往往处理时间长但检测准确率低。而现有的一些应用图像处理技术进行集装箱残损检测的系统，往往通过二维或三维图像处理方法对箱体表面孔洞、锈蚀或变形等几类特点定缺陷进行识别，还局限在数字图像检测分析的技术层面，大多只能解决较小数据量的检测问题，也无法很好剔除天气光线等外界环境因素造成的干扰信息。
[0003]由于当前港口业务量不断拓展，集装箱残损检测工作量日益增加，残损种类众多且特征复杂，面临更为庞大的数据量，过去并不理想的检测效果，会严重制约闸口作业效率，影响港口交通流畅性与服务水平。当前深度学习理论在计算机视觉及图像识别等领域取得许多成就，因其能从海量数据中学习到特定目标并精确判别，在减少工作量的同时也有效提高了分类识别效率与准确性。而目前以深度学习为核心的检测技术在港口已较成熟地应用于集装箱箱位箱号识别、船舶检测等方面，却很少应用于集装箱表面残损检测。
[0004]卷积神经网络是最典型属于深度学习的图像分类识别方法。通过准确获取大量集装箱箱体表面有效图像样本，形成多种类集装箱表面损伤图像数据库，可有效地构建用于训练卷积神经网络模型的带标签数据集；通过合理设计两阶段卷积神经网络的整体架构，不断优化影响网络收敛和识别准确率的参数，避免过拟合现象并使模型有较好泛化能力，可达到集装箱表面损伤检测的目标效果。以此方法可有效减少识别错误率，提高检测精确度，实现对集装箱表面损伤类型准确判断，达到提高港口集装箱闸口作业效率，减少运营成本，改善作业安全性的目的，进一步实现港口作业系统局部升级，推进现代港口智能化发展，因此具有一定研发潜力和生产实用价值。

技术实现思路

[0005]本专利技术主要目的，在于提供一种基于两阶段卷积神经网络的集装箱表面损伤检测方法，实现对集装箱表面损伤情况的准确检测，避免使用大量人力资源，降低港口运营成本，有效提高作业效率。
[0006]本专利技术所采用的技术方案是：
[0007]提供一种基于两阶段卷积神经网络的集装箱表面损伤检测方法，该方法包含如下步骤：
[0008]S1、制作集装箱表面损伤检测训练数据集和测试数据集，具体收集所需的集装箱表面损伤图片，并进行图像预处理；为集装箱表面损伤类型建立标签值表，对每张图片其对应表面损伤类型的标签值进行标注，图片样本与标签值表共同组成集装箱表面损伤检测数据集；将数据集划分为训练集和测试集，从集装箱表面损伤检测数据集中选取半数各损伤类型图片样本，按随机顺序摆放并按摆放顺序对每张图片进行编号，并将图片编号与对应损伤类型标签值保存到训练集文本文件中，这些图片样本与训练集文本文件构成训练数据集，按同样方法制作形成测试数据集；
[0009]S2、构建基于两阶段卷积神经网络的集装箱表面损伤检测模型，两阶段卷积神经网络包括分割网络与分类网络，分割网络对集装箱表面损伤图像样本进行处理以获取损伤分割特征图，分类网络对集装箱表面损伤图像进行损伤类型判断；
[0010]S3、通过训练数据集和测试数据集训练该集装箱表面损伤检测模型；
[0011]S4、运用训练好的模型对集装箱表面损伤进行判别并输出检测结果。
[0012]接上述技术方案，步骤S1中，收集集装箱表面损伤图片，从中选取大量箱体表面“破裂”、“锈蚀”、“凹坑”、“孔洞”、“磨损”状态明显的图片进行图像预处理，预处理后的图片统一为相同高度与宽度像素。
[0013]接上述技术方案，图像预处理具体为：
[0014]采用加权平均法对RGB三分量以不同权值进行加权平均，得到灰度图像；
[0015]对图像进行几何变换处理，修正图像采集成像过程中的随机误差，并使用双线性插值算法以避免输出图像的像素被映射到输入图像非整数坐标上；
[0016]采用图像增强技术加强图像质量与信息量并改善识别效果，具体运用中值滤波邻域增强算法以消除图像噪声将其变得清晰，运用梯度算子邻域增强算法扩大不同物体特征间差别以突出有用信息。
[0017]接上述技术方案，分割网络包括依次连接的CNN分割网络和ASPP网络，CNN分割网络为9个3*3卷积层和3个2*2池化层，每个池化层分别设置在第2、第5和第9个卷积层之后，以此构成3组依次连接的卷积
‑
池化层；输入原图片样本X后，图片样本特征值在卷积层与卷积核尺寸内各位置权值进行卷积操作，提取出图片多个特征并得到一组卷积层特征图集合，每个卷积层后连接BN层和ReLU层，进行批量标准化与激活函数处理，特征图集合在池化层与池化窗口进行池化操作，使特征图数据量降低并对其进行二次特征提取，避免发生过拟合现象，每个池化层后连接BN层进行批量标准化；ASPP网络为并列分布的1个1*1卷积层和3个3*3空洞卷积层，采样率分别为4、6和8，每个卷积层后使用BN批量标准化操作，并连接1个2*2平均池化层进行处理，每个平均池化层中Avg函数计算结果表示由X中每个2*2区域内平均像素值组成的输出矩阵值；最终将其四层输出连接到一起，通过1个1*1卷积层与1个上采样层，利用双线性插值方法恢复原图片样本分辨率以获取损伤分割特征图X
’
。
[0018]接上述技术方案，分类网络包括两个CNN分类网络，每个CNN分类网络为1个5*5卷积层、2个3*3卷积层和3个2*2最大池化层以及末尾2个120与84的全连接层，每个最大池化层分别设置在单个卷积层之后，以此构成3对依次连接的卷积
‑
池化层；每层有多个二维平
面，每个平面有多个神经元；每个卷积层后连接ReLU层进行激活函数处理，激活函数ReLU计算输出(0,x)中较大参数值；每个最大池化层中Max函数计算结果表示由X中每个2*2区域内像素值最大者组成的输出矩阵值；每个全连接层前连接Dropout层，全连接层的一维列向量为最末端池化层特征图全部展开重组形成，与Softmax层采用全连接方式连接。
[0019]接上述技术方案，第一个CNN分类网络a用于输入分割特征图X
’
，以获取第一分类特征图p
a
；第二个CNN分类网络b用于输入原图片样本X，以获取第二分类特征图p
b
；第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于两阶段卷积神经网络的集装箱表面损伤检测方法，其特征在于，该方法包含如下步骤：S1、制作集装箱表面损伤检测训练数据集和测试数据集，具体收集所需的集装箱表面损伤图片，并进行图像预处理；为集装箱表面损伤类型建立标签值表，对每张图片其对应表面损伤类型的标签值进行标注，图片样本与标签值表共同组成集装箱表面损伤检测数据集；将数据集划分为训练集和测试集，从集装箱表面损伤检测数据集中选取半数各损伤类型图片样本，按随机顺序摆放并按摆放顺序对每张图片进行编号，并将图片编号与对应损伤类型标签值保存到训练集文本文件中，这些图片样本与训练集文本文件构成训练数据集，按同样方法制作形成测试数据集；S2、构建基于两阶段卷积神经网络的集装箱表面损伤检测模型，两阶段卷积神经网络包括分割网络与分类网络，分割网络对集装箱表面损伤图像样本进行处理以获取损伤分割特征图，分类网络对集装箱表面损伤图像进行损伤类型判断；S3、通过训练数据集和测试数据集训练该集装箱表面损伤检测模型；S4、运用训练好的模型对集装箱表面损伤进行判别并输出检测结果。2.根据权利要求1所述的基于两阶段卷积神经网络的集装箱表面损伤检测方法，其特征在于，步骤S1中，收集集装箱表面损伤图片，从中选取大量箱体表面“破裂”、“锈蚀”、“凹坑”、“孔洞”、“磨损”状态明显的图片进行图像预处理，预处理后的图片统一为相同高度与宽度像素。3.根据权利要求1所述的基于两阶段卷积神经网络的集装箱表面损伤检测方法，其特征在于，图像预处理具体为：采用加权平均法对RGB三分量以不同权值进行加权平均，得到灰度图像；对图像进行几何变换处理，修正图像采集成像过程中的随机误差，并使用双线性插值算法以避免输出图像的像素被映射到输入图像非整数坐标上；采用图像增强技术加强图像质量与信息量并改善识别效果，具体运用中值滤波邻域增强算法以消除图像噪声将其变得清晰，运用梯度算子邻域增强算法扩大不同物体特征间差别以突出有用信息。4.根据权利要求1所述的基于两阶段卷积神经网络的集装箱表面损伤检测方法，其特征在于，分割网络包括依次连接的CNN分割网络和ASPP网络，CNN分割网络为9个3*3卷积层和3个2*2池化层，每个池化层分别设置在第2、第5和第9个卷积层之后，以此构成3组依次连接的卷积
‑
池化层；输入原图片样本X后，图片样本特征值在卷积层与卷积核尺寸内各位置权值进行卷积操作，提取出图片多个特征并得到一组卷积层特征图集合，每个卷积层后连接BN层和ReLU层，进行批量标准化与激活函数处理，特征图集合在池化层与池化窗口进行池化操作，使特征图数据量降低并对其进行二次特征提取，避免发生过拟合现象，每个池化层后连接BN层进行批量标准化；ASPP网络为并列分布的1个1*1卷积层和3个3*3空洞卷积层，采样率分别为4、6和8，每个卷积层后使用BN批量标准化操作，并连接1个2*2平均池化层进行处理，每个平均池化层中Avg函数计算结果表示由X中每个2*2区域内平均像素值组成的输出矩阵值；最终将其四层输出连接到一起，通过1个1*1卷积层与1个上采样层，利用双线性插值方法恢复原图片样本分辨率以获取损伤分割特征图X
’
。5.根据权利要求4所述的基于两阶段卷积神经网络的集装箱表面损伤检测方法，其特
征在于，分类网络包括两个CNN分类网络，每个CNN分类网络为1个5*5卷积层、2个3*3卷积层和3个2*2最大池化层以及末尾2个120与84的全连接层，每个最大池化层分别设置在单个卷积层之后，以此构成3对依次连接的卷积
‑
池化层；每层有多个二维平面，每个平面有多个神经元；每个卷积层后连接ReLU层进行激活函数处理，激活函数ReLU计算输出(0,x)中较大参数值；每个最大池化层中Max函数计算结果表示由X中每个2*2区域内像素值最大者组成的输出矩阵值；每个全连接层前连接Dropout层，全连接层的一维列向量为最末端池化层特征图全部展开重组形成，与Softmax层采用全连接方式连接。6.根据权利要求4所述的基于两阶段卷积神经网络的集装箱表面损伤检测方法，其特征在于，第一个CNN分类网络a用于输入分割特征图X
’
，以获取第一分类特征图p
a
；第二个CNN分类网络b用于输入原图片样本X，以获取第二分类特征图p
b
；第一分类特征图p
a
和第二分类特征图p
b
通过融合函数处理后得到融合向量p
sum
，将其输入Softmax层进行分类，softmax函数计算得到输送带各种状态可能出现的概率Y
’
，并选择概率最大状态作为最终判断出的输送带当前状态Y
’
进行输出；Y
’
是通过预测计算得到的估计值，Y是原图片样本的对应标签值，通过Y
’
与Y计算交叉熵损失函数L(Y
’
,Y)并使其最小化。7.根据权利要求1所述的基于两阶段卷积神经网络的集装箱表面损伤检测方法，其特征在于，步骤S3中，两阶段的集装箱表面损伤检测模型整体训练流程具体为：分割网络构...

【专利技术属性】
技术研发人员：张艳伟，胡俊峰，谭永庆，胡典雅，杨鹏强，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：