一种基于实例分割模型的集装箱检测方法技术

本发明专利技术是公开的图像处理技术领域的一种基于实例分割模型的集装箱检测方法。包括：A1、获取集装箱照片；A2、将包含集装箱的照片输入到训练好的实例分割模型；A3、得到图像内每个集装箱的拍摄角度，外接矩形及分割结果即每个集装箱的边界坐标。本发明专利技术提出的集装箱图像检测方法，采用实例分割实现了对图像中所有集装箱的检测与分割，并且能够区分不同集装箱的拍摄角度，即使在集装箱相互粘连等复杂情况下仍可准确检测与分割。

A container inspection method based on case segmentation model

【技术实现步骤摘要】
一种基于实例分割模型的集装箱检测方法
本专利技术设计一种图像处理方法，属于图像处理
，尤其是指一种基于实例分割模型的集装箱检测方法。技术背景随着科学技术的进步和国家进出口贸易的增加，物流运输行业处于逐年迅速发展和需求大量提升的环境，对集装箱的运输量也是逐年增加。对于集装箱来讲在海上运输起到重要的作用，在海运大力发展的同时，需要更加智能快速的方法获取到集装箱信息，从而对大规模集装箱能够实现集装箱的信息化、智能化和现代化。在实际场景应用中，无论是智能堆场，还是集装箱检验系统，或是箱号检测系统，集装箱检测都是基础，重中之重。现如今计算机视觉技术空前成熟，还未有相关技术应用到集装箱检测领域。集装箱的检测分割技术在将来的智能化航运中起着至关重要的作用。高效准确的分割技术在检测中同样起着至关重要的作用。基于实例分割模型的集装箱检验方法应运而生基于传统图像分割算法grabcut在分割开始时，需要手动的框选需分割的前景区域，需要人的交互式操作，与数字化，智能化的需求有巨大的偏差。其次，由于对图像的每个像素均要计算混合高斯模型以确定是前景与背景的概率，同时相邻的像素均要计算二范数从而确定边缘，通过不断地迭代以使得模型参数收敛，大大的降低了分割速率，在实际中一张图像要处理1分钟左右的时间，不具有工业的可实施性。同时，模型的参数不具有泛化性。算法对每张图像都要重新进行高斯混合模型的搭建与参数的迭代学习，学到的参数仅对当前图像有效，对其他图像无效。原因在于该算法同时对背景也做了建模，即使相同的前景，背景不同也会导致模型的参数不同。同时，该模型对交叉类似的物体分割困难，因为交叉类似的物体具有相似的特征如纹理，颜色。该算法建立的混合高斯模型由于对前景进行建模，导致与前景相似的内容均归为前景，不能很好的分割相似的交叉物体，而集装箱的外表形状均很相似，故对一张图像中含有两个及以上集装箱的图像，不能分割出单独的集装箱。其次，该模型对背景与前景颜色相似，即边缘不易区分的分割效果不理想。由于该模型同时对边缘进行建模，由于颜色等相似，而该模型确定边缘主要以颜色相近度为主，故前景与背景颜色相近的情况下，不能区分。最后，该算法仅能进行前景的分割，不具有识别功能，即是否分割与图片内容无关，不知道图像是否包含所需内容，只要给出交互框，均分割。为解决此问题可以结合目标检测算法，首先通过一个目标检测框架可以将图像中的物体框选出来，然后在进行分割，实现无需交互的自动化分割，且能识别出被分割的物体。该算法分割结果仍受限与传统的分割算法的性能，如复杂环境下分割效果差，速度较慢，且模型复用性不足。结合目标检测与传统分割的算法，仍然受限于传统过的分割算法的局限：速度慢，可复用性差，受限于复杂环境与背景，如颜色相似的背景，且对相同目标交叉情况下，不能单独区分每一个目标。为获得较好的分割效果，深度学习中有语义分割模型，语义分割模型有较好的分割效果，很强的模型复用性，只要将图像输入可以输出图像中不同目标的分割结果，相同的目标也会有类别标注，即知道分割对象那个的类别。基于深度学习的语义分割模型，虽然有较快的速度，可复用性强，能应对复杂的背景，但有一个较大的缺陷，对图像中有相同的目标不能每个目标单独区分，对具有交叉的相同目标不能单独分割出每个目标，这对集装箱分割有很大影响，因集装箱拍摄地点大部分有很多集装箱，导致拍摄背景中会包含很多集装箱，但是语义分割模型不能很好的区分每个集装箱，而是将所有集装箱进行分割。
技术实现思路
针对上述方案存在的缺点，我们提出集装箱分割新的框架，即基于实例分割的模型来解决传统分割算法分割速度慢，复用率低，目标检测与传统算法结合，受限于传统分割算法，语义分割算法不能区分同一类目标的缺陷。该算法利用深度学习，目标检测网络框架中加入分割分支，利用目标检测框架实现每个集装箱的单独检测，并且可以识别不同角度的集装箱，利用分割网络分支将每个集装箱进行分割。由这种目标检测框架加分割分支网络，可以快速识别出集装箱的位置，角度，以及集装箱的边缘信息，大大提高集装箱检测的准确率与速率。本专利技术是通过以下技术方案来实现的首先本专利技术的整体框架是，利用目标检测框架进行集装箱的定位，并且可以识别出集装箱的拍摄角度，同时利用分割分支对每个目标进行分割，实现一个或多个集装箱的定位，拍摄角度，以及每个集装箱的边缘信息。(1)、本专利技术提出的目标检测框架是基于区域的方法的目标检测框架，或是两阶段的目标检测模型，但并非仅是指基于区域的方法的框架，基于其他方法的目标检测框架，如基于回归方法的目标检测框架，都在所保护范围内。只要使用基于目标检测的框架都受到该专利的保护。基于区域的方法的目标检测框架是指：首先基于图片提出若干可能包含物体的区域(即图片的局部裁剪，被称为区域提议(RegionProposal))，；二是在提出的这些区域上运行分类网络与回归网络得到每个区域内物体的类别与每个物体的最小外接框坐标即物体的位置信息。a、提出包含物体区域的方法是指：区域提议网络其目的是用来产生图像中感兴趣区域，即提出大量可能包含目标的矩形框具体为通过将特征提取网络生成的几个featuremaps上的像素投影到原图以生成大量的锚框，首先通过非极大值抑制筛选掉一些重复的框，及排除掉一些超边界框，选取置信度最高的某个固定数量的锚框，来减少计算量，将剩余的锚框输入两个分支网络：分类网络、边界框回归网络，输出每一个锚框是前景还是背景，即是否包含目标，以及如果包含目标，锚框区域与真实区域的偏差。通过锚框及边界框回归网络生成的偏差来修正锚框区域得到提议区域。网络输入：原始图像，特征提取网络生成的特征图层网络输出：大量的提议区域，及提议区域为前景还是背景特征提取网络是指：特征提取网络包括骨架提取网络(backbone)和特征金字塔网络(FPN)，仅依靠骨架提取层的最后一层(特征层(featuremaps))会造成检测小物体性能极具下降，而FPN主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能。FPN的功能就是融合了骨架提取网络中产生的不同尺度的featuremaps，从而充分的利用了提取到的各个阶段的特征。b、分类网络与回归网络是指：将提出的提议区域经过感兴趣区域对齐，输入到两个网络，一个是分类网络，能够区分出区域内包含目标的类别，即集装箱的拍摄角度，另一个是回归网络或检测网络，能够输出目标的位置信息，即目标最小外接框的坐标。感兴趣区域对齐是指：感兴趣区域对齐网络：因为后续有全连接层的存在，使得输入后续网络的提议区域需大小一致，而经过区域提议网络输出的提议区域，有各种尺寸，所以需要经过感兴趣区域对齐网络使得每个区域大小一致。(2)、本专利技术对目标检测过程中感兴趣区域对齐后的区域输入到分割网络，进行分割处理分割网络是指：分割任务需要预测一幅图像中所有像素点的类别，这是个空间密集型的本文档来自技高网...

【技术保护点】
1.一种基于实例分割模型的集装箱检测方法，其特征所描述的方法包含如下步骤:A1、获取集装箱图像；A2、将图像输入到训练好的实例分割模型；A3、得到图像内每个集装箱的置信度，外接矩形及分割结果即每个集装箱的边界坐标。/n

【技术特征摘要】
1.一种基于实例分割模型的集装箱检测方法，其特征所描述的方法包含如下步骤:A1、获取集装箱图像；A2、将图像输入到训练好的实例分割模型；A3、得到图像内每个集装箱的置信度，外接矩形及分割结果即每个集装箱的边界坐标。


2.根据权力要求1所述一种基于实例分割模型的集装箱检测方法，其特征在于：所述S2步骤中，实例分割网络包括特征提取网络、区域提议网络(RPN)、感兴趣区域层对齐、输出层。


3.根据权利要求1所述一种基于实例分割模型的集装箱检测方法，其特征在于：所述A2步骤中，实例分割模型搭建包括有：
对大量的集装箱进行标注，按照图像中的目标轮廓绘制闭合多边形，将多边形区域标注为集装箱。将所有数据随机分为训练集与测试集。
搭建实例分割模型，将训练集和测试集输入网络进行训练，通过数十万次的参数迭代，使得损失函数值收敛到一个最小值，保存训练好的实例分割模型，得到一个精度，准确率很高的实例分割模型。
根据权利要求2所述的实例分割模型的集装箱检测方法，其特征在于特征提取网络包括深度残差网络和特征金字塔网络。
根据权利要求2所述的实例分割模型的集装箱检测方法，其特征在于特征提取网络具体包括：将集装箱图像输入到深度残差网络中，得到多个尺度的集装箱图像特征图，并将该多个尺度...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海撬动网络科技有限公司，
类型：发明
国别省市：上海;31