一种码头装卸过程的纸浆货物数量自动检测方法技术

本发明专利技术公开了码头装卸过程的纸浆货物数量自动检测方法，包括如下步骤：S1：对装载有纸浆货物的运输工具的视频流以一定的频率实时抽取；S2：对所抽取的视频图像进行处理，分割出纸浆货物部分的特征图；S3：对所述特征图进行处理，获取候选连接点；S4：根据所述候选连接点，提取一系列候选线段样本；S5：过滤所述候选线段样本；S6：统计所述候选线段样本的数量，以获取纸浆货物数量。本发明专利技术能够自动化检测纸浆货物的数量，降低任务量且提高检测效率，无人工参与，智能化程度高，提高检测准确性。

【技术实现步骤摘要】
一种码头装卸过程的纸浆货物数量自动检测方法
本专利技术涉及计算机视觉及深度学习
，尤其涉及一种码头装卸过程的纸浆货物数量自动检测方法。
技术介绍
目前，码头业务繁荣发展，纸浆货物在码头装卸过程中，需要通过运输工具（例如平板卡车）输送。纸浆货物具有一捆一包的特点，在进行纸浆货物装卸过程中，需要人工对纸浆货物进行清点，在进行人工清点后纸质记录清点数量，此后方可将卡车放行。此种人工清点工作不仅任务量大，增加人力成本，而且效率低，同时还存在由于人工疲劳或疏忽而产生的清点数量有误的问题。因此，需要一种智能化且自动化的纸浆货物数量检测方法，降低任务量的同时提升清点效率及准确性。
技术实现思路
本专利技术的实施例提供一种码头装卸过程的纸浆货物数量自动检测方法，首先确定视频图像中纸浆货物部分的位置，再对检测出的纸浆货物部分进行数量检测，自动化检测纸浆货物的数量，降低任务量且提高检测效率，无人工参与，智能化程度高，提高检测准确性。为实现上述专利技术目的，本专利技术采用下述技术方案予以实现：本申请涉及一种码头装卸过程的纸浆货物数量自动检测方法，其特征在于，包括如下步骤：S1：对装载有纸浆货物的运输工具的视频流以一定的频率实时抽取；S2：对所抽取的视频图像进行处理，分割出纸浆货物部分的特征图；S3：对所述特征图进行处理，获取候选连接点；S4：根据所述候选连接点，提取一系列候选线段样本；S5：过滤所述候选线段样本；S6：统计所述候选线段样本的数量，以获取纸浆货物数量。在本申请中，步骤S2包括如下：S21：将所抽取的视频图像输入至残差网络，以得到特征图像；S22：将所述特征图像进行处理，提取区分前景和背景的矩形候选框；S23：将所提取到的矩形候选框映射到所述特征图像中，利用区域特征聚集技术统一所述矩形候选框的窗口大小；S24：将所述特征图像按照所述矩形候选框的坐标信息分割出所述纸浆货物部分的特征图。在本申请中，所述S2还包括在S23之后且在S24之前的如下步骤：S23'：对S23中统一窗口后的矩形候选框进行边界边框回归，以对所述矩形候选框的坐标信息进行修正。在本申请中，步骤S3包括如下步骤：S31：将所述特征图进行网格划分，形成M个网格单元Wx×Hx；S32：对所述特征图依次输入至卷积层和分类层进行处理，以计算每个网格单元的置信度，并将经过所述卷积层处理后的特征图转换为连接点偏移特征图O(x)，；其中V表示点集，li表示点集V中某个连接点i在网格单元x中的位置，表示网格单元x的中心位置；S33：对所计算的每个网格单元的置信度进行阈值限定，获取概率特征图P(x)并对各网格单元中是否存在连接点进行分类，；S34：利用连接点偏移特征图O（x）预测连接点在对应网格单元中的相对位置；S35：利用线性回归对连接点在对应网格单元中的相对位置进行优化。在本申请中，步骤S3还包括如下步骤：通过非极大值抑制技术获取网格单元中连接点的精确的相对位置信息。在本申请中，步骤S4包括：S41：采用正负样本混合采样机制的方式输出一系列线段样本的端点坐标信息；S42：根据各线段样本的端点坐标信息，对各线段样本进行固定长度的向量化处理，获取各线段样本的特征向量，以提取一系列线段样本。在本申请中，步骤S5具体为：利用各线段样本为交线形成的各矩形框面积之间的交并比过滤各线段样本。在本申请中，步骤S5具体为：利用各线段样本之间的欧式距离过滤各线段样本。本申请涉及的纸浆货物数量自动检测方法，具有如下优点和有益效果：在纸浆货物到港后，将纸浆货物装载在运输工具上，通过在监控画面中实时监控装载有纸浆货物的运输工具的视频流，从实时视频流中抽取视频图像，根据视频图像检测出纸浆货物部分，结合纸浆货物一捆一包的特性，再根据检测出的纸浆货物部分进行线段检测，从而实现纸浆货物数量的检测，整个过程不需要人工参与，降低人工任务量，实现智能化及自动化，且借助计算机进行运算，检测速度快，提高检测效率。结合附图阅读本专利技术的具体实施方式后，本专利技术的其他特点和优点将变得更加清楚。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提出的码头装卸过程的纸浆货物数量自动检测方法一实施例的流程图；图2是本专利技术提出的码头装卸过程的纸浆货物数量自动检测方法实施例中涉及到的纸浆货物部分原图；图3是本专利技术提出的码头装卸过程的纸浆货物数量自动检测方法实施例中获取的候选连接点的图；图4是本专利技术提出的码头装卸过程的纸浆货物数量自动检测方法实施例中获取的真的候选线段样本的图；图5是本专利技术提出的码头装卸过程的纸浆货物数量自动检测方法实施例中将真的候选线段样本映射到纸浆货物部分原图上的最终检测图；图6为所抽取的视频图像；图7为利用本专利技术提出的码头装卸过程的纸浆货物数量自动检测方法应用在图6中视频图像上的纸浆货物现场检测的效果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。为了避免人工清点在码头装卸过程中纸浆货物包的数量，本申请涉及一种纸浆货物数量自动检测方法。纸浆货物数量自动检测方法的主要任务是，对于监控视频中经过的所有车辆，检测纸浆货物包并计算所包含的纸浆货物数量。该任务为了实现运输工具上的纸浆货物的数量自动检测，综合运用目标检测和线段检测。目标检测主要有两个任务：目标分类和定位，需要从背景中分离出前景物体，并确定处前景的类别和位置信息。当前目标检测算法可分为基于候选区域和基于端到端的方法，在检测准确率和定位精度方面，基于候选区域的方法更占优势。同时由于纸浆货物摆放不规则，难以获得体积及中点等辅助信息，为进一步确定纸浆货物数量提高了难度。纸浆货物具有一捆一包的捆绑特点，结合当前线段检测的技术，采用线段检测的方法可以有效提取数量信息。参见图1至图7，如下将具体描述纸浆货物数量自动检测方法的实现。S1：对装载有纸浆货物的运输工具的视频流以一定的频率实时抽取。纸浆货物到港后，装载至运输工具，例如运输卡车上，其通过监控画面进行监控，在监控的视频流中按照每秒帧数进行一定频率的帧数抽取，截取视频图像，参考图2。需要说明的是，运输工具上装载的每包纸浆货物基本成长方体，且高度及横截面积均基本一致，通过绑带（例如钢丝）捆绑成一包。S2：对所抽取的视频图像进行处理，分割出纸浆货物部分的特征图。步骤S2的任务是实现目标检本文档来自技高网...

【技术保护点】
1.一种码头装卸过程的纸浆货物数量自动检测方法，其特征在于，包括如下步骤：/nS1：对装载有纸浆货物的运输工具的视频流以一定的频率实时抽取；/nS2：对所抽取的视频图像进行处理，分割出纸浆货物部分的特征图；/nS3：对所述特征图进行处理，获取候选连接点；/nS4：根据所述候选连接点，提取一系列候选线段样本；/nS5：过滤所述候选线段样本；/nS6：统计所述候选线段样本的数量，以获取纸浆货物数量。/n

【技术特征摘要】
1.一种码头装卸过程的纸浆货物数量自动检测方法，其特征在于，包括如下步骤：
S1：对装载有纸浆货物的运输工具的视频流以一定的频率实时抽取；
S2：对所抽取的视频图像进行处理，分割出纸浆货物部分的特征图；
S3：对所述特征图进行处理，获取候选连接点；
S4：根据所述候选连接点，提取一系列候选线段样本；
S5：过滤所述候选线段样本；
S6：统计所述候选线段样本的数量，以获取纸浆货物数量。


2.根据权利要求1所述的纸浆货物数量自动检测方法，其特征在于，步骤S2包括如下：
S21：将所抽取的视频图像输入至残差网络，以得到特征图像；
S22：将所述特征图像进行处理，提取区分前景和背景的矩形候选框；
S23：将所提取到的矩形候选框映射到所述特征图像中，利用区域特征聚集技术统一所述矩形候选框的窗口大小；
S24：将所述特征图像按照所述矩形候选框的坐标信息分割出所述纸浆货物部分的特征图。


3.根据权利要求2所述的纸浆货物数量自动检测方法，其特征在于，所述S2还包括在S23之后且在S24之前的如下步骤：
S23'：对S23中统一窗口后的矩形候选框进行边界边框回归，以对所述矩形候选框的坐标信息进行修正。


4.根据权利要求1所述的纸浆货物数量自动检测方法，其特征在于，步骤S3包括如下：
S31：将所述特征图进行网格划分，形成M个网格单元Wx×Hx；
S32：对所述特征图依次输入至卷积层和分...

【专利技术属性】
技术研发人员：耿增涛，李全喜，张子青，李宁孝，陆兵，乔善青，石雪琳，王国栋，李新照，郭振，
申请(专利权)人：青岛港科技有限公司，青岛外轮理货有限公司，青岛大学，
类型：发明
国别省市：山东;37