一种装卸垛口状态模式识别方法技术

本发明专利技术公开了一种装卸垛口状态模式识别方法，首先构建垛口状态数据集，根据摄像头位置，垛口状态将训练集分为五类并标记标签。其次构建ResNet50网络模型，增加ReLu层、dropout层、logSoftmax回归层适应数据集，从而进行样本训练。模型收敛后，构建垛口状态模式识别系统，利用RTSP协议将视频流输入该识别系统，完成垛口状态的初次识别，并通过中值滤波算法去噪提升了识别的准确率，最终准确率可达到99％。解决了传统算法因为误判而导致作业时间和作业车次不匹配问题。通过yolov5算法定位车牌区域，同时利用文本检测算法提取目标文本，结合卷积递归神经网络识别车牌信息。最后根据记录的垛口车辆靠台、出台时间和作业时长数据为垛口管理提供依据。本发明专利技术实现了各个垛口的状态识别，记录垛口作业状态，能够有效地对异常作业进行反馈，便于管理和复盘。便于管理和复盘。便于管理和复盘。

【技术实现步骤摘要】
一种装卸垛口状态模式识别方法


[0001]本专利技术属于图像识别
，特别涉及一种装卸垛口状态模式识别方法。

技术介绍

[0002]中国邮政集团有限公司寄递“六大改革”部署是当今邮政提速发展的一项重要工作，邮区中心规范化改革是“六大改革”中的重要一环，以邮区中心自动化、智能化来实现高效化、低成本化运行，将邮区中心打造成中国邮政寄递的核心优势则是实现降本增效的必由之路。
[0003]邮区中心局是负担陆路干线邮件分拣、封发、经转和发运任务的邮政生产单位。邮区中心局承担着邮件进出口的分拣处理以及运输工作，有效地提高中心局的作业效率，监测生产异常状态是近年来邮政降本增效的一大研究方向。邮区中心局出入车次频繁，装卸垛口较多，仅通过调度中心抽查视频或处理中心人工巡场存在一定局限性，不能实现全方位全时段覆盖。因此通过自动化实现对垛口作业状态判别，降低人工巡场实现24小时全方位覆盖具有深远的意义。
[0004]基于特征提取的图像状态识别技术或者基于深度学习模型的图像分类在应用过程中，由于受到垛口环境变换、灯光变换、摄像头视野域的限制在垛口状态识别过程中分类准确率不可达到100％。其局限性在于：
[0005](1)在采样间隔短，数据流大时发生误判将导致在作业时间内的一次作业分割成两次或多次作业或者作业时间不连贯导致无法匹配车次和作业时间。
[0006](2)车辆作业时，同一车次发生推出后又推入进行作业。
[0007](3)装卸垛口空闲时，画面中出现车辆经过、车辆临时靠台停车等。
[0008](4)存在装卸垛口卷帘门拉起时，摄像头视野域被遮挡无法判别状态。

技术实现思路

[0009]专利技术目的：针对现有技术中存在的问题，本专利技术提供一种装卸垛口状态模式识别方法，能够根据连续性序列的特点利用中值滤波改进神经网络模型，使得垛口状态识别达到99％以上的准确率，能够得到作业车辆的精准作业时间，作业车辆靠台、出台时间。
[0010]技术方案：为解决上述技术问题，本专利技术提供一种装卸垛口状态模式识别方法，包括如下步骤：
[0011]步骤一：设置采集视频间隔时间1秒/帧，采集视频数据，通过采集的视频数据制作数据集，并对数据集进行预处理；
[0012]步骤二：将数据分为训练集、测试集、交叉验证集，构建ResNet50模式识别网络模型，利用构建好的ResNet50模式识别网络模型进行训练；
[0013]步骤三：采用英伟达边缘计算盒子作为模型部署容器，通过硬解码技术利用英伟达边缘计算盒子的解码编码芯片实现视频流解析，同时英伟达边缘计算盒子的核心计算能力满足系统算力要求；
[0014]步骤四：通过RTSP协议，利用边缘计算盒子进行解码编码，将视频流实时传入训练完成的ResNet50模式识别网络模型中，记录当前时间、垛口ID、识别结果；标记垛口车辆车牌区域，垛口作业人员位置，构建yolo v5算法模型定位图片车牌区域、统计作业人数。构建文本检测算法定位车牌区域，结合卷积递归神经网络完成文字序列的识别，提取车牌信息，并录入数据库；
[0015]步骤五：基于中值滤波改进ResNet50模式识别网络模型，对垛口状态进行修正；
[0016]步骤六：根据时间序列的稳定性，构建状态机滤波方法，对中值滤波去噪后的垛口状态进行再次修正；
[0017]步骤七：对修正后的结果进行计算，完成垛口车辆靠台、出台时刻、时长的记录，完成垛口状态的模式识别，生成基于时间序列的作业报表。
[0018]进一步的，所述步骤一中对数据集进行预处理的步骤如下：
[0019]将数据集根据摄像头角度、方位、作业场景的不同，分为两大类：空闲状态和垛口作业状态；所述空闲状态包括摄像头偏低时垛口空闲状态、垛口空闲状态和垛口卷帘门状态；所述垛口作业状态包括垛口作业状态和垛口空载状态。
[0020]进一步的，所述步骤二中构建ResNet50模式识别网络模型，利用构建好的ResNet50模式识别网络模型进行训练的具体步骤如下：
[0021]步骤2.1：ResNet50模式识别网络模型构建
[0022]ResNet50的初始网络是对2048个类别进行分类，输出结果的维度为2048；对网络结构进行调整以适应垛口的状态：增加新的Dropout层以及logSoftmax，于ResNet50网络原结构尾端加入维度为5的全连接层；设共计k＝5个节点输出，则对于第i个节点logSoftmax为：
[0023]L
i
＝
‑
logo(z
i
)
[0024][0025]其中L
i
为第i个节点输出；
[0026]步骤2.2：ResNet50模式识别网络模型训练
[0027]将数据集输入到网络中进行训练，在初始阶段先对模型进行多次训练，通过迁移学习快速达到残差收敛，得到具备泛化性的权重；然后利用测试集合进行测试。
[0028]进一步的，所述步骤五中基于中值滤波改进ResNet50模式识别网络模型的具体步骤如下：
[0029]步骤5.1：设视频流的一组序列为f1,f2,
…
,f
n
，取窗口长度s，其中s为奇数；对此视频流的识别效果进行中值滤波：
[0030][0031]其中Med为序列中位数计算公式，从视频识别序列中抽取s个数，i为该序列中位下标，将序列按照降序排序，取序号为中位值作为整条序列的输出；
[0032]步骤5.2：基于中值滤波算法的模型优化：
[0033]将各个通道的垛口视频实时传输至ResNet50模式识别网络模型中，完成模式识
别，输出垛口状态的时间识别序列；其中时间识别序列为：0、摄像头偏低时垛口空闲状态；1、垛口空闲状态；2、垛口卷帘门状态；3、垛口作业状态；4、垛口空载状态；
[0034]将上述序列0，1，2标记为0表示空闲，3，4标记为1表示作业，最终结果为0，1序列方波；
[0035]构建阶跃频率与滤波窗口长度的非线性估计方程，对两者进行核密度估计：
[0036][0037]其中x
(1)
表示阶跃频率，x
(2)
表示滤波窗口长度，η为光滑参数带宽；构建基于灵活贝叶斯分类器的窗口长度选择模型，从而建立自适应窗口长度的中值滤波器。
[0038]进一步的，所述步骤5.2中构建基于灵活贝叶斯分类器的窗口长度选择模型的具体步骤如下：
[0039]步骤5.2.1：根据窗口长度将数据集分割，数据集特征包括阶跃频率以及序列长度；
[0040]步骤5.2.2：利用核密度估计构造每个数据集的生成模型，从而计算出似然估计值P(x|y)其中x代表特征，y代表窗口长度；
[0041]步骤5.2.3：通过构建网格搜索利用模型准确率寻找最优核密度估计的带宽长度；
[0042]步骤5.2.4：利用该分布取代朴素贝叶斯分类器的高斯分布模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装卸垛口状态模式识别方法，其特征在于，包括如下步骤：步骤一：设置采集视频间隔时间1秒/帧，采集视频数据，通过采集的视频数据制作数据集，并对数据集进行预处理；步骤二：将数据分为训练集、测试集、交叉验证集，构建ResNet50模式识别网络模型，利用构建好的ResNet50模式识别网络模型进行训练；步骤三：采用英伟达边缘计算盒子作为模型部署容器，通过硬解码技术利用英伟达边缘计算盒子的解码编码芯片实现视频流解析，同时英伟达边缘计算盒子的核心计算能力满足系统的是能算法的算力要求；步骤四：通过RTSP协议，利用边缘计算盒子进行解码编码，将视频流实时传入训练完成的ResNet50模式识别网络模型中，记录当前时间、垛口ID、识别结果；标记垛口车辆车牌区域，垛口作业人员位置，构建yolo v5算法模型定位图片车牌区域、统计作业人数；构建文本检测算法定位车牌区域，结合卷积递归神经网络完成文字序列的识别，提取车牌信息，并录入数据库；步骤五：基于中值滤波改进ResNet50模式识别网络模型，对垛口状态进行修正；步骤六：根据时间序列的稳定性，构建状态机滤波方法，对中值滤波去噪后的垛口状态序列进行再次修正；步骤七：对修正后的结果进行计算，完成垛口车辆靠台、出台时刻、时长、人数的记录，完成垛口状态的模式识别，生成基于时间序列的作业报表。2.根据权利要求1所述的一种装卸垛口状态模式识别方法，其特征在于，所述步骤一中对数据集进行预处理的步骤如下：将数据集根据摄像头角度、方位、作业场景的不同，分为两大类：空闲状态和垛口作业状态；所述空闲状态包括摄像头偏低时垛口空闲状态、垛口空闲状态和垛口卷帘门状态；所述垛口作业状态包括垛口作业状态和垛口空载状态。3.根据权利要求1所述的一种装卸垛口状态模式识别方法，其特征在于，所述步骤二中构建ResNet50模式识别网络模型，利用构建好的ResNet50模式识别网络模型进行训练的具体步骤如下：步骤2.1：ResNet50模式识别网络模型构建ResNet50的初始网络是对2048个类别进行分类，输出结果的维度为2048；对网络结构进行调整以适应垛口的状态：增加新的Dropout层以及logSoftmax，于ResNet50网络原结构尾端加入维度为5的全连接层；设共计k＝5个节点输出，则对于第i个节点logSoftmax为：L
i
＝
‑
logo(z
i
)其中L
i
为第i个节点输出；步骤2.2：ResNet50模式识别网络模型训练将数据集输入到网络中进行训练，在初始阶段先对模型进行多次训练，通过迁移学习快速达到残差收敛，得到具备泛化性的权重；然后利用测试集合进行测试。4.根据权利要求1所述的一种装卸垛口状态模式识别方法，其特征在于，所述步骤五中
基于中值滤波改进ResNet50模式识别网络模型的具体步骤如下：步骤5.1：设视频流的一组序列为f1,f2,
…
,f
n
，取窗口长度s，其中s为奇数；对此视频流的识别效果进行中值滤波：Y
i
＝Med{f
i
‑
t
,...,f
i
,...f
i+t
}其中Med为序列中位数计算公式，从视频识别序列中抽取s个数，i为该序列中位下标，将序列按照降序排序，取序号为中位值作为整条序列的输出；步骤5.2：基于中值滤波算法的模型优化：将各个通道的垛口视频实时传输至ResNet50模式识别网络模型中，完成模式识别，输出垛口状态的时间识别序列；其中时间识别序列为：0、摄像头偏低时垛口空闲状态；1、垛口空闲状态；2、垛口卷...

【专利技术属性】
技术研发人员：戴美泽，林祝发，苑玉刚，李岷，谭琳，
申请(专利权)人：江苏同达科技有限责任公司，
类型：发明
国别省市：