基于深度学习的集装箱港口装卸设备故障数据补全方法技术

本发明专利技术公开了基于深度学习的集装箱港口装卸设备故障数据补全方法，包括以下步骤：步骤一：集装箱装卸作业设备故障数据表征；步骤二：高层特征融合深度学习模型构建；步骤三：基于高层特征融合深度学习模型的数据补全。本发明专利技术利用一维卷积神经网络(1D

【技术实现步骤摘要】
基于深度学习的集装箱港口装卸设备故障数据补全方法


[0001]本专利技术属于集装箱港口装卸设备故障数据补全领域，具体涉及一种基于深度学习的集装箱港口装卸设备故障数据补全方法。

技术介绍

[0002]随着经济全球化和世界经济一体化的发展，集装箱运输业在近些年呈现高速发展的势头。集装箱港口吞吐量的持续增加，对港口的货物转运能力与装卸效率提出了更高的要求。然而，随着现代工业设备不断向复杂化、港口营运向智能化方向的发展，集装箱港口大型装卸设备的结构越来越复杂，导致故障诊断的难度加大，加上其工作条件相对恶劣，需要在高负荷、大功率条件下连续运转，不可避免会发生故障，造成集装箱港口装卸作业停滞，从而成为集装箱供应链的转运瓶颈。集装箱港口装卸作业设备运维数据包括宏观数据、微观数据和非结构化数据，呈现多源异构的特点，且由于人为操作失误、系统故障等原因，存在运维数据缺失的问题，影响集装箱港口装卸作业设备的故障识别，降低港口作业效率，现有研究缺少利用集装箱港口多源异构运维数据对装卸设备故障数据进行补全的方法。

技术实现思路

[0003]为解决上述问题，本专利技术在对集装箱港口运维数据特征进行分析的基础上，针对运维数据中设备停机原因数据繁杂且存在缺失的问题，构建基于高层特征融合的深度学习模型，利用一维卷积神经网络(1D Convolutional Neural Network,1D
‑
CNN)子模型、朴素长短时记忆(Long Short Term Memory,LSTM)子模型、VGG16子模型，分别对结构化非时间序列数据、时间序列数据及非结构化图像数据进行处理，构建长效循环卷积网络(LRCN)子模型对非结构化视频数据进行特征提取，进行高层特征融合和设备停机原因的识别，进而完成集装箱港口装卸设备故障数据补全。
[0004]本专利技术的技术方案：
[0005]一种基于深度学习的集装箱港口装卸设备故障数据补全方法，步骤如下：
[0006]步骤一：集装箱装船作业设备故障数据表征
[0007]根据数据类型将数据划分为结构化数据和非结构化数据。
[0008]在集装箱港口运维数据中，结构化数据主要包括设备停机数据、装卸作业流程数据、封航数据和气温数据等；非结构化数据包括能反应装卸设备状态的图像数据和监控拍摄的设备运行情况的视频数据。记集装箱港口运维数据全集为其中和分别表示结构化数据集合和非结构化数据集合。
[0009]记结构化数据集合为记结构化数据集合为其中，S
(s
′
)
,s
′
＝1,2,
…
,S
′
表示单元素数据集合，即数据集中每个样本仅包含一个元素；M
(m
′
)
,m
′
＝1,2,
…
,M
′
表示多元素非时间序列数据集合，即数据集中每个样本包含多个元素且元素之间不存在时间相关性；T
(t
′
)
,t
′
＝1,2,
…
,
T
′
表示多元素时间序列数据集合，即数据集中每个样本包含多个元素，且可以处理为时间序列。
[0010]记非结构化数据集合为其中，I
(i
′
)
,i
′
＝1,2,
…
,I
′
表示图像数据集合，V
(v
′
)
,v
′
＝1,2,
…
,V
′
表示视频数据集合。
[0011]记集装箱港口装卸作业设备停机原因向量为b＝{b1,b2}，其中，b1表示含有完整设备停机原因数据的样本集合，b2则表示设备停机原因数据缺失的样本集合。相应的，令A＝A1∪A2，其中，A1为A中在数据采集时间上与b1相对应的数据集合，A2为A中与b2相对应的数据集合。b1中的第k个元素b
k
∈b1在A1中对应的样本记为：
[0012][0013]其中，表示单元素数据集合S
(1)
中的第k个样本。
[0014]步骤二：高层特征融合的深度学习模型构建
[0015]高层特征融合深度学习模型的构建过程主要包括多源异构的数据集合进行预处理(包括特征提取和高层特征融合)、数据标签的确定、数据集的划分；
[0016](1)根据数据底盘中的数据类型，对各数据集合进行特征提取
[0017](1.1)单元素数据集合
[0018]单元素数据集合S
(s
′
)
,s
′
＝1,2,
…
S
′
的每个样本仅包含一个元素，可直接将其作为深度学习模型的高层特征融合的输入，其输出记为
[0019](1.2)多元素非时间序列数据集合
[0020]一维卷积神经网络(1D Convolutional Neural Network,1D
‑
CNN)模型常用于处理多元素非时间序列数据集合，本专利技术利用一维卷积神经网络(1D
‑
CNN)子模型对多元素非时间序列数据集合进行特征提取。
[0021]经过1D
‑
CNN子模型，模型的输入将转化为一个长度为的一维向量，即作为高层特征融合的一个输入。
[0022](1.3)多元素时间序列数据集合
[0023]长短时记忆神经网络模型(LSTM)是深度学习方法中应用较广泛的一种模型，朴素长短时记忆网络模型是模型指模型中仅包含一个LSTM层。本专利技术采用朴素LSTM子模型对多元素时间序列数据集合进行特征提取。
[0024]经过朴素LSTM子模型，模型的输入将转化为一个长度n为的一维向量，即作为高层特征融合的一个输入。
[0025](1.4)图像数据集合
[0026]图像数据集合I
(i
′
)
,i
′
＝1,2,
…
,I
′
的每个样本为一张RGB图像。VGG16模型是一种典型的二维卷积神经网络，包含16个参数层。本专利技术采用VGG16子模型对图像数据进行特征提取。
[0027]经过VGG16子模型后，输出一个长度为4096的一维向量，记为作为高层特征融合的一个输入。
[0028](1.5)视频数据集合
[0029]视频数据集合的每个样本均为一个视频，视频的不同帧图像之间存在时间相关性，通常采用卷积神经网络
‑
长短时记忆(CNN
‑
LSTM)模型进行处理，但这种方式可能会造成信息丢失，影响预测精度。为解决这一问题，本专利技术构建长效循环卷积网络(LRCN)子模型对视频数据进行特征提取，该模型以二维卷积长短时记忆层(ConvLSTM2Dlayer)为模型主体，该层类似于L本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的集装箱港口装卸设备故障数据补全方法，其特征在于，步骤如下：步骤一：集装箱装船作业设备故障数据表征根据数据类型将数据划分为结构化数据和非结构化数据；在集装箱港口运维数据中，结构化数据主要包括设备停机数据、装卸作业流程数据、封航数据和气温数据等；非结构化数据包括能反应装卸设备状态的图像数据和监控拍摄的设备运行情况的视频数据；记集装箱港口运维数据全集为其中和分别表示结构化数据集合和非结构化数据集合；记结构化数据集合为记结构化数据集合为其中，S
(s
′
)
，s
′
＝1，2，...，S
′
表示单元素数据集合，即数据集中每个样本仅包含一个元素；M
(m
′
)
，m
′
＝1，2，...，M
′
表示多元素非时间序列数据集合，即数据集中每个样本包含多个元素且元素之间不存在时间相关性；T
(t
′
)
，t
′
＝1，2，...，T
′
表示多元素时间序列数据集合，即数据集中每个样本包含多个元素，且可以处理为时间序列；记非结构化数据集合为其中，I
(i
′
)
，i
′
＝1，2，...，I
′
表示图像数据集合，V
(v
′
)
，v
′
＝1，2，...，V
′
表示视频数据集合；记集装箱港口装卸作业设备停机原因向量为b＝{b1，b2}，其中，b1表示含有完整设备停机原因数据的样本集合，b2则表示设备停机原因数据缺失的样本集合；相应的，令A＝A1∪A2，其中，A1为A中在数据采集时间上与b1相对应的数据集合，A2为A中与b2相对应的数据集合；b1中的第k个元素b
k
∈b1在A1中对应的样本记为：其中，表示单元素数据集合S
(1)
中的第k个样本；步骤二：高层特征融合的深度学习模型构建(1)根据数据底盘中的数据类型，对各数据集合进行特征提取(1.1)单元素数据集合单元素数据集合S
(s
′
)
，s
′
＝1，2，...S
′
的每个样本仅包含一个元素，直接将其作为深度学习模型的高层特征融合的一个输入，其输出记为(1.2)多元素非时间序列数据集合利用一维卷积神经网络1D
‑
CNN子模型对多元素非时间序列数据集合进行特征提取；经过1D
‑
CNN子模型，模型的输入将转化为一个长度为n的一维向量，即作为高层特征融合的一个输入；(1.3)多元素时间序列数据集合采用朴素LSTM子模型对多元素时间序列数据集合进行特征提取；
经过朴素LSTM子模型，模型的输入将转化为一个长度n为的一维向量，即作为高层特征融合的一个输入；(1.4)图像数据集合图像数据集合I
(i
′
)
，i
′
＝1，2，...，I
′
的每个样本为一张RGB图像；采用VGG16子模型对图像数据进行特征提取；经过VGG16子模型后，输出一个长度为4096的一维向量，记为作为高层特征融合的一个输入；(1.5)视频数据集合构建长效循环卷积网络LRCN子模型对视频数据进行特征提取；所述的LRCN子模型具体为：记为共包含帧图像的视频，用划窗将其划分为个图像序列，每个图像序列包含A
(1)
帧图像，每个图像的宽
×
高
×
通道数的尺寸为则在LRCN子模型中，要经过三个ConvLSTM2D模块，分别是ConvLSTM2D1_x，ConvLSTM2D2_x和ConvLSTM2D3_x，每个模块由两个ConvLSTM2D层和一个二维最大池化层组成；ConvLSTM2D层处理的序列元素是二维图像，即ConvLSTM2D层的输入是以视频的形式体现的；在LRCN子模型中，输入现的；在LRCN子模型中，输入是包含个时间步的图像的视频，其经过第一个ConvLSTM2D层ConvLSTM2D1_1后，其输出记为记为记为的每个时间步的元素通过下式计算：算：算：算：算：其中，为中的第个子序列，是ConvLSTM2D层的输入，分别为的输入门三维张量、遗忘门三维张量和输出门三维张量，是三个以sigmoid函数作为激活函数的神经网络；为记忆状态三维张量，为隐藏状态三维张量或输出三维张量，是每个时间步的输出，也作为下一个时间步输入的一部分，和的初始值为0；表示权重张量，其下标用来区分不同的门和状态；表示偏差，其下标同样对应于不同的门或状态；tanh为双曲正切激活函数，*表示卷积操作，表示Hadamard乘积，即矩阵的对应元素相乘；以及作为上述计算公式的输入，通过递推计算，即可得到
每个时间步对应的输出其中，为ConvLSTM2D1_1层中所用的卷积核数量；由于设定了ConvLSTM2D1_1层的Return Seque...

【专利技术属性】
技术研发人员：王文渊，田琦，郭子坚，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：