基于卷积神经网络的航运货物监控视频识别方法及系统技术方案

本发明专利技术公开了一种基于卷积神经网络的航运货物监控视频识别方法及系统。该方法包括：获取航运监控数据；根据所述航运监控数据建立图像数据库；根据所述图像数据库按照比例阈值生成训练集以及测试集；根据所述训练集以及所述测试集建立深度残差网络模型；根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征，并建立图像特征数据库；所述图像特征数据库包括图像特征以及图像特征向量；根据所述图像特征数据库建立神经网络分类器；根据所述神经网络分类器对当前航运事件进行分类识别，确定所述当前航运事件的航运事件类别。采用本发明专利技术所提供的识别方法及系统能够提高当前航运事件的识别精度。

【技术实现步骤摘要】
基于卷积神经网络的航运货物监控视频识别方法及系统
本专利技术涉及航运货物监控视频识别领域，特别是涉及一种基于卷积神经网络的航运货物监控视频识别方法及系统。
技术介绍
由于航运过程中各种情况的复杂性与可能的风险，对于航运过程的监控一直是业内十分重视的问题。随着现代技术的更新、船舶行业的日益发展和船舶数量的增加，之前广泛使用的人工监管方法由于成本较高、人力耗费较大、反馈不及时等原因，已经不能满足航运过程中对于航运情况监控的需求。在这种背景下，使用更高效的机器监管代替人工监管，是未来航运监控发展的趋势，而如何准确的判断航运监控中出现的事件的种类并对管理者加以提醒，是航运流程中机器监管工作的瓶颈所在。目前，在图像分类、视频动作识别等领域，深度学习技术体现出了较高的精准性和广泛的适用性，是常用的方法。但具体到航运监控这一领域，航运摄像头拍摄的监控视频过于冗长，对其使用深度学习的方法进行特征提取和识别对于计算机性能的要求过高，不适合推广；截取其中图像进行分类，又会忽略时间维度，在某些事件如装船、卸船的分辨上无法达到较高的准确度，由于现有技术在航运监控中识别精度低，从而导致无法精确识别出在航运货物过程中的当前操作。
技术实现思路
本专利技术的目的是提供一种基于卷积神经网络的航运货物监控视频识别方法及系统，以解决航运货物监控视频识别精度低的问题。为实现上述目的，本专利技术提供了如下方案：一种基于卷积神经网络的航运货物监控视频识别方法，包括：获取航运监控数据；所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别；所述航运事件类别包括航运过程中所有操作的工作过程；所述工作过程包括摄像头被遮挡过程、盖雨布过程、未盖布行驶过程、空仓过程、正常行驶过程、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程以及船舶停泊过程；根据所述航运监控数据建立图像数据库；所述图像数据库内的图像按照时间顺序排列；根据所述图像数据库按照比例阈值生成训练集以及测试集；根据所述训练集以及所述测试集建立深度残差网络模型；根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征，并建立图像特征数据库；所述图像特征数据库包括图像特征以及图像特征向量；根据所述图像特征数据库建立神经网络分类器；根据所述神经网络分类器对当前航运事件进行分类识别，确定所述当前航运事件的航运事件类别。可选的，所述根据所述图像数据库按照比例阈值生成训练集以及测试集，具体包括：以相同的所述航运事件类别对所述图像数据库内的所有图像命名，并将命名后的所有图像按照时间顺序排列，确定图像序列；重新排列所述图像序列的顺序，确定打乱后的图像序列；按照比例阈值将所述打乱后的图像序列生成训练集以及测试集。可选的，所述按照比例阈值将所述打乱后的图像序列生成训练集以及测试集之后，还包括：将所述训练集内的图像进行二值化处理，确定训练集二进制图像；所述测试集内的图像进行二值化处理，确定测试集二进制图像。可选的，所述根据所述训练集以及所述测试集建立深度残差网络模型，具体包括：获取层数为50的深度残差网络；将所述训练集内的图像输入到所述深度残差网络，对所述训练集内每一张图像进行训练，直至训练结果收敛，确定收敛后的图像；根据所述收敛后的图像建立深度残差网络模型。可选的，所述根据所述图像特征数据库建立神经网络分类器，具体包括：将所述图像特征数据库内的图像特征向量按时序排列，并将相同的航运事件类别的图像特征向量每5个分为一组，首尾相接生成连接后的特征向量；将各个所述航运事件类别的连接后的特征向量分成特征训练集以及特征测试集；所述特征训练集以及所述特征测试集的比例为5：1；根据所述特征训练集以及所述特征测试集建立神经网络分类器。一种基于卷积神经网络的航运货物监控视频识别系统，包括：航运监控数据获取模块，用于获取航运监控数据；所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别；所述航运事件类别包括航运过程中所有操作的工作过程；所述工作过程包括摄像头被遮挡过程、盖雨布过程、未盖布行驶过程、空仓过程、正常行驶过程、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程以及船舶停泊过程；图像数据库建立模块，用于根据所述航运监控数据建立图像数据库；所述图像数据库内的图像按照时间顺序排列；训练集以及测试集生成模块，用于根据所述图像数据库按照比例阈值生成训练集以及测试集；深度残差网络模型建立模块，用于根据所述训练集以及所述测试集建立深度残差网络模型；特征提取模块，用于根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征，并建立图像特征数据库；所述图像特征数据库包括图像特征以及图像特征向量；神经网络分类器建立模块，用于根据所述图像特征数据库建立神经网络分类器；识别模块，用于根据所述神经网络分类器对当前航运事件进行分类识别，确定所述当前航运事件的航运事件类别。可选的，所述训练集以及测试集生成模块具体包括：图像序列确定单元，用于以相同的所述航运事件类别对所述图像数据库内的所有图像命名，并将命名后的所有图像按照时间顺序排列，确定图像序列；打乱后的图像序列确定单元，用于重新排列所述图像序列的顺序，确定打乱后的图像序列；训练集以及测试集生成单元，用于按照比例阈值将所述打乱后的图像序列生成训练集以及测试集。可选的，还包括：训练集二进制图像确定单元，用于训练集以及测试集生成单元，用于按照比例阈值将所述打乱后的图像序列生成训练集以及测试集之后，将所述训练集内的图像进行二值化处理，确定训练集二进制图像；测试集二进制图像确定单元，用于所述测试集内的图像进行二值化处理，确定测试集二进制图像。可选的，所述深度残差网络模型建立模块具体包括：深度残差网络获取单元，用于获取层数为50的深度残差网络；收敛单元，用于将所述训练集内的图像输入到所述深度残差网络，对所述训练集内每一张图像进行训练，直至训练结果收敛，确定收敛后的图像；深度残差网络模型建立单元，用于根据所述收敛后的图像建立深度残差网络模型。可选的，所述神经网络分类器建立模块具体包括：特征向量连接单元，用于将所述图像特征数据库内的图像特征向量按时序排列，并将相同的航运事件类别的图像特征向量每5个分为一组，首尾相接生成连接后的特征向量；特征训练集以及特征测试集确定单元，用于将各个所述航运事件类别的连接后的特征向量分成特征训练集以及特征测试集；所述特征训练集以及所述特征测试集的比例为5：1；神经网络分类器建立单元，用于根据所述特征训练集以及所述特征测试集建立神经网络分类器。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术提供了一种基于卷积神经网络的航运货物监控视频识别方法及系统，基于深度学习的图像分类技术做出改进，利用深度残差网络模型提取图像数据库内的每一张图像的图像特征，并建立图像特征数据库，根据所述图像特征数据库建立神经网络分类器；根据所述神经网络分类器对当前航运事件进行分类识别，确定所述当前航运事件的航运事件类别。采用本专利技术所提供的识别方法及系统既能规避直接识别视频对于图形处理器(GraphicsProcessingUnit，GPU)计算能力本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的航运货物监控视频识别方法，其特征在于，包括：获取航运监控数据；所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别；所述航运事件类别包括航运过程中所有操作的工作过程；所述工作过程包括摄像头被遮挡过程、盖雨布过程、未盖布行驶过程、空仓过程、正常行驶过程、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程以及船舶停泊过程；根据所述航运监控数据建立图像数据库；所述图像数据库内的图像按照时间顺序排列；根据所述图像数据库按照比例阈值生成训练集以及测试集；根据所述训练集以及所述测试集建立深度残差网络模型；根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征，并建立图像特征数据库；所述图像特征数据库包括图像特征以及图像特征向量；根据所述图像特征数据库建立神经网络分类器；根据所述神经网络分类器对当前航运事件进行分类识别，确定所述当前航运事件的航运事件类别。

【技术特征摘要】
1.一种基于卷积神经网络的航运货物监控视频识别方法，其特征在于，包括：获取航运监控数据；所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别；所述航运事件类别包括航运过程中所有操作的工作过程；所述工作过程包括摄像头被遮挡过程、盖雨布过程、未盖布行驶过程、空仓过程、正常行驶过程、棚架盖住过程、棚架打开过程、船舶靠港过程、装船过程、卸船过程、雨布吹飞过程以及船舶停泊过程；根据所述航运监控数据建立图像数据库；所述图像数据库内的图像按照时间顺序排列；根据所述图像数据库按照比例阈值生成训练集以及测试集；根据所述训练集以及所述测试集建立深度残差网络模型；根据所述深度残差网络模型提取所述图像数据库内的每一张图像的图像特征，并建立图像特征数据库；所述图像特征数据库包括图像特征以及图像特征向量；根据所述图像特征数据库建立神经网络分类器；根据所述神经网络分类器对当前航运事件进行分类识别，确定所述当前航运事件的航运事件类别。2.根据权利要求1所述的识别方法，其特征在于，所述根据所述图像数据库按照比例阈值生成训练集以及测试集，具体包括：以相同的所述航运事件类别对所述图像数据库内的所有图像命名，并将命名后的所有图像按照时间顺序排列，确定图像序列；重新排列所述图像序列的顺序，确定打乱后的图像序列；按照比例阈值将所述打乱后的图像序列生成训练集以及测试集。3.根据权利要求2所述的识别方法，其特征在于，所述按照比例阈值将所述打乱后的图像序列生成训练集以及测试集之后，还包括：将所述训练集内的图像进行二值化处理，确定训练集二进制图像；所述测试集内的图像进行二值化处理，确定测试集二进制图像。4.根据权利要求1所述的识别方法，其特征在于，所述根据所述训练集以及所述测试集建立深度残差网络模型，具体包括：获取层数为50的深度残差网络；将所述训练集内的图像输入到所述深度残差网络，对所述训练集内每一张图像进行训练，直至训练结果收敛，确定收敛后的图像；根据所述收敛后的图像建立深度残差网络模型。5.根据权利要求1所述的识别方法，其特征在于，所述根据所述图像特征数据库建立神经网络分类器，具体包括：将所述图像特征数据库内的图像特征向量按时序排列，并将相同的航运事件类别的图像特征向量每5个分为一组，首尾相接生成连接后的特征向量；将各个所述航运事件类别的连接后的特征向量分成特征训练集以及特征测试集；所述特征训练集以及所述特征测试集的比例为5：1；根据所述特征训练集以及所述特征测试集建立神经网络分类器。6.一种基于卷积神经网络的航运货物监控视频识别系统，其特征在于，包括：航运监控数据获取模块，用于获取航运监控数据；所述航运监控数据包括船载摄像头拍摄的视频按时间间隔截取的图片、摄像头编号、拍摄时间以及航运事件类别...

【专利技术属性】
技术研发人员：张鸿，刘巍，代刚，赵亮，
申请(专利权)人：武汉恒视途安科技有限公司，
类型：发明
国别省市：湖北,42