船员违规行为识别方法技术

本发明专利技术涉及一种船员违规行为识别方法，包括以下步骤：S1、根据船员违规行为特性定义和分类所需识别的行为类别；S2、提出船员行为识别模型的样本拍摄方案，并进行数据预处理；S3、开发可视化标注平台对训练集和验证集数据进行标注，对模型进行迁移训练；S4、针对船舶特殊场景下可能存在的环境干扰因素，采用图像增强方法，对识别模型进行优化；S5、提出完整的船员违规行为识别与预警流程，实现船员行为监测、预警与存档。本发明专利技术将行为识别技术与海事监管领域相结合，通过视频监控与模型训练及时向船员监管部门反馈船员行为异常，从而达到减少因船员的违规行为造成的危险因素，提高船舶航行安全性的目的。安全性的目的。安全性的目的。

【技术实现步骤摘要】
船员违规行为识别方法


[0001]本专利技术涉及海事监管领域，更具体地说，涉及一种船员违规行为识别方法。

技术介绍

[0002]在当今世界的交通运输中，通过水路进行的货物运输大约占据了世界货物运输总量的九成左右，水路货运的繁盛促进了船舶数量的不断增加，也因此带来了种种问题，越来越多的船舶在水域航行导致水上交通事故愈加频繁。
[0003]而在诸多水上交通事故中，因人为因素直接导致的事故和与参与者有密切关系的事故占总事故数的80％
‑
85％，这表明大多数水上交通事故都与船员的行为有紧密的关系，船员的行为是否合理、有序、符合规范直接影响船舶航行的安全性。
[0004]当前关于船员违规行为的有关研究相对较少，现有的研究范围主要集中在对船员行为的监测、管理、备份等方面，但这些方法都没有对船员的违规行为进行专门研究，没有将船员的普通行为与违规行为相区分，在记录、识别、分析、反馈、存储船员的违规驾驶行为数据方面有许多问题尚待解决。

技术实现思路

[0005]本专利技术要解决的技术问题在于，提供一种船员违规行为识别方法，其能够减少因船员行为不规范所造成的危险因素，达到提高船舶航行安全性的目的。
[0006]本专利技术解决其技术问题所采用的技术方案是：构造一种船员违规行为识别方法，包括以下步骤：
[0007]S1、根据船员违规行为特性定义和分类所需识别的行为类别；
[0008]S2、提出船员行为识别模型的样本拍摄方案，并进行数据预处理；
[0009]S3、开发可视化标注平台对训练集和验证集数据进行标注，对模型进行迁移训练；
[0010]S4、针对船舶特殊场景下可能存在的环境干扰因素，采用图像增强方法，对识别模型进行优化；
[0011]S5、提出完整的船员违规行为识别与预警流程，实现船员行为监测、预警与存档。
[0012]按上述方案，所述步骤S1中，具体为：为了明确模型训练对象，提高模型识别效果，以抛物、睡觉、抽烟的常见船员违规行为为主体，按照多种分类方式对船员行为类别进行界定。
[0013]按上述方案，所述分类方式为按照动作人数分为单人动作、多人交互式动作，按照动作持续时间分为瞬时性动作、持续性动作，按照动作姿势分为站姿动作、坐姿动作，包括船员合力向水面抛物即是多人站姿持续性动作。
[0014]按上述方案，所述步骤S2中，具体为：根据模型训练和实际应用需求，将需要拍摄的船员违规动作和干扰项动作交叉分配为间隔时间相当的多组样本，每组样本中拍摄人员单独或合力执行一种船员违规行为或干扰项行为，完成全部样本拍摄工作后对样本数据集按照时间顺序进行初步整理，后用提取工具抽取视频RGB帧和光流图，生成带有人体边框的
图像文件列表并放入数据标注平台中标注。
[0015]按上述方案，所述步骤S3，中具体为：
[0016]S301、通过图像算法搭建数据标注平台，通过数据可视化工具完善数据标注界面，在多方平台上对样本数据集动作进行分布式标注，将标注完成后的样本数据集中的大多数数据划分为训练集，其余数据为测试集；
[0017]S302、用神经网络对训练集数据提取人物动作特征信息并建模，得到船员违规行为识别原始模型，用测试集数据对原始模型进行多次测试和调参后，得到具有较高识别正确率和运转效率的船员违规行为识别模型。
[0018]按上述方案，所述步骤S4，中具体为：针对船舶航行环境的特殊性，在船岸摄像机搜集视频流数据的过程中存在因天气变换、光线变化、船身摇晃的情况造成的明暗差异、背景模糊的问题，在训练样本中加入在背景天气为晴天、阴天、雨天的不同光照环境下，以及平拍、俯拍、仰拍的多种拍摄角度下的船员动作数据集，以强化模型在各种情景下的识别效果，且在存在如水汽遮挡屏幕等需要船员协助处理的情况时快速向相关部门反馈异常以及时解决问题。
[0019]按上述方案，所述步骤S5中，具体为：船岸摄像机采集的视频数据在经过行为模型识别处理后，截取其中的违规行为关键帧，通过数据网络快速传至船员监管部门，同时对船员监管部门发出危险预警，而后将行为视频数据以统一格式存入后台云端数据库中，供后续的数据查证、分析、统计的用途。
[0020]实施本专利技术的船员违规行为识别方法，具有以下有益效果：
[0021]1、本专利技术通过加入大量自制数据集对通用动作识别模型进行重新训练，得到专门识别船员危险驾驶行为的新模型，该模型可以基于船岸摄像机采集的视频数据对船员的动作进行检测，能够以高准确率分辨出船舶在港和离岸过程中存在的船员违规行为，并且可以快速高效实时地传输至船员监管部门，让监管部门能够及时对出现的问题做出应对措施，而后将流程中的数据存入后台云端数据库，为以后进一步的信息挖掘提供数据支撑；
[0022]2、本专利技术可以减少船舶航行过程中因船员的违规行为所造成的危险情况，从而减少水上交通事故数，提高船舶航行安全性和人员安全保障；
[0023]3、本专利技术所使用的视频训练数据集样本量大，动作类型丰富，识别准确率高，涵盖了海量视频样本以及从视频中抽帧出数以百万计的各种图片，庞大的样本量能够保证模型的可靠性和识别结果的准确性；
[0024]4、本专利技术所使用的模型识别速度快、运转效率高，能够在船舶离岸或在港的情况下，将船岸摄像机所收集到的视频数据高效处理完毕后，通过实时、快速的传输网络远程传至相关船员监管部门并提出预警，以便监管部门能够及时对可能存在的船员违规行为做出应对，从而减少因为未能发现船员的危险行为而造成的严重后果。
附图说明
[0025]下面将结合附图及实施例对本专利技术作进一步说明，附图中：
[0026]图1是本专利技术船员违规行为识别方法的流程图；
[0027]图2是本专利技术船员违规行为识别方法的硬件设施分布图；
[0028]图3是本专利技术船员违规行为识别方法的环境模块影响因素关系图。
具体实施方式
[0029]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。
[0030]如图1
‑
3所示，本专利技术的船员违规行为识别方法，包括以下步骤：
[0031]S1、根据船员违规行为特性定义和分类所需识别的行为类别；具体内容为：为了明确模型训练对象，提高模型识别效果，以抛物、睡觉、抽烟的常见船员违规行为为主体，按照多种分类方式对船员行为类别进行界定。
[0032]分类方式为按照动作人数分为单人动作、多人交互式动作，按照动作持续时间分为瞬时性动作、持续性动作，按照动作姿势分为站姿动作、坐姿动作，包括船员合力向水面抛物即是多人站姿持续性动作。
[0033]S2、提出船员行为识别模型的样本拍摄方案，并进行数据预处理；具体内容为：根据模型训练和实际应用需求，将需要拍摄的船员违规动作和干扰项动作交叉分配为间隔时间相当的多组样本，每组样本中拍摄人员单独或合力执行一种船员违规行为或干扰项行为，完成全部样本拍摄工作后对样本数据集按本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种船员违规行为识别方法，其特征在于，包括以下步骤：S1、根据船员违规行为特性定义和分类所需识别的行为类别；S2、提出船员行为识别模型的样本拍摄方案，并进行数据预处理；S3、开发可视化标注平台对训练集和验证集数据进行标注，对模型进行迁移训练；S4、针对船舶特殊场景下可能存在的环境干扰因素，采用图像增强方法，对识别模型进行优化；S5、提出完整的船员违规行为识别与预警流程，实现船员行为监测、预警与存档。2.根据权利要求1所述的船员违规行为识别方法，其特征在于，所述步骤S1中，具体为：为了明确模型训练对象，提高模型识别效果，以抛物、睡觉、抽烟的常见船员违规行为为主体，按照多种分类方式对船员行为类别进行界定。3.根据权利要求2所述的船员违规行为识别方法，其特征在于，所述分类方式为按照动作人数分为单人动作、多人交互式动作，按照动作持续时间分为瞬时性动作、持续性动作，按照动作姿势分为站姿动作、坐姿动作，还包括船员合力向水面抛物即是多人站姿持续性动作。4.根据权利要求1所述的船员违规行为识别方法，其特征在于，所述步骤S2中，具体为：根据模型训练和实际应用需求，将需要拍摄的船员违规动作和干扰项动作交叉分配为间隔时间相当的多组样本，每组样本中拍摄人员单独或合力执行一种船员违规行为或干扰项行为，完成全部样本拍摄工作后对样本数据集按照时间顺序进行初步整理，后用提取工具抽取视频RGB帧和光流图，生成带有人体边框的图像文件列表并放入数据标注平...

【专利技术属性】
技术研发人员：何正伟，梁邈弋，张镇弘，王鑫锐，陈泽宇，吴峥，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：