一种智能船舶能效数据质量监测管理方法技术

本发明专利技术公开了一种智能船舶能效数据质量监测管理方法，具体步骤如下：S1：采集智能船舶能效数据，回传数据到岸端智能船舶能效数据库；S2：对智能船舶能效数据建立数据质量评估方法，进行数据质量监测；S3：通过数据质量管理方法对缺失和异常数据进行修复和修正；S4：结合船舶能耗模型，实时更新数据质量评估方法；S5：实时数据质量监测：合格数据写入面向智能船舶建模的数据集；不合格数据形成数据质量问题反馈单，促进数据采集方法优化。其优点是：能有效剔除低质量数据、提高机器学习效率和精度；及时向数据采集方法反馈数据问题，形成计划

【技术实现步骤摘要】
一种智能船舶能效数据质量监测管理方法


[0001]本专利技术涉及船舶能效数据管理领域，尤其涉及一种智能船舶能效数据质量监测管理方法。

技术介绍

[0002]智能船舶能效数据的采集范围广、频率高、数据量大，目前采取的船岸传输级别的数据频率是1条每秒，数据问题分因计算机时钟造成的问题和设备或线路故障造成的问题，前者可经过数据质量管理修复缺失的一条或几条数据(值)、后者一般会持续到有运维人员修复，就单船情况而言，如果发生此类故障的概率不到3％，但一旦发生，在某个航段中缺失若干数据值的概率是50％。
[0003]目前国内外对于智能船舶的研究主要围绕智能船舶能效数据的挖掘和分析以及建立模型进而预测能耗，对于如何保证智能船舶能效数据的质量以满足分析、建模的研究较少，智能船舶能效数据监测是智能船舶能效数据开发利用的基础。智能船舶能效数据涉及到传感器采集、信号传输、计算机读取、计算及存储等过程，整个过程环节多、通信条件差、计算逻辑复杂。
[0004]数据质量管理目前已形成一些质量标准，通过选择一套合适的标准集合，对特定数据进行高效且有针对性的过滤，但是智能船舶能效数据的产生过程具有其属性多、数据量大、传输环节多、通信条件差等特点，按现有的数据质量管理方法筛选数据存在一定不匹配。因此，如何根据智能船舶能效数据建立专门的数据质量监测、管理方法成为了目前船舶能效数据管理领域亟待解决的问题。

技术实现思路

[0005]为了解决本领域现有技术不能针对属性多、数据量大、传输环节多、通信条件差的智能船舶能效数据提供一种有效的数据质量监测、管理方法的技术问题，本专利技术提出一种智能船舶能效数据质量监测管理方法，特别提供了数据质量监测中针对完整性、连续性和有效性的具体和有效的评价机制，为智能船舶能效数据的数据挖掘和仿真建模奠定坚实的基础。
[0006]为实现上述目的，本专利技术采用如下技术方案：
[0007]一种智能船舶能效数据质量监测管理方法，包括以下步骤：
[0008]S1：设置数据采集系统采集智能船舶能效数据传输至岸端智能船舶能效数据库；
[0009]S2：对智能船舶能效数据建立数据质量评估方法，进行数据质量监测：所述质量评估方法为：编写完整性、连续性和有效性的评估机制指令评估数据是否符合完整性、连续性和有效性，若符合指令，则该数据为有效数据；若不符合，则该数据为缺失数据；所述完整性包括通过is_continuous()函数检测是否存在整条数据缺失、通过is_blank()函数检测是否存在属性值缺失、使用is_normal()函数检测属性值所处范围是否正常；所述连续性包括连续数据序列变化是否异常、所述有效性包括数据正常条数的比例；
[0010]S3：数据质量管理：评估S2中的缺失数据是否符合质量管理条件，根据质量管理条件中缺失或异常的情况对S2中缺失数据进行修复、对异常数据进行修正；
[0011]S4：结合船舶能耗模型，实时更新数据质量评估方法；利用S2中的有效数据和S3经过所述数据质量管理后的数据作为输入集、采用多层感知器神经网络建立船舶能耗模型，利用get_params函数获取输入集计算出的船舶能耗结果，并比较该结果与真实值的匹配度，将所述匹配度信息反馈给S2，更新完整性、连续性和有效性的评估机制，利用更新的评估机制重新对S1中的数据进行质量监测，质量管理、最终获得更新后的输入集输入船舶能耗模型中，直到船舶能耗结果与真实值的匹配度达到匹配度阈值。
[0012]优选地，所述能效数据包括航行状态、转速、浪向、风速、艏吃水、艉吃水、风向、浪高、浪周期、流速、流向、航向角。
[0013]优选地，S2中评估数据完整性的方法为：
[0014]A1：使用is_continuous()函数，按UTC时间顺序检查是否存在整条数据缺失：按时间排序，前后两条数据的时间差，差值为1秒为正常，大于1秒则存在缺失整条数据；连续30分钟时间内，仅存在不超过30条数据缺失时，数据为有效数据；
[0015]A2：使用is_blank()函数，检查每条数据中各属性是否有空缺值：根据属性清单，检查A2所获得的每条有效数据里，是否存在清单中的属性值为空：存在为空时，该条数据为异常；不存在空值，属性值时正常；
[0016]A3：使用is_normal()函数检查数据中各属性是否处于正常范围内：检查所获得的有效数据中的属性值是否在给定范围内：都在范围内为正常，存在超范围，则为异常。
[0017]优选地，S2中评估数据连续性的方法为：使用is_regular()函数，检查数据属性在前后一段时间的数据序列中是否发生异常变化：检查连续一段时间内A3所获得的有效数据中，单一属性值的最大最小值差是否超限，超限则为异常。
[0018]优选地，S2中评估数据有效性的方法为：获取原始数据条数number及经过所述评估连续性后判定为正常的数据条数amount；其中，ratio＝amount/number；
[0019]当ratio>0.8时，表明数据有效性好，将船舶能效数据写入面向智能船舶建模的数据集；
[0020]当0.4<ratio<0.8时，表明数据有效性较好，则将数据导入数据管理方法，进行数据补缺；
[0021]当ratio<0.4时，表明数据有效性较差，视为无效数据，剔除数据。
[0022]优选地，对S2中所述缺失数据，形成数据质量问题反馈单，并反馈给S1所述数据采集系统对其进行优化，包括：剔除对船舶能耗结果的影响力低于一定阈值的船舶能效数据的采集。
[0023]优选地，S3中对所述缺失数据进行修复的方法为：
[0024]对缺失数据使用fillup()函数进行修复：基于is_continuous()函数结果中，1分钟内缺失数据不超过3条的异常情况，将缺失数据按照时间前后各一条数据的属性平均值填补，如果是连续缺失，按时间进线性插值；不可修复的数据，则视为不符合数据质量管理条件，剔除数据。
[0025]优选地，S3中对异常数据进行修正的方法为：
[0026]对异常数据使用pad()函数进行修正：对于单一属性，当前后各30条数据中都存在
有效属性值时，可以按时间插值得到结果进行填补；不可修正的数据，则视为不符合数据质量管理条件，剔除数据。
[0027]本专利技术产生以下有益效果：
[0028]本专利技术提出一种智能船舶能效数据质量监测管理方法，特别提供了数据质量监测中针对完整性、连续性和有效性的具体和有效的评价机制，为智能船舶能效数据的数据挖掘和仿真建模奠定坚实的基础。具体的，在S2步骤中设置了完整性、连续性和有效性的具体和有效的评价机制，所述完整性包括通过is_continuous()函数检测是否存在整条数据缺失、通过is_blank()函数检测是否存在属性值缺失、使用is_normal()函数检测属性值所处范围是否正常；所述连续性包括连续数据序列变化是否异常、所述有效性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能船舶能效数据质量监测管理方法，其特征在于，包括以下步骤：S1：设置数据采集系统采集智能船舶能效数据传输至岸端智能船舶能效数据库；S2：对智能船舶能效数据建立数据质量评估方法，进行数据质量监测：所述质量评估方法为：编写完整性、连续性和有效性的评估机制指令评估数据是否符合完整性、连续性和有效性，若符合指令，则该数据为有效数据；若不符合，则该数据为缺失数据；所述完整性包括通过is_continuous()函数检测是否存在整条数据缺失、通过is_blank()函数检测是否存在属性值缺失、使用is_normal()函数检测属性值所处范围是否正常；所述连续性包括连续数据序列变化是否异常、所述有效性包括数据正常条数的比例；S3：数据质量管理：评估S2中的缺失数据是否符合质量管理条件，根据质量管理条件中缺失或异常的情况对S2中缺失数据进行修复、对异常数据进行修正；S4：结合船舶能耗模型，实时更新数据质量评估方法；利用S2中的有效数据和S3经过所述数据质量管理后的数据作为输入集、采用多层感知器神经网络建立船舶能耗模型，利用get_params函数获取输入集计算出的船舶能耗结果，并比较该结果与真实值的匹配度，将所述匹配度信息反馈给S2，更新完整性、连续性和有效性的评估机制，利用更新的评估机制重新对S1中的数据进行质量监测，质量管理、最终获得更新后的输入集输入船舶能耗模型中，直到船舶能耗结果与真实值的匹配度达到匹配度阈值。2.根据权利要求1所述的一种智能船舶能效数据质量监测管理方法，其特征在于，所述能效数据包括航行状态、转速、浪向、风速、艏吃水、艉吃水、风向、浪高、浪周期、流速、流向、航向角。3.根据权利要求1所述的一种智能船舶能效数据质量监测管理方法，其特征在于，S2中评估数据完整性的方法为：A1：使用is_continuous()函数，按UTC时间顺序检查是否存在整条数据缺失：按时间排序，前后两条数据的时间差，差值为1秒为正常，大于1秒则存在缺失整条数据；连续30分钟时间内，仅存在不超过30条数据缺失时，数据为有效数据；A2：使用is_blank()函数，检查每条数据中各属性是否有空缺值：根据属性清单，检查A2所获得的每条有效数据里，是否存在清单中的属性值为空：存在为空时，该条数据为异常；不存在...

【专利技术属性】
技术研发人员：冯亮，
申请(专利权)人：上海船舶运输科学研究所有限公司，
类型：发明
国别省市：