一种基于在线流数据挖掘算法预测非法渔船动向的方法技术

本发明专利技术公开了一种基于在线集成学习流数据挖掘方法，并且用于解决实时预测我国部分海域非法渔船动向的问题。方法包括：S1、解决问题的过程包括前期数据预处理，相关海域渔船监测数据预处理，把需要检测的海域划分成几个区域，然后把收集到的原始数据根据需求把时间戳扩充出日、周、月属性，然后分类的目标属性表示当前区域是否回出现非法渔船；S2、设置基础动态分类器的类型和数量，确定静态分类器的基础权重；S3、确定动态分类器的滑动窗口大小、实时测试数据的大小和相关初始化参数；S4、结合主动学习策略，动态基础分类器会根据实时效果进行调整，并且保存一部分淘汰的历史动态分类器；S5、实时处理数据，动态更新基础分类器及其权重；S6、把预测结果作为海警巡逻船或者无人艇巡逻路线和区域的依据。本方法在相关真实的数据集上表现效果较好。数据集上表现效果较好。

【技术实现步骤摘要】
一种基于在线流数据挖掘算法预测非法渔船动向的方法


[0001]本专利技术涉及计算机技术中在线数据挖掘应用领域，更具体的是一种涉及在线环境下预测我国部分海域非法渔船动向的方法。

技术介绍

[0002]在数据分布平稳条件下，数据挖掘模型有较好的表现效果。由于非法渔船出没区域的不确定性和季节性变化的原因，传统的数据挖掘模型在预测非法渔船是否会出现时可能会出现概念漂移的情况，本专利技术提出一种基于在线流数据挖掘算法预测非法渔船动向的方法，该方法结合主动学习策略，可以根据预测结果的实时表现来更新模型及其参数，动态分类器和稳定分类器可以较好的处理概念漂移的情况。该方法可以提供实时检测数据下预测特定区域是否会出现非法渔船来支持海警舰船和无人艇巡逻区域的任务分配。根据预测结果可以提高巡逻效率和有效驱离非法渔船，更好的保护我国领海内的渔业资源安全。

技术实现思路

[0003]本专利技术为解决提前预测非法渔船动向问题，提出了基于在线集成学习框架的流数据分类算法进行我国海域内非法渔船动向实时预测方法。
[0004]本专利技术采取以下技术方案。
[0005]一种基于在线集成学习框架的流数据分类算法进行我国海域内非法渔船动向实时预测方法，其特征在于提出实时更新调整模型，包括以下步骤。
[0006]S1、数据预处理方法，把收集到的数据进行预处理，根据渔船所在经纬度划分到不同区域，然后提取和扩充模型在线训练可用的属性，如时间和区域内出现非法渔船的次数，最后生成带标签的流数据序列；目标属性标识区域在一定时间内是否会有非法渔船出现。
[0007]S2、把集成学习器的基础分类器分为稳定和动态更新的基础分类器，设置基础动态分类器的类型和数量，确定稳定分类器的基础权重。
[0008]稳定分类器只更新权重，并且会学习数据流中的所有数据；动态分类器只训练滑动窗口内的数据，动态更新基础分类器及其对应权重也会实时更新。
[0009]S3、确定动态分类器的滑动窗口大小、实时测试数据的大小和相关初始化参数，可以用历史数据的训练效果来选择最佳大小。
[0010]S4、结合主动学习策略，动态基础分类器会根据实时效果进行调整，会根据每个动态分类器在最新测试数据上的精度淘汰较差的，并且保存一部分淘汰的历史动态分类器；在分类器整体效果较差的时候会从历史动态分类器中挑选效果较好的进行替换调整动态基础分类器。
[0011]S5、实时处理数据，动态更新基础分类器及其权重。
[0012]S6、把预测结果作为海警巡逻船或者无人艇巡逻路线和区域的依据。
[0013]优选的，S1中，添加区域属性，原始数据根据经纬度划分到指定区域，把经纬度坐标代入区域边界函数来判断属于那个区域，把区域编号以方便模型计算。初始数据的时间
戳可以扩展出来日、周、月的数据，可以根据需要选用；然后添加统计当前选用的时间周期内坐标所在区域渔船出次数，目标属性代表是否会出现非法渔船，1代表会出现，0代表不会出现。
[0014]优选的，S2中，基础分类器我们选用HAT(HoeffdingAdaptiveTree)作为稳定分类器，VFDT(Very Fast Decision Tree)作为动态基础分类器。
[0015]VFDT算法是一种有效的动态增量构造的决策树模型，适用于流数据挖掘，但存在概念漂移的情况；所以适合作为动态更新的基础分类器。
[0016]HAT是带有检测窗口的自适应霍夫丁树，有较好的抗漂移性；所示适合作为稳定分类器。
[0017]在线决策树分类的信息增益主要公式为霍夫丁边界，决策树中的节点何时可以以1
‑
δ的置信水平进行拆分增长，其公式为：其中R为类标签的取值范围，δ为错误率，n为样本数量。
[0018]根据历史数据设置一个合适的稳定分类器初始权重和动态分类器数量。
[0019]优选的，S5中，我们选用以下权重更新公式：其中Accuracy
i
代表第i个分类器的精度，MSE
i
代表第i个分类器的均值方差。
[0020]在更新分类器时分类效果差的动态分类器会被淘汰放入历史分类器中，当分类器的预测效果达到最差临界阈值时会从历史分类其中挑选分类效果较好的分类器更新到动态分类器中。
[0021]优选的，S6中，在线流数据学习器会持续解析数据并且给出预测结果，根据当前选择时时间周期，可以判断出一日或者一周内特定区域是否会出现非法渔船，然后调度附近的海警船或者无人艇编队进行巡逻和驱离作业。
附图说明
[0022]图1本专利技术实施实例提供的工作流程图。
[0023]图2本专利技术实施实例提供的在线集成学习模型示意图。
具体实施方式
[0024]为了使本专利技术的目的、技术方案以及优点更加清楚明白，以下结合实例和附图进一步详细说明。但本专利技术的实施方式不限于此，满足类似场景的问题都可以考虑使用。
[0025]我国海域面积十分辽阔，非法渔船越境捕鱼情况虽然成减少趋势，但是还没有完全消失。广阔的海域给海警巡逻和执法带来了挑战，非法渔船出没的区域也具有不确定性和季节性变化。考虑可以通过实时流数据挖掘的方法来预测非法渔船出现的区域来辅助海警巡逻，传统的数据挖掘模型在预测渔船是否会出现时可能会出现概念漂移的情况，我们提出一种结合主动学习策略的在线集成学习框架，可以根据预测结果的实时表现来更新模型及其参数，动态分类器和稳定分类器可以较好的抵抗概念漂移的情况。该方法可以提供实时检测数据下预测特定区域是否会出现非法渔船来支持海警舰船和无人艇巡逻区域的任务分配。根据预测结果可以提高巡逻效率和有效驱离非法渔船的，更好的保护我国海域
的安全。
[0026]如图1所示，是本专利技术提出基于在线集成学习框架的流数据分类算法进行部分海域非法渔船动向实时预测方法的工作流程图，包括以下步骤。
[0027]S1、数据预处理方法，把收集到的数据进行预处理，根据渔船所在经纬度划分到不同区域，然后提取和扩充模型在线训练可用的属性，如时间和区域内出现非法渔船的次数，最后生成带标签的流数据序列；目标属性标识区域在一定时间内是否会有非法渔船出现。
[0028]S2、把集成学习器的基础分类器分为稳定和动态更新的基础分类器，设置基础动态分类器的类型和数量，确定稳定分类器的基础权重。
[0029]稳定分类器只更新权重，并且会学习数据流中的所有数据；动态分类器只训练滑动窗口内的数据，动态更新基础分类器及其对应权重也会实时更新。
[0030]S3、确定动态分类器的滑动窗口大小、实时测试数据的大小和相关初始化参数，可以用历史数据的训练效果来选择最佳大小。
[0031]S4、结合主动学习策略，动态基础分类器会根据实时效果进行调整，会根据每个动态分类器在最新测试数据上的精度淘汰较差的，并且保存一部分淘汰的历史动态分类器；在分类器整体效果较差的时候会从历史动态分类器中挑选效果较好的进行替换调整动态基础分类器。
[0032本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于在线集成学习框架的流数据分类算法进行我国部分海域非法渔船动向实时预测方法，其特征在于提出实时分配，包括以下步骤：S1、数据预处理方法，把收集到的数据进行预处理，根据渔船所在经纬度划分到不同区域，然后提取和扩充模型在线训练可用的属性，最后生成带标签的流数据序列；S2、把集成学习器的基础分类器分为稳定和动态更新的基础分类器，设置基础动态分类器的类型和数量，确定稳定分类器的基础权重；S3、确定动态分类器的滑动窗口大小、实时测试数据的大小和相关初始化参数；S4、结合主动学习策略，动态基础分类器会根据实时效果进行调整，并且保存一部分淘汰的历史动态分类器；S5、实时处理数据，动态更新基础分类器及其权重；S6、把预测结果作为海警巡逻船或者无人艇巡逻路线和区域的依据。2.根据权利要求1所述数据预处理方法，其特征在于，对初始数据根据经纬度划分到指定区域，把经纬度坐标代入区域边界函数来判断属于那个区域，把区域编号方便模型计算。3.初始数据的时间戳可以扩展出来日、周、月的数据，然后统计当前时间单位下当前区域渔船出次数，目标属性代表是否会出现非法渔船，1代表会出现，0代表不会出现。4.根据权利要求1所述集成学习基础动态分类器的类型和稳定分类器类型和权重，其特点在于，选用在线决策树模型作为基础学习器，动态更新学习器的使用VFDT算法作为基...

【专利技术属性】
技术研发人员：冯翔，汪洪波，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：