水利工程实时采集数据管理方法及系统技术方案

本申请提供了一种水利工程实时采集数据管理方法及系统，通过获取实时数据集，实时数据集中包括多个采集单元在目标水利工程中采集的多个实时采集数据；从实时数据集中剔除真实数据集中的部分或全部数据，得到至少一个数据子集，真实数据集包括至少一个采集单元所采集的实时采集数据；利用预设距离模型，计算真实数据集与至少一个数据子集的度量距离集，度量距离集中包括至少一个度量距离；根据预设填充半径以及度量距离集确定真实数据集对应的填充数据集，填充数据集中的填充数据用于在实时采集数据出现异常时，将实时采集数据替换为对应的填充数据。解决了水利工程的实时采集数据出现异常或缺失导致系统的功能实现异常或出错的技术问题。出错的技术问题。出错的技术问题。

【技术实现步骤摘要】
水利工程实时采集数据管理方法及系统


[0001]本申请涉及水利工程
，尤其涉及一种水利工程实时采集数据管理方法及系统。

技术介绍

[0002]随着物联网技术、通信技术和大数据处理技术的不断发展，近年来水利工程领域也逐步构建了很多智能管理系统，成为了水文监测、南水北调、水资源调配、防洪、灌溉、水利发电、水库/水坝的健康及安全监测等水利工程的重要技术支撑。与水利工程相关的数据包括三种类型：静态数据——空间地理信息、管理单位信息、人员岗位信息、水利工程属性信息、管理制度、资料档案、注册登记、安全鉴定、预案方案〔计划〕等。
[0003]动态数据——工程运行过程中的数据，如建设项目、除险加固、巡查信息、工程检查信息、维护养护信息、人员工作台账、工程运行台账、人员培训台账、安全生产台账、系统日志等。
[0004]实时采集数据——通过感知体系进行自动采集的数据，如雨量、水位、水量、流量、渗压、变形观测、水质、闸门启闭、视频等。
[0005]在水利工程中会涉及到大量的数据，智能管理系统通过大量的数据采集单元如传感器或测量仪器来采集这些数据，并通过这些数据的处理来实现各项管理功能，如洪水预测、水资源调度、水质调控等。但是，现有的智能管理系统的核心控制算法一般都默认或假设数据采集单元所采集的数据是正确且完整的，然而现实应用中却无法避免数据采集或数据传输过程中的种种干扰因素导致数据的异常，甚至是数据采集单元或传输装置的损坏导致数据的缺失，这给水利工程的智能管理系统的功能实现带来了极大的安全隐患，严重的会水利工程的管理人员做出错误的决策。

技术实现思路

[0006]本申请提供一种水利工程实时采集数据管理方法及系统，以解决水利工程的实时采集数据出现异常或缺失导致系统的功能实现异常或出现错误的技术问题。
[0007]第一个方面，本申请提供一种水利工程实时采集数据管理方法，包括：获取实时数据集，实时数据集中包括多个采集单元在目标水利工程中采集的多个实时采集数据；从实时数据集中剔除真实数据集中的部分或全部数据，得到至少一个数据子集，真实数据集包括至少一个采集单元所采集的实时采集数据；利用预设距离模型，计算真实数据集与至少一个数据子集的度量距离集，度量距离集中包括至少一个度量距离；根据预设填充半径以及度量距离集确定真实数据集对应的填充数据集，填充数据集中的填充数据用于：在实时采集数据出现异常时，将实时采集数据替换为对应的填充数
据。
[0008]在一种可能的设计中，从实时数据集中剔除真实数据集中的部分或全部数据，得到至少一个数据子集，包括：从实时数据集和真实数据集中同时剔除一个或多个重合数据，并将剔除重合数据后的实时数据集作为一个单独的数据子集，重合数据既存在于实时数据集中，也存在于真实数据集中；判断剔除重合数据后的真实数据集是否为空；若否，则继续从实时数据集和真实数据集中同时剔除一个或多个重合数据，并将剔除重合数据后的实时数据集作为一个单独的数据子集，判断剔除重合数据后的真实数据集是否为空；若是，则确定得到一个或多个数据子集。
[0009]可选的，预设距离模型中包括多种度量距离的计算模型，且每个数据子集对应一个种类或多个种类的度量距离。
[0010]在一种可能的设计中，根据预设填充半径以及度量距离集确定真实数据集对应的填充数据集，包括：将度量距离集中小于或等于预设填充半径的所有度量距离组合成与真实数据集对应的聚类邻域集；利用信息熵模型，根据聚类邻域集确定填充系数；根据填充系数和聚类邻域集确定填充数据集。
[0011]在一种可能的设计中，利用信息熵模型，根据聚类邻域集确定填充系数，包括：，其中，为填充系数，和为聚类邻域集中的聚类邻域，N为聚类邻域集中聚类邻域的总数。
[0012]在一种可能的设计中，根据填充系数和聚类邻域集确定填充数据集，包括：，其中，为填充数据集，和为填充系数，为聚类邻域集中的聚类邻域，N为聚类邻域集中聚类邻域的总数。
[0013]在一种可能的设计中，在获取实时数据集之后，还包括：利用预设异常检测模型，对实时数据集进行异常检测；若实时数据集中存在异常的实时采集数据，则利用填充数据集替换异常的实时采集数据；若实时数据集中不存在异常的实时采集数据，则判断填充数据集是否为需要更新；若是，则从实时数据集中剔除真实数据集中的部分或全部数据，得到至少一个数据子集。
[0014]第二方面，本申请提供一种水利工程实时采集数据管理系统，包括：多个采集单元，用于对目标水利工程中的实时采集数据进行实时采集；数据管理单元，用于：获取实时数据集，实时数据集中包括多个采集单元采集的实时采集数据；从实时数据集中剔除真实数据集中的部分或全部数据，得到至少一个数据子集，真实数据集包括至少一个采集单元所采集的实时采集数据；利用预设距离模型，计算真实数据集与至少一个数据子集的度量距离集，度量距离集中包括至少一个度量距离；根据预设填充半径以及度量距离集确定真实数据集对应的填充数据集，填充数据集中的填充数据用于：在实时采集数据出现异常时，将实时采集数据替换为对应的填充数据。
[0015]在一种可能的设计中，该水利工程实时采集数据管理系统，还包括：异常监测单元，用于：利用预设异常检测模型，对实时数据集进行异常检测；若实时数据集中存在异常的实时采集数据，则利用填充数据集替换异常的实时采集数据；若实时数据集中不存在异常的实时采集数据，则向数据管理单元发送数据正常标识；数据管理单元，还用于：接收数据正常标识，并根据填充数据集的更新需求标识判断填充数据集是否为需要更新；若是，则根据实时数据集确定更新后的填充数据集，即实现第一方面所提供的任意一种可能的水利工程实时采集数据管理方法。
[0016]第三方面，本申请提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，以实现第一方面所提供的任意一种可能的水利工程实时采集数据管理方法。
[0017]第四方面，本申请提供一种存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现第一方面所提供的任意一种可能的水利工程实时采集数据管理方法。
[0018]第五方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所提供的任意一种可能的水利工程实时采集数据管理方法。
[0019]本申请提供了一种水利工程实时采集数据管理方法及系统。通过获取实时数据集，实时数据集中包括多个采集单元在目标水利工程中采集的多个实时采集数据；从实时数据集中剔除真实数据集中的部分或全部数据，得到至少一个数据子集，真实数据集包括至少一个采集单元所采集的实时采集数据；利用预设距离模型，计算真实数据集与至少一个数据子集的度量距离集，度量距离集中包括至少一个度量距离；根据预设填充半径以及度量距离集确定真实数据集对应的填充数据集，填充数据集中的填充数据用于在实时采集
数据出现异常时，将实时采集数据替换为对应的填充数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水利工程实时采集数据管理方法，其特征在于，包括：获取实时数据集，所述实时数据集中包括多个采集单元在目标水利工程中采集的多个实时采集数据；从所述实时数据集中剔除真实数据集中的部分或全部数据，得到至少一个数据子集，所述真实数据集包括至少一个所述采集单元所采集的所述实时采集数据；利用预设距离模型，计算所述真实数据集与至少一个所述数据子集的度量距离集，所述度量距离集中包括至少一个度量距离；根据预设填充半径以及所述度量距离集确定所述真实数据集对应的填充数据集，所述填充数据集中的填充数据用于：在所述实时采集数据出现异常时，将所述实时采集数据替换为对应的所述填充数据。2.根据权利要求1所述的水利工程实时采集数据管理方法，其特征在于，从所述实时数据集中剔除真实数据集中的部分或全部数据，得到至少一个数据子集，包括：从所述实时数据集和所述真实数据集中同时剔除一个或多个重合数据，并将剔除所述重合数据后的所述实时数据集作为一个单独的所述数据子集，所述重合数据既存在于所述实时数据集中，也存在于所述真实数据集中；判断剔除所述重合数据后的所述真实数据集是否为空；若否，则继续从所述实时数据集和所述真实数据集中同时剔除一个或多个重合数据，并将剔除所述重合数据后的所述实时数据集作为一个单独的所述数据子集，判断剔除所述重合数据后的所述真实数据集是否为空；若是，则确定得到一个或多个所述数据子集。3.根据权利要求1所述的水利工程实时采集数据管理方法，其特征在于，所述预设距离模型中包括多种所述度量距离的计算模型，且每个所述数据子集对应一个种类或多个种类的所述度量距离。4.根据权利要求1
‑
3中任一项所述的水利工程实时采集数据管理方法，其特征在于，所述根据预设填充半径以及所述度量距离集确定所述真实数据集对应的填充数据集，包括：将所述度量距离集中小于或等于所述预设填充半径的所有所述度量距离组合成与所述真实数据集对应的聚类邻域集；利用信息熵模型，根据所述聚类邻域集确定填充系数；根据所述填充系数和所述聚类邻域集确定所述填充数据集。5.根据权利要求4所述的水利工程实时采集数据管理方法，其特征在于，所述利用信息熵模型，根据所述聚类邻域集确定填充系数，包括：，其中，为所述填充系数，和为所述聚类邻域集中的聚类邻域，N为所述聚类邻域集中所述聚类邻域的总数。6.根据权利要求4所述的水利工程实时...

【专利技术属性】
技术研发人员：苏怀智，李昂泽，杨孟，谷宇，吴文源，刘明凯，杨佳泉，
申请(专利权)人：河海大学，
类型：发明
国别省市：