【技术实现步骤摘要】
本专利技术属于电网数据管理，具体涉及一种海量电网数据的快速处理与查询方法。
技术介绍
1、随着电力信息化建设的不断推进，大量实时和非实时系统得到建立，大体可以分为监测系统、控制系统以及管理系统，如能源管理系统(d5000)、配网能源管理系统(d5200)、gis系统、生产管理系统(pmis)、用电信息采集系统、物资管理系统等。这些系统对电网的安全管理、安全生产以及经营起到了极其重要的作用。虽然目前这些系统的海量数据经整合后汇聚至数据中台，并应用了不同的分布式数据处理模型(比如mapreduce、maxcompute、datahub)，但是搜索查询处理海量电网数据时，依然不能满足需求。主要体现在：1、存储空间限制：海量电网数据包含大量的监测数据、传感器数据、事件记录等，存储这些数据需要庞大的存储资源。现有的分布存储系统无法满足数据的快速增长、长期存储和数据多份备份的需求；2、并发处理需求及传输带宽限制：海量电网数据的实时处理和查询可能涉及多个数据源、多个处理任务和多个用户的并发访问并进行传输。然而，多数据源多处理任务的请求，受限于网络带宽...
【技术保护点】
1.一种海量电网数据的快速处理与查询方法，其特征在于：包括两个部分，即数据模式界定部分和模式数据处理与查询部分，数据模式界定部分用于界定海量电网数据中具有重复模式、稀疏模式和递增/递减连续模式的数据，其中；
2.根据权利要求1所述的一种海量电网数据的快速处理与查询方法，其特征在于：频率分布分析方法，包括以下两个步骤：
3.根据权利要求1所述的一种海量电网数据的快速处理与查询方法，其特征在于：稀疏度指标是用于衡量数据集中零元素的比例，从而确定数据集是否为稀疏的，即稀疏矩阵的非零元素数目与矩阵总元素数目之比；具体如下：
4.根据权利要求...
【技术特征摘要】
1.一种海量电网数据的快速处理与查询方法，其特征在于：包括两个部分，即数据模式界定部分和模式数据处理与查询部分，数据模式界定部分用于界定海量电网数据中具有重复模式、稀疏模式和递增/递减连续模式的数据，其中；
2.根据权利要求1所述的一种海量电网数据的快速处理与查询方法，其特征在于：频率分布分析方法，包括以下两个步骤：
3.根据权利要求1所述的一种海量电网数据的快速处理与查询方法，其特征在于：稀疏度指标是用于衡量数据集中零元素的比例，从而确定数据集是否为稀疏的，即稀疏矩阵的非零元素数目与矩阵总元素数目之比；具体如下：
4.根据权利要求1所述的一种海量电网数据的快速处理与查询方法，其特征在于：分箱方法是，首先搜寻出数据的最大值/最小值，然后将数据进行分箱操作；如果数据的分箱操作后大部分数据点被分配到相邻的箱中，而非聚集在少数离散值上，那么界定数据具有连续性。
5.根据权利要求1所述的一种海量电网数据的快速处理与查询方法，其特征在于：自相关分析算法描述数据自身不同时期...
【专利技术属性】
技术研发人员：徐明生，陈咏秋，李春霞，凌进，
申请(专利权)人：江苏电力信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。