【技术实现步骤摘要】
本专利技术涉及电网数据处理方法，尤其涉及一种针对电网工程勘测数据的快速检索方法及系统。
技术介绍
1、随着电力系统的不断扩展和发展，电网工程勘测数据也随之不断扩增，为电网工程设计、施工、运维等阶段工作提供数据支持。电网工程勘测数据的高效组织与管理至关重要。然而电网工程勘测数据来源广泛、类型多样且数据量庞大，传统的检索方法已无法满足快速获取数据的需求。现迫需一种针对电网工程勘测数据的快速检索方法，快速自动化的获取所需数据，提高数据处理效率，为电网规划、施工和运维决策等阶段工作提供有力的数据支持。
2、电网工程勘测数据具有复杂的数据特征，主要可以体现为以下三点：(1)多源异构，电网工程勘测数据来源广泛且格式类型多样，包括遥感影像、传感器数据(如点云和倾斜数据)、基础勘测数据等；(2)数据量庞大且持续增长，电网工程勘测数据涉及大面积区域，勘测内容包括关键建筑、地形地貌、水文气象等多方面，产生的数据量庞大，且呈现持续增长趋势；(3)具有较强时间、空间属性特征，电网工程勘测数据通常是在特定的时间和地理位置采集的，具有较强的时空关联性。
3、现有数据检索方法大致可分为如下几类：(1)空间索引检索，将空间数据按照一定的规则组织和存储，以便于快速检索和查询，常见的有：1)二叉树空间索引，二叉树是相对其他索引方式较为简单的索引算法，存在着许多节点，但是每个节点最多只有两个叶节点，这种算法适合空间数据分布均匀的情形，经典的有kdb树、t树及lsd树；2)b树空间索引，b树的空间索引是在二叉树的算法基础上衍生而来的，它通过索引
4、尽管现有的数据检索方法在很多领域表现出色，但其并未充分适应电网工程勘测数据特点，导致对电网工程勘测数据的可适性较差。因此，需要一种更具针对性的电网工程数据快速检索方法，以更好地满足电网工程勘测数据的检索需求。
技术实现思路
1、本专利技术针对现有数据检索方法的缺陷，针对电网工程勘测数据特点进行设计，提出一种针对电网工程勘测数据的快速检索方法及系统，实现电网工程勘测数据的快速、精准检索。
2、为解决上述技术问题，本专利技术提供了如下方案：
3、一种针对电网工程勘测数据的快速检索方法，包括如下步骤：
4、基于电网工程勘测数据来源及类型进行数据分类，使用hbase数据库存储结构化数据，使用hdfs存储非结构化数据；
5、设计联合时空特征的rowkey，联合时空特征的rowkey由数据类型码、空间码、空间排序码、时间码以及随机标识码连接而成，共计86位字符，基于联合时空特征的rowkey实现hbase结构化数据检索；
6、基于elasticsearch进行hbase结构化数据二级检索，实现多条件结构化数据检索；
7、基于hdfs实现非结构化数据检索，最终基于elasticsearch、hbase、hdfs完成电网工程勘测数据的检索。
8、可选的，所述设计联合时空特征的rowkey，包括如下步骤：
9、设置电网工程勘测数据类型，获得数据类型码；
10、对电网工程勘测数据进行hilbert格网划分，获得数据空间码；
11、基于电网工程勘测数据时间信息，获得数据时间码；
12、使用哈希函数加密算法，生成数据随机标识码；
13、依次连接数据类型码、空间码、时间码和随机标识码，获得联合时空特征的rowkey。
14、可选的，所述设置电网工程勘测数据类型，获得数据类型码，包括：
15、将电网工程勘测数据划分为四种类型，分别为遥感影像数据、基础勘测数据、传感器数据和三维模型数据，记遥感影像数据类型码为0，基础勘测数据类型码为1，传感器数据类型码为2，三维模型数据类型码为3。
16、可选的，所述对电网工程勘测数据进行hilbert格网划分，获得数据空间码，包括如下步骤：
17、首先将电网工程勘测数据按照空间范围映射至一维hilbert曲线上，然后采用网格迭代四分法对网格进行划分，第一级网格被划分为4个网格，按照hilbert曲线的方向依次编号0，1，2，3，如果第m级网格中的某个网格内有较多对象，则对该网格进行第m+1级迭代划分，每划分一级格网编码增加一位，以此类推，网格最高阶为15阶，即划分15级网格后不再继续划分网格，由此得到空间码；
18、空间码为hilbert曲线网格编码，确保每个网格的编码长度不超过所设定的最大长度，对hilbert码不足15位的，在编码后面补占位符“a”，补全至15位；
19、若网格中存在多个对象，则根据对象到网格中心点的距离进行排序，用数字编成空间排序码，排序码表示格网中对象的个数及远近程度，排序码越小表示离格网中心越近，不足3位的在编码前补齐0，补全至3位。
20、可选的，所述基于电网工程勘测数据时间信息，获得数据时间码，包括如下步骤：
21、基于电网工程勘测数据时间戳记录的数据产生时间，通过python中的datetime转换为时间戳数值，若数字位数不足10位的在前面补0，补全至10位。
22、可选的，所述基于elasticsearch进行hbase结构化数据二级检索，实现多条件结构化数据检索，包括如下步骤：
23、基于节点磁盘使用率、分片大小和节点已有分片数等参数，设计分片策略，动态调整索引分片数量；基于elasticsearch对应的rowkey，在hbase中检索符合条件的结果。
24、可选的，所述基于节点磁盘使用率、分片大小和节点已有分片数等参数，设计分片策略，动态调整索引分片数量，包括如下步骤：<本文档来自技高网...
【技术保护点】
1.一种针对电网工程勘测数据的快速检索方法，其特征在于，包括如下步骤：
2.如权利要求1所述的针对电网工程勘测数据的快速检索方法，其特征在于，所述设计联合时空特征的Rowkey，包括如下步骤：
3.如权利要求2所述的针对电网工程勘测数据的快速检索方法，其特征在于，所述设置电网工程勘测数据类型，获得数据类型码，包括：
4.如权利要求2所述的针对电网工程勘测数据的快速检索方法，其特征在于，所述对电网工程勘测数据进行Hilbert格网划分，获得数据空间码，包括如下步骤：
5.如权利要求2所述的针对电网工程勘测数据的快速检索方法，其特征在于，所述基于电网工程勘测数据时间信息，获得数据时间码，包括如下步骤：
6.如权利要求1所述的针对电网工程勘测数据的快速检索方法，其特征在于，所述基于Elasticsearch进行HBase结构化数据二级检索，实现多条件结构化数据检索，包括如下步骤：
7.如权利要求6所述的针对电网工程勘测数据的快速检索方法，其特征在于，所述基于节点磁盘使用率、分片大小和节点已有分片数等参数，设计分片策
8.如权利要求6所述的针对电网工程勘测数据的快速检索方法，其特征在于，基于ElasticSearch对应的Rowkey，在HBase中检索符合条件的结果，包括：
9.一种针对电网工程勘测数据的快速检索系统，其特征在于，包括：
...【技术特征摘要】
1.一种针对电网工程勘测数据的快速检索方法，其特征在于，包括如下步骤：
2.如权利要求1所述的针对电网工程勘测数据的快速检索方法，其特征在于，所述设计联合时空特征的rowkey，包括如下步骤：
3.如权利要求2所述的针对电网工程勘测数据的快速检索方法，其特征在于，所述设置电网工程勘测数据类型，获得数据类型码，包括：
4.如权利要求2所述的针对电网工程勘测数据的快速检索方法，其特征在于，所述对电网工程勘测数据进行hilbert格网划分，获得数据空间码，包括如下步骤：
5.如权利要求2所述的针对电网工程勘测数据的快速检索方法，其特征在于，所述基于电网工程勘测数据时间信息，获得数据时间码，包括...
【专利技术属性】
技术研发人员：武宏波，张济勇，孙小虎，赵春晖，刘冬晖，于高，王浩，吴新平，吴冰，孙俊杰，张卓群，张苏，张亚平，荣经国，吕京国，杨依然，
申请(专利权)人：国网经济技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。