用于电力可视化监控的海量数据处理查询方法及系统技术方案

本发明专利技术属于数据处理查询领域，提供一种用于电力可视化监控的海量数据处理查询方法及系统，包括对本地机房和异地机房进行统一的基础环境搭建，构建数据同步队列和用户业务查询习惯队列；将变动数据同时存入本地机房和异地机房，并根据数据类型存储到对应的数据库中；所述异地机房定时根据历史用户查询日志进行数据查询，确定用户查询热词和对应数据的时序纳秒ID的关系；基于确定的查询热词和查询热词

【技术实现步骤摘要】
用于电力可视化监控的海量数据处理查询方法及系统


[0001]本专利技术属于数据处理查询
，具体涉及一种用于电力可视化监控的海量数据处理查询方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]输电可视化业务数据来源终端监拍、监测设备等物联网数据，来源用户侧产生的用户使用数据，来自算法产生的算法结果数据等，数据种类多，增量大。海量数据下，软件应用的底层数据稳定是尤为重要的，目前多采用的手段是数据定期备份或者服务器磁盘定向镜像备份，存储到异地机房存储。该方式对数据保护起到了一定的作用。
[0004]且随着应用使用累计数据量达到亿级是常态，一般针对这种大表数据多内置表内索引，提高查询效率。
[0005]上述定期备份数据或者备份服务器镜像方式，当发生服务器宕机时有可能会丢失自宕机到上次备份时的数据。且异地机房只起到了数据备份或者镜像备份的作用，并没有充分利用到异地机房的全部功效，定时备份在数据同步上存在延时性。如果宕机转移数据不及时，数据完整度低，影响软件正常应用。
[0006]亿级数据量的索引，即使一定程度的提高查询效率，但是效果并不明显，且当数据表出现表更新或者属性增加时索引更新时间较长，不利于数据维护。

技术实现思路

[0007]为了解决上述问题，本专利技术提出了一种用于电力可视化监控的海量数据处理查询方法及系统，本专利技术本专利技术针对上述问题以及海量数据查询低效问题同时做出了解决，数据备份不再定时备份，且充分利用异地机房数据为高效查询提供基于用户查询习惯的多维度索引预生成并反向同步至用户侧服务器数据库存储，软件应用使用生成的业务常用的多维度索引建立在在数据底层索引上，多层次索引降低大表查询范围，便于用户查询快速响应。
[0008]根据一些实施例，本专利技术的第一方案提供了一种用于电力可视化监控的海量数据处理查询方法，采用如下技术方案：
[0009]用于电力可视化监控的海量数据处理查询方法，包括：
[0010]对本地机房和异地机房进行统一的基础环境搭建，构建数据同步队列和用户业务查询习惯队列；
[0011]实时采集电力可视化数据，并同时存入本地机房和异地机房，并根据数据类型存储到对应的数据库中；
[0012]所述异地机房定时根据历史用户查询日志进行数据查询，确定用户查询热词和对应数据的时序纳秒ID的关系，形成查询热词
‑
纳秒索引ID并发送给本地机房进行索引同步；
[0013]获取用户查询指令，根据用户查询指令确定查询热词；基于确定的查询热词和查询热词
‑
纳秒索引ID，获取对应的数据库底层纳秒ID，根据数据库底层纳秒ID确定查询数据。
[0014]进一步地，所述对本地机房和异地机房进行统一的基础环境搭建，构建数据同步队列和用户业务查询习惯队列，包括：
[0015]对本地机房和异地机房搭建同版本数据库、备份数据传输队列以及备份数据消费策略；
[0016]建立对应的数据同步队列及其约定数据格式；
[0017]建立对应的用户业务查询习惯队列及其约定数据格式。
[0018]进一步地，所述数据同步队列的关键字为DataBaseType(数据库类型)，DataType(数据类型)，Data(具体数据)；
[0019]所述用户业务查询习惯队列的关键字为BusinessType(业务功能模块)，QueryKeyWords(查询关键词)，DATASHEET(数据表)。
[0020]进一步地，实时采集电力可视化数据，并同时存入本地机房和异地机房，并根据数据类型存储到对应的数据库中，包括：
[0021]建立业务功能模块字典，所述业务功能模块字典包括应用内所有电力可视化数据的功能类型；
[0022]所述本地机房根据电力可视化数据的数据类型存储到对应的数据库中，当发生数据入库失败时，所述本地机房剔除入库失败的数据，并将剩余数据发送至异地机房Mq数据同步队列；
[0023]所述异地机房同时也根据异地机房Mq数据同步队列中电力可视化数据的数据类型存储到对应的数据库中。
[0024]进一步地，所述本地机房根据电力可视化数据的数据类型存储到对应的数据库中，当发生数据入库失败时，所述本地机房剔除入库失败的数据，并将剩余数据发送至异地机房Mq数据同步队列，包括：
[0025]对于关系型数据变动，所述本地机房采用关系型数据库对应的持久层框架Mybatis拦截关系型变动数据，并提取关系型变动数据的关系型sql语句，对应业务功能模块字典形成JSON格式的关系型变动数据，存储至本地机房Mq暂存队列；
[0026]对于非关系型数据变动，利用Spring
‑
AOP封装专用注解收集非关系型变动数据，整合规范成JSON格式的非关系型变动数据，存储至本地机房Mq暂存队列；
[0027]如果发生数据入库失败情况，则组合同样数据发送至本地机房Mq暂存队列并标识
‑
1；
[0028]应用侧统一数据处理程序消费本地机房Mq暂存队列，如果有数据重合且标识
‑
1的数据则入库失败，并将剩余本地机房Mq暂存队列的数据发送至异地机房Mq数据同步队列。
[0029]进一步地，所述异地机房定时根据历史用户查询日志进行数据查询，确定用户查询热词和对应数据的时序纳秒ID的关系，形成查询热词
‑
纳秒索引ID并发送给本地机房进行索引同步，包括：
[0030]所述本地机房定时收集用户查询日志存储在本地Mq缓存队列中，所述本地机房将存储在本地Mq缓存队列中用户查询日志发送至异地机房中的Mq用户业务查询习惯队列中；
[0031]所述异地机房消费Mq用户业务查询习惯队列，汇总用户查询数据，存储至异地机房数据库；
[0032]所述异地机房在每日数据库活跃度降低时统计用户查询数据，根据业务功能模块、细分功能以及对应的字典项，统计功能模块的查询次数，统计该功能模块下出现的查询条件，如果是多条件查询则把组合条件作为一项，统计功能模块的查询次数；
[0033]根据功能模块的查询次数倒排查询，并根据优先级以及时间范围，利用数据库内置的底层索引查询对应数据库的数据，同时确定数据对应的时序纳秒ID；
[0034]根据功能模块的查询次数和对应数据的时序纳秒ID，形成查询热词
‑
纳秒索引ID；
[0035]所述异地机房根据查询热词
‑
纳秒索引ID，同时结合历史汇总结果重排序，最终按照排序结果，把数据转发至本地机房应用侧Mq暂存队列中进行索引同步。
[0036]进一步地，该方法还包括：
[0037]应用正常运行时，本地机房和异地机房同步操作数据，双方机房数据一致；当本地机房宕机，监控中心立即切换上层网关，转发用户请求至异地机房；运维人员恢复本地机房服务器；
[0038]本地机房服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于电力可视化监控的海量数据处理查询方法，其特征在于，包括：对本地机房和异地机房进行统一的基础环境搭建，构建数据同步队列和用户业务查询习惯队列；实时采集电力可视化数据，并同时存入本地机房和异地机房，并根据数据类型存储到对应的数据库中；所述异地机房定时根据历史用户查询日志进行数据查询，确定用户查询热词和对应数据的时序纳秒ID的关系，形成查询热词
‑
纳秒索引ID并发送给本地机房进行索引同步；获取用户查询指令，根据用户查询指令确定查询热词；基于确定的查询热词和查询热词
‑
纳秒索引ID，获取对应的数据库底层纳秒ID，根据数据库底层纳秒ID确定查询数据。2.如权利要求1所述的用于电力可视化监控的海量数据处理查询方法，其特征在于，所述对本地机房和异地机房进行统一的基础环境搭建，构建数据同步队列和用户业务查询习惯队列，包括：对本地机房和异地机房搭建同版本数据库、备份数据传输队列以及备份数据消费策略；建立对应的数据同步队列及其约定数据格式；建立对应的用户业务查询习惯队列及其约定数据格式。3.如权利要求2所述的用于电力可视化监控的海量数据处理查询方法，其特征在于，所述数据同步队列的关键字为DataBaseType(数据库类型)，DataType(数据类型)，Data(具体数据)；所述用户业务查询习惯队列的关键字为BusinessType(业务功能模块)，QueryKeyWords(查询关键词)，DATASHEET(数据表)。4.如权利要求1所述的用于电力可视化监控的海量数据处理查询方法，其特征在于，实时采集电力可视化数据，并同时存入本地机房和异地机房，并根据数据类型存储到对应的数据库中，包括：建立业务功能模块字典，所述业务功能模块字典包括应用内所有电力可视化数据的功能类型；所述本地机房根据电力可视化数据的数据类型存储到对应的数据库中，当发生数据入库失败时，所述本地机房剔除入库失败的数据，并将剩余数据发送至异地机房Mq数据同步队列；所述异地机房同时也根据异地机房Mq数据同步队列中电力可视化数据的数据类型存储到对应的数据库中。5.如权利要求4所述的用于电力可视化监控的海量数据处理查询方法，其特征在于，所述本地机房根据电力可视化数据的数据类型存储到对应的数据库中，当发生数据入库失败时，所述本地机房剔除入库失败的数据，并将剩余数据发送至异地机房Mq数据同步队列，包括：对于关系型数据变动，所述本地机房采用关系型数据库对应的持久层框架Mybatis拦截关系型变动数据，并提取关系型变动数据的关系型sql语句，对应业务功能模块字典形成JSON格式的关系型变动数据，存储至本地机房Mq暂存队列；对于非关系型数据变动，利用Spring
‑
AOP封装专用注解收集非关系型变动数据，整合
规范成JSON格式的非关系型变动数据，存储至本地机房Mq暂存队列；如果发生数据入库失败情况，则组合同样数据发送至本地机房Mq暂存队列并标识
‑
1；应用侧统一数据处理程序消费本地机房Mq暂存队列，如果有数据重合且标识
‑
1的数据则入库失败，并将剩余本地机房Mq暂存队列的数据发送至异地机房Mq数据...

【专利技术属性】
技术研发人员：巩方波，纪洪伟，焦之明，冯飞，陈杰，贺子玉，傅晓，王宁，张年文，马云永，姜涛，张修华，宋军，杨勇，卢安朋，刘兆霞，曹淑英，
申请(专利权)人：山东鲁软数字科技有限公司智慧能源分公司，
类型：发明
国别省市：