一种面向百亿级数据的微服务快速抽取方法技术

本发明专利技术公开了属于大数据技术领域的一种面向百亿级数据的微服务快速抽取方法。从客户、时间以及业务三个维度，通过热数据规则判定模式或热数据自动辨别模式生成热数据判定规则；通过引入热表参数，详细记录每张热表的数据属性，快速定位检索数据路由，采用拉数据和推数据的方式生成热数据镜像；利用快速抽取微服务接收外部拉数据请求，计算数据获取路由，从系统相应数据库的数据表中快速抽取数据，整理数据结果，并按请求要求返回数据集。本发明专利技术实现全国网百亿级营销数据的快速抽取功能，能够实现热点数据的无感抽取，不影响原营销2.0系统的业务层逻辑和正常运行，还可实现热点数据的自动更新。热点数据的自动更新。热点数据的自动更新。

【技术实现步骤摘要】
一种面向百亿级数据的微服务快速抽取方法


[0001]本专利技术涉及大数据
，尤其涉及一种面向百亿级数据的微服务快速抽取方法。

技术介绍

[0002]营销2.0作为营销传统业务模式向“互联网+”新业务模式转型的平台，广泛应用“大云物移智”新技术成果，并积极引进互联网企业架构理念，统筹考虑技术先进性、实用性和开放性，打造“活前端、大中台、强后台”的架构模式。以企业核心业务能力为基础，构建企业级大中台，支撑前端应用的灵活创新，并实现核心业务云化，创新应用属地化的柔性应用模式，形成开放生态，为客户创新赋能。
[0003]在营销2.0实地运行中，积累了关于客户服务业务数字化的大量实践体会和第一手经验；同时，随着营销业务数字化工作开展，各类新需求不断涌出，也发现了一些新问题。与数据相关的一些问题主要体现在以下两个方面：
[0004]其一，各网省数据量越来越多，与数据相关的部分业务操作性能将会下降，特别是查询功能将下降明显。时序数据会随时间流逝而逐渐累积臃肿，使得在线业务库表数据量和索引量齐头并增，再加之电量电费、收费账务、业扩、计量资产、运行管理等业务产品迁移了大量原营销1.0系统历史数据，致使多个涉及此类数据表的业务产品在查询操作时性能急剧下降，造成系统运行过程中出现页面加载缓慢、卡顿等问题。例如，某些网省计费账务等专业部分表的数据量已达数十亿规模。
[0005]其二，随着营销2.0在各网省逐步推广，跨网省业务需求必将涌现。面对全国网4.5亿用电客户，以及全网省百亿级别的营销业务数据，如何快速抽取数据、快速响应大规模并发请求必将成为一个难题。
[0006]为此，需要构建一种面向百亿级数据的微服务快速抽取方法,在不修改当前营销2.0系统业务处理逻辑和正常运行的前提下，实现各网省营销数据快速抽取，通过构建由热点数据组成的一级缓存库，实现热点数据的自动更新，保持一级缓存库中热点数据与营销2.0系统的业务库中对应数据的高度一致性。

技术实现思路

[0007]本专利技术的目的是提出一种面向百亿级数据的微服务快速抽取方法，包括以下步骤：
[0008]从客户、时间以及业务三个维度，通过热数据规则判定模式或热数据自动辨别模式生成热数据判定规则；
[0009]通过引入热表参数，详细记录每张热表的数据属性，快速定位检索数据路由，采用拉数据和推数据的方式生成热数据镜像；
[0010]利用快速抽取微服务接收外部拉数据请求，计算数据获取路由，从系统相应数据库的数据表中快速抽取数据，整理数据结果，并按请求要求返回数据集。
[0011]从客户、时间以及业务三个维度，通过热数据规则判定模式和热数据自动辨别模式生成热数据判定规则的具体步骤如下：
[0012]首先，采用热数据规则判定模式配置热点客户过滤规则，筛选出热点客户；或者采用热数据自动辨别模式，通过客户访问记录，统计分析客户访问频次，将最近访问频次高的客户作为热客户；
[0013]然后，划定热点业务，规划设计每项热点业务在系统中的统一数据模型；
[0014]最后，核定每项热点业务为时序数据，统计分析以往客户查询历史或营销业务实践，选定热度阈值，同时分析客户关注该项业务数据的时间频度。
[0015]利用快速抽取微服务接收外部拉数据请求，计算数据获取路由，从系统相应数据库的数据表中快速抽取数据，整理数据结果，并按请求要求返回数据集的具体步骤如下：
[0016]首先，分析此次请求抽取的数据所在的数据表的存储位置；
[0017]然后，通过热表参数判定请求的数据是否能被热表提供；若是，则此次数据请求的表名为营销业务对应的热表名；若否，则此次数据请求的表名为业务表名；再从数据库及对应数据表抽取数据，并按统一数据模型的要求修正数据结果；
[0018]最后，将数据结果返回给请求方。
[0019]请求中至少包括数据表和数据范围。
[0020]一种面向百亿级数据的微服务快速抽取装置，包括：
[0021]规则模块，用于从客户、时间以及业务三个维度，通过热数据规则判定模式或热数据自动辨别模式生成热数据判定规则；
[0022]镜像模块，用于通过引入热表参数，详细记录每张热表的数据属性，快速定位检索数据路由，采用拉数据和推数据的方式生成热数据镜像；
[0023]抽取模块，用于利用快速抽取微服务接收外部拉数据请求，计算数据获取路由，从系统相应数据库的数据表中快速抽取数据，整理数据结果，并按请求要求返回数据集。
[0024]规则模块从客户、时间以及业务三个维度，通过热数据规则判定模式和热数据自动辨别模式生成热数据判定规则的具体步骤如下：
[0025]首先，采用热数据规则判定模式配置热点客户过滤规则，筛选出热点客户；或者采用热数据自动辨别模式，通过客户访问记录，统计分析客户访问频次，将最近访问频次高的客户作为热客户；
[0026]然后，划定热点业务，规划设计每项热点业务在系统中的统一数据模型；
[0027]最后，核定每项热点业务为时序数据，统计分析以往客户查询历史或营销业务实践，选定热度阈值，同时分析客户关注该项业务数据的时间频度。
[0028]抽取模块利用快速抽取微服务接收外部拉数据请求，计算数据获取路由，从系统相应数据库的数据表中快速抽取数据，整理数据结果，并按请求要求返回数据集的具体步骤如下：
[0029]首先，分析此次请求抽取的数据所在的数据表的存储位置；
[0030]然后，通过热表参数判定请求的数据是否能被热表提供；若是，则此次数据请求的表名为营销业务对应的热表名；若否，则此次数据请求的表名为业务表名；再从数据库及对应数据表抽取数据，并按统一数据模型的要求修正数据结果；
[0031]最后，将数据结果返回给请求方。
[0032]请求中至少包括数据表和数据范围。
[0033]一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现面向百亿级数据的微服务快速抽取方法中的各个步骤。
[0034]一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现面向百亿级数据的微服务快速抽取方法中的各个步骤。
[0035]本专利技术的有益效果在于：
[0036]本专利技术实现全国网百亿级营销数据的快速抽取功能，能够实现热点数据的无感抽取，不影响原营销2.0系统的业务层逻辑和正常运行，还可实现热点数据的自动更新。
附图说明
[0037]图1为本专利技术快速抽取微服务部署架构图；
[0038]图2为基于数据热度探针的热数据自生成处理流程图；
[0039]图3为热数据维护伺服器处理流程图；
[0040]图4为数据主动同步复制组件处理流程图；
[0041]图5为数据快速抽取流程图。
具体实施方式
[0042]本专利技术提出一种面向百亿级数据的微服务快速抽取方法，下面结合附图和具体实施例对本专利技术做进一步说明。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向百亿级数据的微服务快速抽取方法，其特征在于，包括以下步骤：从客户、时间以及业务三个维度，通过热数据规则判定模式或热数据自动辨别模式生成热数据判定规则；通过引入热表参数，详细记录每张热表的数据属性，快速定位检索数据路由，采用拉数据和推数据的方式生成热数据镜像；利用快速抽取微服务接收外部拉数据请求，计算数据获取路由，从系统相应数据库的数据表中快速抽取数据，整理数据结果，并按请求要求返回数据集。2.根据权利要求1所述面向百亿级数据的微服务快速抽取方法，其特征在于，从客户、时间以及业务三个维度，通过热数据规则判定模式和热数据自动辨别模式生成热数据判定规则的具体步骤如下：首先，采用热数据规则判定模式配置热点客户过滤规则，筛选出热点客户；或者采用热数据自动辨别模式，通过客户访问记录，统计分析客户访问频次，将最近访问频次高的客户作为热客户；然后，划定热点业务，规划设计每项热点业务在系统中的统一数据模型；最后，核定每项热点业务为时序数据，统计分析以往客户查询历史或营销业务实践，选定热度阈值，同时分析客户关注该项业务数据的时间频度。3.根据权利要求1所述面向百亿级数据的微服务快速抽取方法，其特征在于，利用快速抽取微服务接收外部拉数据请求，计算数据获取路由，从系统相应数据库的数据表中快速抽取数据，整理数据结果，并按请求要求返回数据集的具体步骤如下：首先，分析此次请求抽取的数据所在的数据表的存储位置；然后，通过热表参数判定请求的数据是否能被热表提供；若是，则此次数据请求的表名为营销业务对应的热表名；若否，则此次数据请求的表名为业务表名；再从数据库及对应数据表抽取数据，并按统一数据模型的要求修正数据结果；最后，将数据结果返回给请求方。4.根据权利要求3所述面向百亿级数据的微服务快速抽取方法，其特征在于，请求中至少包括数据表和数据范围。5.一种面向百亿级数据的微服务快速抽取装置，其特征在于，包括：规则模块，用于从客户、时间以及业务三个维度，通过热数据规则判定模式或热数据自动辨别模式生成热数据判定规则；镜像模块，用于通过引入热表参数，详细记录每张热表的数据属性...

【专利技术属性】
技术研发人员：欧阳红，朱平飞，刘俊艳，李廷顺，潘泳超，田田，张小武，程思远，张晶，孙璐，李杉，
申请(专利权)人：国网信息通信产业集团有限公司华北电力大学国网辽宁省电力有限公司国家电网有限公司，
类型：发明
国别省市：