一种基于多维度的数据管理方法及系统技术方案

本申请公开了一种基于多维度的数据管理方法及系统，获取业务日志相关的多维度数据；通过转化引擎，将多维度数据转化为目标格式数据，基于用户名和业务类型对多维度数据进行维护，并将多维度数据的时间字段由行数据转化为列数据，以获得目标格式数据；以时间字段作为目标格式数据的列名，时间字段对应的数据内容作为行级数据内容；其中，时间字段对应于一个自然日；将转化后的目标格式数据通过Elasticsearch存储至服务器上；基于业务需求查询请求，对存储至服务器上的所述目标格式数据进行查询，获得查询结果；通过本发明专利技术能够提高多维度数据的字段可扩展性，降低多维度数据占用的存储空间，同时提高查询效率。同时提高查询效率。同时提高查询效率。

【技术实现步骤摘要】
一种基于多维度的数据管理方法及系统


[0001]本申请属于数据处理的研究领域，特别涉及一种基于多维度的数据管理方法及系统。

技术介绍

[0002]固网宽带业务是通信运营商大力发展的主要业务之一；而静默用户是通信运营商在固网宽带业务运营过程中，非常关注的指标之一。静默用户指在固网宽带AAA（Authentication、Authorization、Accounting）系统中开户且状态正常、但是没有发生接入网络行为的用户，其中静默期根据时间相关，例如：日静默用户指当天没有发生接入网络行为的用户；月静默用户指当月没有发生接入网络行为的用户；季静默用户一个季度都没有发生接入网络行为的用户；以此类推。
[0003]随着网络的多元化、IP化、业务开放化等因素的不断演进，以及通信运营商运营精细化的需求，对静默用户详情信息的了解、特别是任意时间段的连续静默用户详情信息的了解，越来越迫切，并且查询频率不断增加、要求查询响应时间不断降低，对静默用户的提取维度组合不断灵活多变，对出具报表维度的复杂度不断增加，并且随着如今网络业务的拓展、用户数量与日俱增，存储的日静默用户详情单已成为常态化数据,因此无论连续静默用户详情单的存储还是分析都面临了更大的挑战。
[0004]针对上述问题，本申请提供一种基于多维度的数据管理方法及系统，提高静默用户相关数据的管理效率，同时降低静默用户相关数据占用的存储空间大小。

技术实现思路

[0005]为了解决所述现有技术的不足，本申请提供了一种基于多维度的数据管理方法，先获取业务日志相关的多维度数据；通过转化引擎，将所述多维度数据转化为目标格式数据；将转化后的所述目标格式数据存储至服务器上；以及，基于业务需求查询请求，对存储至服务器上的所述目标格式数据进行查询，获得查询结果，能够提高多维度数据的字段可扩展性，降低多维度数据占用的存储空间，同时提高查询效率。
[0006]本申请所要达到的技术效果通过以下方案实现：第一方面，本专利技术实施例提供一种基于多维度的数据管理方法，包括：获取业务日志相关的多维度数据,其中，所述多维度数据包括以下至少一项或多项：认证日志多维度数据；开销户日志多维度数据；原始话单日志多维度数据；通过转化引擎，将所述多维度数据转化为目标格式数据，基于用户名和业务类型对多维度数据进行维护，并将所述多维度数据的时间字段由行数据转化为列数据，以获得所述目标格式数据；以所述时间字段作为所述目标格式数据的列名，所述时间字段对应的数据内容作为行级数据内容；其中，所述时间字段对应于一个自然日；将转化后的所述目标格式数据通过Elasticsearch存储至服务器上；基于业务需求查询请求，对存储至服务器上的所述目标格式数据进行查询，获得
查询结果。
[0007]进一步地,所述转化引擎包括：kafka。
[0008]进一步地,所述获取业务日志相关的多维度数据，包括：实时获取业务日志相关的所述多维度数据并进行实时分析。
[0009]进一步地, 所述基于业务需求查询请求，对存储至服务器上的所述目标格式数据进行查询，获得查询结果之后，还包括：将所述查询结果返回至请求用户。
[0010]通过本专利技术实施例提供的上述基于多维度的数据管理方法，可以实现提高多维度数据的字段可扩展性，降低多维度数据占用的存储空间，同时提高查询效率的技术效果。
[0011]第二方面，本专利技术实施例提供一种基于多维度的数据管理系统，包括：获取模块，用于获取业务日志相关的多维度数据,其中，所述多维度数据包括以下至少一项或多项：认证日志多维度数据；开销户日志多维度数据；原始话单日志多维度数据；转化模块，用于通过转化引擎，将所述多维度数据转化为目标格式数据，基于用户名和业务类型对多维度数据进行维护，并将所述多维度数据的时间字段由行数据转化为列数据，以获得所述目标格式数据；以所述时间字段作为所述目标格式数据的列名，所述时间字段对应的数据内容作为行级数据内容；其中，所述时间字段对应于一个自然日；存储模块，用于将转化后的所述目标格式数据通过Elasticsearch存储至服务器上；查询模块，基于业务需求查询请求，对存储至服务器上的所述目标格式数据进行查询，获得查询结果。
[0012]进一步地,所述转化引擎包括：kafka。
[0013]进一步地, 所述获取模块，还执行如下操作包括：用于实时获取业务日志相关的所述多维度数据并进行实时分析。
[0014]进一步地,还包括反馈模块：所述反馈模块，用于将所述查询结果返回至请求用户。
[0015]另一个方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的方法。
[0016]再一个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上所述的方法。
[0017]通过本专利技术实施例提供的上述基于多维度的数据管理方法及系统，可以实现提高多维度数据的字段可扩展性，降低多维度数据占用的存储空间，同时提高查询效率的技术效果。
附图说明
[0018]为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可
以根据这些附图获得其他的附图。
[0019]图1为本申请一实施例中的基于多维度的数据管理方法的流程图；图2为本申请一实施例中的基于多维度的数据管理方法的具体实现图；图3为本申请一实施例中的基于多维度的数据管理系统的结构图；图4为本申请一实施例中的电子设备的示意框图。
具体实施方式
[0020]为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0021]需要说明的是，除非另外定义，本公开一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0022]相关技术中，尤其是通信领域，具体涉及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多维度的数据管理方法，其特征在于，所述方法包括：获取业务日志相关的多维度数据,其中，所述多维度数据包括以下至少一项或多项：认证日志多维度数据；开销户日志多维度数据；原始话单日志多维度数据；通过转化引擎，将所述多维度数据转化为目标格式数据，基于用户名和业务类型对多维度数据进行维护，并将所述多维度数据的时间字段由行数据转化为列数据，以获得所述目标格式数据；以所述时间字段作为所述目标格式数据的列名，所述时间字段对应的数据内容作为行级数据内容；其中，所述时间字段对应于一个自然日；将转化后的所述目标格式数据通过Elasticsearch存储至服务器上；基于业务需求查询请求，对存储至服务器上的所述目标格式数据进行查询，获得查询结果。2.根据权利要求1所述的基于多维度的数据管理方法，其特征在于,所述转化引擎包括：kafka。3.根据权利要求2所述的基于多维度的数据管理方法，其特征在于, 所述获取业务日志相关的多维度数据，包括：实时获取业务日志相关的所述多维度数据并进行实时分析。4.根据权利要求1所述的基于多维度的数据管理方法，其特征在于, 所述基于业务需求查询请求，对存储至服务器上的所述目标格式数据进行查询，获得查询结果之后，还包括：将所述查询结果返回至请求用户。5.一种基于多维度的数据管理系统，其特征在于，所述系统包括：获取模块，用于获取业务日志相关的多维度数据,其中，所述多维度数据包括以下至少一项或多项：认证日志多维度数据；...

【专利技术属性】
技术研发人员：武云霞，李向峰，林锋，张树江，董芸，
申请(专利权)人：北京首信科技股份有限公司，
类型：发明
国别省市：