基于数据资产多维数据库模型的数据查询方法和装置制造方法及图纸

本申请提供了一种基于数据资产多维数据库模型的数据查询方法和装置，涉及大数据处理技术领域，该方法包括：获取多种数据结构对应的初始数据资源，并通过数据探查工具将初始数据资源进行本地缓存；对初始数据资源进行数据初始化处理，并将处理后得到的数据资产加载预先创建的数据资产多维数据库模型；响应针对数据资产的查询操作，通过数据库语言对数据资产多维数据库模型进行查询。本申请提升了数据量大、数据结构众多情况下的数据查询效率。数据结构众多情况下的数据查询效率。数据结构众多情况下的数据查询效率。

【技术实现步骤摘要】
基于数据资产多维数据库模型的数据查询方法和装置


[0001]本申请涉及大数据处理
，尤其是涉及一种基于数据资产多维数据库模型的数据查询方法和装置。

技术介绍

[0002]随着企业信息化的发展，大数据平台中积累了来自多部门，多来源系统，多种存储格式的数据资产。数量大、增长块、种类多样的数据已经成为企业在大数据时代实现数字化转型不得不面临的现实境况，当数据量大、增长快、种类多样时，对于数据的存储及查询就存在很大的难度，从而导致数据的查询效率较低。

技术实现思路

[0003]本申请的目的在于提供一种基于数据资产多维数据库模型的数据查询方法和装置，提升了数据量大、数据结构众多情况下的数据查询效率。
[0004]第一方面，本专利技术提供一种基于数据资产多维数据库模型的数据查询方法，包括：获取多种数据结构对应的初始数据资源，并通过数据探查工具将初始数据资源进行本地缓存；对初始数据资源进行数据初始化处理，并将处理后得到的数据资产加载预先创建的数据资产多维数据库模型；响应针对数据资产的查询操作，通过数据库语言对数据资产多维数据库模型进行查询。
[0005]在可选的实施方式中，数据探查工具设置于服务器；数据探查工具的个数包括多个。
[0006]在可选的实施方式中，初始数据资源缓存的数据格式至少包括CSV、Json。
[0007]在可选的实施方式中，对初始数据资源进行数据初始化处理，并将处理后得到的数据资产加载预先创建的数据资产多维数据库模型，包括：对初始数据资源进行ETL(Extract
‑
Transform
‑
Load)处理，并将处理后得到的数据资产加载预先创建的数据资产多维数据库模型。
[0008]在可选的实施方式中，数据资产多维数据库模型为星型模型；方法还包括：确定数据资产多维数据库模型对应的数据统计粒度、数据维度参数和度量参数；其中，数据维度参数至少包括日期维度、主题维度、数据类型维度、敏感度维度、数据资源维度、部门维度、位置维度、负责人维度和源系统维度；度量参数包括数据条数和数据所占磁盘空间。
[0009]在可选的实施方式中，方法还包括：通过数据资产多维数据库模型进行数据切片处理、数据上钻处理和数据下钻处理。
[0010]在可选的实施方式中，通过数据资产多维数据库模型进行数据切片处理、数据上钻处理和数据下钻处理，包括：通过对数据维度参数进行过滤和/或AQL聚合函数对数据资产多维数据库模型中的数据资产进行数据切片处理、数据上钻处理和数据下钻处理。
[0011]第二方面，本专利技术提供一种基于数据资产多维数据库模型的数据查询装置，包括：数据获取及缓存模块，用于获取多种数据结构对应的初始数据资源，并通过数据探查工具
将初始数据资源进行本地缓存；处理模块，用于对初始数据资源进行数据初始化处理，并将处理后得到的数据资产加载预先创建的数据资产多维数据库模型；查询模块，用于响应针对数据资产的查询操作，通过数据库语言对数据资产多维数据库模型进行查询。
[0012]第三方面，本专利技术提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现前述实施方式任一项的基于数据资产多维数据库模型的数据查询方法。
[0013]第四方面，本专利技术提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现前述实施方式任一项的基于数据资产多维数据库模型的数据查询方法。
[0014]本申请提供的基于数据资产多维数据库模型的数据查询方法和装置，该方法首先获取多种数据结构对应的初始数据资源，并通过数据探查工具将初始数据资源进行本地缓存，对初始数据资源进行数据初始化处理，并将处理后得到的数据资产加载预先创建的数据资产多维数据库模型，响应针对数据资产的查询操作，通过数据库语言对数据资产多维数据库模型进行查询。该方式可以对多种数据结构对应的数据资源得到数据资产的盘点结果，并将其加载至多维数据库模型，从而使得数据查询的更加快递，效率更高。
附图说明
[0015]为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本申请实施例提供的一种基于数据资产多维数据库模型的数据查询方法的流程图；
[0017]图2为本申请实施例提供的一种数据资产多维数据库模型的示意图；
[0018]图3为本申请实施例提供的一种整体流程处理；
[0019]图4为本申请实施例提供的一种基于数据资产多维数据库模型的数据查询装置的结构图；
[0020]图5为本申请实施例提供的一种电子设备的结构图。
具体实施方式
[0021]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0022]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0023]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一
个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0024]针对各种存储类型的数据资产如数据库、数据文件等不同数据结构的数据资产，进行分析、转换、分类、聚合。对统计结果进行存储，以便快速掌握企业数据资产的整体情况、数据质量和数据结构。为大数据平台数据资产报表系统和数据资产管理提供重要依据。随着企业信息化的发展，大数据平台中积累了来自多部门，多来源系统，多种存储格式的数据资产。数量大、增长块、种类多样的数据已经成为企业在大数据时代实现数字化转型不得不面临的现实境况，能够清晰地，准确地，整体地掌握各种来源数据的数据资产状况，可以大量降低在数据分析上的投入成本，快速挖掘出数据的价值。可以说数据资源目录是大数据平台数据治理的重要组成部分，基于此，本申请实施例提供了一种基于数据资产多维数据库模型的数据查询方法和装置，可以对多种数据结构对应的数据资源得到数据资产的盘点结果，并将其加载至多维数据库模型，从而使得数据查询的更加快递，效率更高。
[0025]本申请实施例提供了一种基于数据资产多维数据库模型的数据查询方法，参见图1所示，该方法主要包括以下步骤S102至步骤S106：
[0026]步骤S102本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据资产多维数据库模型的数据查询方法，其特征在于，包括：获取多种数据结构对应的初始数据资源，并通过数据探查工具将所述初始数据资源进行本地缓存；对所述初始数据资源进行数据初始化处理，并将处理后得到的数据资产加载预先创建的数据资产多维数据库模型；响应针对数据资产的查询操作，通过数据库语言对所述数据资产多维数据库模型进行查询。2.根据权利要求1所述的基于数据资产多维数据库模型的数据查询方法，其特征在于，所述数据探查工具设置于服务器；所述数据探查工具的个数包括多个。3.根据权利要求1所述的基于数据资产多维数据库模型的数据查询方法，其特征在于，所述初始数据资源缓存的数据格式至少包括CSV、Json。4.根据权利要求1所述的基于数据资产多维数据库模型的数据查询方法，其特征在于，对所述初始数据资源进行数据初始化处理，并将处理后得到的数据资产加载预先创建的数据资产多维数据库模型，包括：对所述初始数据资源进行ETL(Extract
‑
Transform
‑
Load)处理，并将处理后得到的数据资产加载预先创建的数据资产多维数据库模型。5.根据权利要求1所述的基于数据资产多维数据库模型的数据查询方法，其特征在于，所述数据资产多维数据库模型为星型模型；所述方法还包括：确定所述数据资产多维数据库模型对应的数据统计粒度、数据维度参数和度量参数；其中，所述数据维度参数至少包括日期维度、主题维度、数据类型维度、敏感度维度、数据资源维度、部门维度、位置维度、负责人维度和源系统维度；所述度量参数包括...

【专利技术属性】
技术研发人员：丁宝存，万月亮，程强，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：