数据处理的方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例提供了一种数据处理的方法、装置、设备及介质。该方法包括：从数据库采集数据，并将采集到的数据转换为结构化数据；按照预设的数据结构，存储将所述结构化数据推送给数据存储模块；通过所述数据存储模块将所述结构化数据加载到分级的结构树中。采用本发明专利技术实施例的技术方案，通过对数据进行结构化并将结构化数据加载到分级的结构树中，实现了对数据的规范化处理和存储，可以兼容所有的系统和平台，屏蔽了业务的差异性，适用于各种业务，从整体上减少了大数据处理所花费的时间。

Data Processing Method, Device, Equipment and Media

【技术实现步骤摘要】
数据处理的方法、装置、设备及介质
本专利技术涉及数据处理
，尤其涉及一种数据处理的方法、装置、设备及介质。
技术介绍
随着大数据技术的发展，大数据可视化的需求越来越多。例如：按照组织机构的层级关系(例如：总公司->地市分公司->区县分公司->乡镇)展示数据，又例如：按照产品的层级关系(大类产品->二级细类产品->三级细类产品)展示数据。目前，可以通过两种方式实现大数据可视化。一种方式是：针对每一个业务都需要开发一套程序，实现数据的存储和展现。然而，采用这种方式容易产生数据不一致和数据孤岛，并且成本较高，开发程序的周期较长。另一种方式是：利用多维分析的工具，例如：IBM公司提供的cognos，生成cube(即立方体多维信息模型)，然后前台进行多维分析。然而，采用这种方式的缺点是要额外的使用计算程序计算cube，计算时间长，影响获得数据的时间。综上所述，目前大数据可视化的解决方案在处理大数据的过程中，存在处理大数据花费的时间较长的问题。
技术实现思路
本专利技术实施例提供了一种数据处理的方法、装置、设备及介质，以减少处理大数据所花费的时间。第一方面，本专利技术实施例提供了一种数据处理的方法，方法包括：从数据库采集数据，并将采集到的数据转换为结构化数据；将所述结构化数据推送给数据存储模块；通过所述数据存储模块将所述结构化数据加载到分级的结构树中。第二方面，本专利技术实施例提供了一种数据处理的装置，装置包括：数据采集模块、数据推送模块和数据存储模块；所述数据采集模块用于从数据库采集数据，并将采集到的数据转换为结构化数据；所述数据推送模块用于将所述结构化数据推送给所述数据存储模块；所述数据存储模块用于将所述结构化数据加载到分级的结构树中。第三方面，本专利技术实施例提供了一种数据处理的设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。本专利技术实施例提供的数据处理的方法、装置、设备及介质，通过对数据进行结构化并将结构化数据加载到分级的结构树中，实现了对数据的规范化处理，可以兼容所有的系统和平台，屏蔽了业务的差异性，适用于各种业务，从整体上减少了大数据处理所花费的时间。并且，本专利技术实施例的技术方案可以通过递归算法实现直接地数据进行下钻分析，无需单独生成立方体多维信息模型，加快了分析数据的生成速度。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术实施例提供的数据处理的装置的示意图。图2示出了本专利技术实施例提供的数据处理的方法的流程图。图3示出了本专利技术实施例提供的数据处理的方法的另一流程图。图4示出了本专利技术实施例提供的多叉树的示意图。图5示出了本专利技术实施例提供的数据查询结果的示意图。图6示出了本专利技术实施例提供的数据处理的设备的硬件结构示意图。具体实施方式下面将详细描述本专利技术的各个方面的特征和示例性实施例，为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本专利技术，并不被配置为限定本专利技术。对于本领域技术人员来说，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。在对本专利技术实施例提供的数据处理的方法进行说明之前，对本专利技术实施例提供的数据处理的装置进行说明。如图1所示，图1示出了本专利技术实施例提供的数据处理的装置的示意图。该装置包括：数据采集模块101、数据推送模块102、数据存储模块103。可选地，该装置还包括数据查询模块104、数据展示模块105和数据库106。其中，数据库的数量可以是多个，图1以数据库的数量是3个，即数据库1061、数据库1062和数据库1063为例。多个数据库106分别与数据采集模块101相连，数据采集模块101与数据推送模块102相连，数据推送模块102与数据存储模块103相连，数据存储模块103与数据查询模块104相连，数据查询模块104与数据展示模块105相连。该装置用于执行本公开实施例提供的数据处理的方法。下面对该装置执行本专利技术实施例提供的数据处理的方法的过程进行说明。如图2所示，图2示出了本专利技术实施例提供的数据处理的方法的流程图。该方法包括以下步骤：步骤S21：从数据库采集数据，并将采集到的数据转换为结构化数据；步骤S22：将所述结构化数据推送给数据存储模块；步骤S23：通过所述数据存储模块将所述结构化数据加载到分级的结构树中。步骤S21由数据采集模块101执行。数据采集模块101首先从数据库106采集数据，数据库106的数量可以是多个，则数据采集模块101重复执行从每个数据库采集数据的步骤。每个数据库中的数据代表的含义不同、内容不同且格式不同，为了规范化和标准化，使得本专利技术实施例提供的数据展示方法适用于各种不同的数据库，数据采集模块101在从数据库106中采集数据之后，对采集到的数据进行加工处理，将其转换为结构化数据，以备后续数据推送模块102、数据存储模块103、数据查询模块104以及数据展示模块105对数据进行进一步处理。可选地，在本专利技术一实施例中，步骤S21包括以下步骤：通过java数据库连接JDBC建立与所述数据库之间的连接；从所述数据库采集数据；将采集到的数据按照各个维度进行汇集，以形成数据流；按照预设的结构化格式，将所述数据流转换为以得到所述结构化数据。可选地，在本专利技术一实施例中，从所述数据库采集数据，包括：通过JDBC方式或SQL语言生成的接口文件，从所述数据中采集数据。可选地，所述预设的结构化格式包括以下字段：时间、关键词、一级维度、二级维度、三级维度、四级维度、五级维度、值。其中，时间表示数据产生的时间，关键词(记为keyid)表示指标名称，例如：销售额。一级维度、二级维度、三级维度、四级维度、五级维度表示层级关系，例如：总公司->地市分公司->区县分公司->乡镇，又例如：大类产品->二级细类产品->三级细类产品。值表示数据。示例地，如果2017年2月份总公司的销售额是100万元，总公司分为5个分公司：分公司a、分公司b、分公司c、分公司d以及分公司本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：从数据库采集数据，并将采集到的数据转换为结构化数据；将所述结构化数据推送给数据存储模块；通过所述数据存储模块将所述结构化数据加载到分级的结构树中。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从数据库采集数据，并将采集到的数据转换为结构化数据；将所述结构化数据推送给数据存储模块；通过所述数据存储模块将所述结构化数据加载到分级的结构树中。2.根据权利要求1所述的方法，其特征在于，所述分级的结构树为多叉树，所述多叉树的根节点的数据为各级维度的数据的总和，所述各级维度的数据按照维度级别从高到低的顺序，分布在所述多叉树的相应层的节点上，所述多叉树的同一层节点表征同一级维度的数据。3.根据权利要求1或2所述的方法，其特征在于，在通过所述数据存储模块将所述结构化数据加载到分级的结构树中之后，所述方法还包括：根据检测到的数据查询指令，按照递归算法提取相应的数据；获得提取到的数据，并按照表格的形式展示所述提取到的数据。4.根据权利要求3所述的方法，其特征在于，根据检测到的数据查询操作，按照递归算法提取相应的数据，包括：根据检测到的数据查询操作，针对所述多叉树中的父节点，判断该父节点的父节点编号是否为空；若一个父节点的父节点编号是空，则提取该父节点的数据；针对所述多叉树中的子节点，反复执行以下步骤，直到该子节点为叶子节点为止：判断该子节点的父节点的父节点编号是否是上一层父节点的父节点编号，若该子节点的父节点的父节点编号是上一层父节点的父节点编号，则提取该子节点的数据。5.根据权利要求4所述的方法，其特征在于，获得提取到的数据，并按照表格的形式展示所述提取到的数据，包括：获得下钻查看指令；根据提取到的数据与所述多叉树的各个节点的对应关系，按照表格的形式逐级维度地下钻展示提取到的数据。6.根据权利要求4所述的方法，其特征在于，获得提取到的数据，并按照表格的形...

【专利技术属性】
技术研发人员：钟全龙，唐堂，赵奇勇，陆艳军，高丽，
申请(专利权)人：中国移动通信集团重庆有限公司，中国移动通信集团公司，
类型：发明
国别省市：重庆,50