一种大数据管理方法、系统、电子设备和存储介质技术方案

本发明专利技术公开了一种大数据管理方法、系统、电子设备和存储介质，其中，该方法包括：根据数据存储管理模块获取至少一个数据源的业务数据进行存储；根据计算引擎模块在数据分析模块确定所述业务数据的预设分析规则；在所述计算引擎模块按照所述预设分析规则确定所述业务数据的数据处理结果。本发明专利技术实施例实现了统一的数据管理，可提高数据的利用率，降低大数据的分析难度，可提高业务数据特性确定的准确性。性。性。

【技术实现步骤摘要】
一种大数据管理方法、系统、电子设备和存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种大数据管理方法、系统、电子设备和存储介质。

技术介绍

[0002]大数据是信息技术又一次颠覆性变革，随着大数据技术在各领域获得应用，在数据数量、数据管理、数据分析等方面将会成为影响竞争优势的关键性特征。在不远的将来，数据的积累和运用将会成为业务管理和整体实力提升的重要指标。因此，大数据拓展了业务管理内涵，具有现实的重要价值。如何进行合理的大数据管理将成为业务管理的重要问题。
[0003]大数据管理通常存在零散多综合少、局部多全局少、信息管理系统种类繁多且相互独立等问题，数据在各信息系统内以不同的形式不同的存储方式存在，在进行大数据管理时，缺乏统一的入口，导致数据的利用率较低，无法在数据中找到规律，从而实现对大数据的管理。因此，如何对不同来源不同格式的大数据进行统一管理成为当前亟待解决的问题。

技术实现思路

[0004]本专利技术提供了一种大数据管理方法、系统、电子设备和存储介质，以实现统一的数据管理，提高数据的利用率，降低业务大数据的分析难度。
[0005]根据本专利技术的一方面，提供了一种大数据管理方法，其中，该方法包括：
[0006]根据数据存储管理模块获取至少一个数据源的业务数据进行存储；
[0007]根据计算引擎模块在数据分析模块确定所述业务数据的预设分析规则；
[0008]在所述计算引擎模块按照所述预设分析规则确定所述业务数据的数据处理结果。
[0009]根据本专利技术的另一方面，提供了一种大数据管理系统，其中，该大数据管理系统包括：
[0010]数据存储模块，用于获取至少一个数据源的业务数据进行存储；
[0011]计算引擎模块，用于在数据分析模块确定所述业务数据的预设分析规则；
[0012]所述计算引擎模块，还用于按照所述预设分析规则确定所述业务数据的数据处理结果。
[0013]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0014]至少一个处理器；以及
[0015]与所述至少一个处理器通信连接的存储器；其中，
[0016]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的大数据管理方法。
[0017]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储
介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的大数据管理方法。
[0018]本专利技术实施例的技术方案，通过数据存储管理模块获取不同数据源的业务数据进行存储，根据计算引擎模块在数据分析模块确定业务数据的预设分析规则，并按照该预设分析规则确定业务数据的数据处理结果，实现了不同数据源的数据统一处理，可提高数据的利用率，从而降低业务大数据的分析难度，提高用户的使用体验。
[0019]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是根据本专利技术实施例一提供的一种大数据管理方法的流程图；
[0022]图2是根据本专利技术实施例二提供的另一种大数据管理方法的流程图；
[0023]图3是根据本专利技术实施例三提供的一种大数据管理系统的结构示意图；
[0024]图4是实现本专利技术实施例的大数据管理方法的电子设备的结构示意图。
具体实施方式
[0025]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0026]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0027]实施例一
[0028]图1为本专利技术实施例一提供了一种大数据管理方法的流程图，本实施例可适用于业务大数据管理的情况，该方法可以由大数据管理系统来执行，该大数据管理系统可以采用硬件和/或软件的形式实现，该大数据管理系统可配置于服务器中。如图1所示，该方法包括：
[0029]步骤110、根据数据存储管理模块获取至少一个数据源的业务数据进行存储。
[0030]其中，数据存储管理模块可以是为业务数据存储管理提供支持的软硬件模块，数
据存储管理模块可以包括关系型数据库、分布式文件系统、分布式数据库、分布式数据仓库、内存数据库、全文检索引擎等，数据源可以是数据存储管理模块获取业务数据的来源，数据源可以是不同的业务系统，数据源内业务数据的格式可以不同，可以包括结构化数据或非结构化数据。
[0031]在本专利技术实施例中，可以通过数据存储管理模块连接到一个或多个数据源，可以在相应的数据源内获取业务数据，可以将业务数据存储到关系型数据库、分布式文件系统、分布式数据库、分布式数据仓库、内存数据库、全文检索引擎中至少之一。
[0032]在一个示例性的实施方式中，数据存储管理模块可以包括关系型数据库，该关系型数据库能够提供海量结构化的业务数据的存储能耐，支持标准的结构化查询语言(Structured Query Language，SQL)查询，其中，关系型数据库可以具体为国产自主可控关系型数据库，能够提供完整的关系型数据库事务，支持集群模式、提供容灾备份能力，能够支持数据库多租户管理，提供按需申请部署数据库的能力，支持按用户数、申请类型、申请时间、申请容量等参数自动部署数据库资源。
[0033]在另一个示例性的实施方式中，数据存储模块可以包括分布式文件系统，该分布式文件系统能够提供标准的文件访问协议，可以通过JAVA、C++、Python开发语言类型的访问接口，可支持机架感知、支持多副本存储，从而保证数据库存储模块的数据高可靠分布，该分布式文件系统还支持负载均衡，具备存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据管理方法，其特征在于，应用于数据管理系统，所述方法包括：根据数据存储管理模块获取至少一个数据源的业务数据进行存储；根据计算引擎模块在数据分析模块确定所述业务数据的预设分析规则；在所述计算引擎模块按照所述预设分析规则确定所述业务数据的数据处理结果。2.根据权利要求1所述方法，其特征在于，所述数据管理系统还包括数据采集整编模块，所述根据数据存储管理模块获取至少一个数据源的业务数据进行存储，包括以下至少之一：根据所述数据存储管理模块调用所述数据采集整编模块的训练数据采报单元采集业务训练数据作为所述业务数据；根据所述数据存储管理模块调用所述数据采集整编模块的训练数据整编单元将所述业务训练数据切分整理后作为所述业务数据。3.根据权利要求1所述方法，其特征在于，还包括：根据数据综合管理模块对所述业务数据进行元数据管理、数据质量管理、数据资产管理、数据维护管理、数据安全管理中至少之一。4.根据权利要求1所述方法，其特征在于，所述根据计算引擎模块在数据分析模块确定所述业务数据的预设分析规则，包括：根据所述计算引擎模块在所述数据分析模块的算法模型库确定至少一个业务数据处理模型；根据所述计算引擎模块调用所述数据分析模块的数据探索单元检查所述业务数据处理模型与所述业务数据的适配性后将所述业务数据处理模型作为所述预设分析规则。5.根据权利要求4所述方法，其特征在于，还包括：在所述计算...

【专利技术属性】
技术研发人员：钱李昌，高建，肖毅，赵宇，缪希伟，曲建辉，
申请(专利权)人：中国人民解放军中部战区联合参谋部联合训练局，
类型：发明
国别省市：