一种数据管理系统及其实现数据管理业务的方法技术方案

本发明专利技术提供了一种数据管理系统及其实现数据管理业务的方法，数据管理系统包括：数据采集模块、存储处理模块和分布式存储系统；数据采集模块，用于从采集至少一个待处理业务数据，并将采集的至少一个待处理业务数据分别传输至存储处理模块；存储处理模块，用于在分布式存储系统中预先构建至少一张数据存储表，其中，每一张数据存储表分别对应一个数据类型；针对于接收的每一个待处理业务数据，解析待处理业务数据以确定待处理业务数据的当前数据类型，并将待处理业务数据存储至分布式存储系统中与当前数据类型相对应的数据存储表下。通过本发明专利技术的技术方案，可方便对分布式存储系统中存储的各个业务数据进行访问。

【技术实现步骤摘要】
一种数据管理系统及其实现数据管理业务的方法
本专利技术涉及计算机
，特别涉及一种数据管理系统及其实现数据管理业务的方法。
技术介绍
随着计算机应用技术的飞速发展，需要存储的业务数据(比如，互联网网站的数据)也在以指数级的增长速度快速增长，如何实现对海量的业务数据进行存储则是我们所面临的重要问题之一。目前，主要通过分布式存储系统来存储海量的业务数据。由于不同的业务数据可能具备不同的数据类型，具有不同数据类型的业务数据随机存储在分布式存储系统中，不方便对分布式存储系统中存储的各个业务数据进行访问。
技术实现思路
本专利技术实施例提供了一种数据管理系统及其实现数据管理业务的方法，可方便对分布式存储系统中存储的各个业务数据进行访问。第一方面，本专利技术提供了一种数据管理系统，包括：数据采集模块、存储处理模块和分布式存储系统；其中，所述数据采集模块，用于采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；所述存储处理模块，用于在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。优选地，所述存储处理模块，包括：解析单元和第一存储处理单元；其中，所述解析单元，用于针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；所述第一存储处理单元，用于在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。优选地，所述存储处理模块，进一步包括：第二存储处理单元；其中，所述第二存储处理单元，用于在所述当前数据类型为图片数据时，将所述待处理业务数据所对应的图片名称作为所述待处理业务数据所对应的第二主键值，在所述分布式存储系统中对应于所述图片数据的第二数据存储表下构建一个以所述第二主键值命名的第二列族，并将所述待处理业务数据存储至所述第二列族中。优选地，所述存储处理模块，进一步包括：第三存储处理单元；其中，所述第三存储处理单元，用于在所述当前数据类型为Json数据时，根据预设规则生成对应于所述Json数据的第三主键值，在所述分布式存储系统中对应于所述Json数据的第三数据存储表下构建一个以所述第三主键值命名的第三列族，并将所述待处理业务数据存储至所述第三列族中。第二方面，本专利技术实施例提供了一种利用第一方面中任一所述的数据管理系统实现数据管理业务的方法，包括：利用所述存储处理模块在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；利用所述数据采集模块采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；利用所述存储处理模块针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。优选地，所述利用所述存储处理模块针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下，包括：利用所述解析单元针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；利用所述第一存储处理单元在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。优选地，还包括：利用所述第二存储处理单元在所述当前数据类型为图片数据时，将所述待处理业务数据所对应的图片名称作为所述待处理业务数据所对应的第二主键值，在所述分布式存储系统中对应于所述图片数据的第二数据存储表下构建一个以所述第二主键值命名的第二列族，并将所述待处理业务数据存储至所述第二列族中。优选地，还包括：利用所述第三存储处理单元在所述当前数据类型为Json数据时，根据预设规则生成对应于所述Json数据的第三主键值，在所述分布式存储系统中对应于所述Json数据的第三数据存储表下构建一个以所述第三主键值命名的第三列族，并将所述待处理业务数据存储至所述第三列族中。优选地，本专利技术实施例提供了一种数据管理系统及其实现数据管理业务的方法，该数据管理系统由数据采集模块、存储处理模块和分布式存储系统构成，存储处理模块可预先在分布式存储系统中预先构建至少一张数据存储表，每一张数据存储表分别对应一个数据类型，存储处理模块在接收到数据采集模块采集并传输的各个待处理业务数据之后，则可针对于每一个待处理业务数据分别执行：对待处理业务数据进行解析以确定出待处理业务数据的当前数据类型，将待处理业务数据存储至分布式存储系统中与当前数据类型相对应的目标数据存储表下；如此，则可实现将不同数据类型的业务数据分别存储到分布式系统中不同的数据存储表下，可方便对分布式存储系统中存储的各个业务数据进行访问。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种数据管理系统的结构示意图；图2是本专利技术一实施例提供的另一种数据管理系统的结构示意图；图3是本专利技术一实施例提供的一种利用数据管理系统管理数据的方法的流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例提供了一种数据管理系统，包括：数据采集模块101、存储处理模块102和分布式存储系统103；其中，所述数据采集模块101，用于采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块102；所述存储处理模块102，用于在所述所述分布式存储系统103中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统103中与所述当前数据类型相对应的数据存储表下。如图1所示的实施例，该数据管理系统由数据采集模块、存储处理模块和分布式存本文档来自技高网...

【技术保护点】
一种数据管理系统，其特征在于，包括：数据采集模块、存储处理模块和分布式存储系统；其中，所述数据采集模块，用于从采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；所述存储处理模块，用于在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。

【技术特征摘要】
1.一种数据管理系统，其特征在于，包括：数据采集模块、存储处理模块和分布式存储系统；其中，所述数据采集模块，用于从采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；所述存储处理模块，用于在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。2.根据权利要求1所述的数据管理系统，其特征在于，所述存储处理模块，包括：解析单元和第一存储处理单元；其中，所述解析单元，用于针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；所述第一存储处理单元，用于在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。3.根据权利要求2所述的数据管理系统，其特征在于，所述存储处理模块，进一步包括：第二存储处理单元；其中，所述第二存储处理单元，用于在所述当前数据类型为图片数据时，将所述待处理业务数据所对应的图片名称作为所述待处理业务数据所对应的第二主键值，在所述分布式存储系统中对应于所述图片数据的第二数据存储表下构建一个以所述第二主键值命名的第二列族，并将所述待处理业务数据存储至所述第二列族中。4.根据权利要求2所述的数据管理系统，其特征在于，所述存储处理模块，进一步包括：第三存储处理单元；其中，所述第三存储处理单元，用于在所述当前数据类型为Json数据时，根据预设规则生成对应于所述Json数据的第三主键值，在所述分布式存储系统中对应于所述Json数据的第三数据存储表下构建一个以所述第三主键值命名的第三列族，并将所述待处理业务数据存储至所述第三列族中。5.一种利用权利要求1至...

【专利技术属性】
技术研发人员：张霞，赵圣杰，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东,37