一种大数据并发存储系统及方法技术方案

本发明专利技术涉及一种数据库存储领域，尤其涉及一种大数据并发存储系统及方法。包括配置单元，设置数据分流时的标示符规则及判定规则；获取模块，根据标示符的规则获取每条数据的并发数序列号和顺序序列号；路径配置模块，根据分流的判定规则设置数据分流的判定条件以及分流的存储表单；判定模块，对每条数据进行分流判定，判定数据的表单序列号；路径模块，根据路径配置模块的判定条件查找表单序列号对应的存储路径，并将每条数据存储至相应的表单模块中。本发明专利技术通过设置以时间维度为基准的数据流水号，每一秒钟最大可达到存储千条的数据量，能够实现百万级千万级数据量的快速存储，降低存储系统在超负荷存储过程中崩溃的风险。

【技术实现步骤摘要】
一种大数据并发存储系统及方法
本专利技术涉及一种数据库存储领域，尤其涉及一种大数据并发存储系统及方法。
技术介绍
随着互联网的发展，许多的服务都进入流程化，如电子商务服务、大数据分析服务、物流服务、通信服务类、第三方网络接口服务等，由于网络的发展使得这些服务在每时每刻产生的业务数据量是非常巨大的，并且需要及时存储下来。由于数据在存储过程中的存储速度相对于数据产生的速度比较慢，从而使得存储系统在不断进行超负荷存储过程中存在崩溃的风险，会间接影响整个服务器的服务效果。
技术实现思路
本专利技术的目的在于，提供一种大数据并发存储系统，用于解决以上技术问题；本专利技术还提供一种大数据并发存储方法。本专利技术采用以下技术方案来实现：一种大数据并发存储系统，应用于对服务端即时产生的若干条数据的存储中,包括：配置单元，用于设置每条所述数据在进行数据分流时的标示符的规则及分流的判定规则，且所述标示符包括顺序序列号、并发数序列号和表单序列号；获取模块，分别与所述配置单元和所述服务端连接，以根据所述标示符的规则获取每条所述数据的并发数序列号和顺序序列号；路径配置模块，与所述配置单元连接，以根据所述分流的判定规则设置数据分流的判定条件以及分流的存储表单；判定模块，分别与所述配置单元和所述获取模块连接，以根据所述并发数序列号利用所述判定规则对每条所述数据进行分流判定，判定所述数据的表单序列号；若干个表单模块，用于存储各个表单中的数据；路径模块，分别与所述判定模块、路径配置模块和所述若干个表单模块连接，根据所述路径配置模块的判定条件查找所述表单序列号对应的存储路径，并根据所述存储路径将每条数据存储至相应的所述表单模块中。优选的，上述的大数据并发存储系统还包括：与所述若干个表单模块连接的主控数据中心模块，用于将所述若干个表单数据合并存储成汇总表，并将所述汇总表中的数据同步到主控数据库中。本申请还提供了一种大数据并发存储方法，可应用于对服务端即时产生的若干条数据的存储中，所述方法包括：步骤1，设置每条所述数据在进行数据分流时的标示符的规则及分流的判定规则，并根据所述分流的判定规则设置数据分流的判定条件以及分流的存储表单；所述标示符包括顺序序列号、并发数序列号和表单序列号；步骤2，根据所述标示符的规则获取每条所述数据的并发数序列号和顺序序列号；步骤3，根据所述分流的判定条件及分流的存储表单判定每条数据的表单序列号；步骤4，根据所述判定条件查找所述表单序列号对应的存储路径，并根据所述存储路径将每条数据存储至相应的所述表单模块中。上述的大数据并发存储方法还包括：将表单数据合并存储成汇总表，并将所述汇总表中的数据同步到主控数据库中。上述的大数据并发存储方法中:所述并发数序列号是指当前指定的一段时间内，要存储的数据按照自然数序列生成的序列号。上述的大数据并发存储方法中:所述并发数序列号用4位的十进制数表示，所述并发数序列号从0000开始计数或者从0001开始计数。上述的大数据并发存储方法中:所述数据分流的判定条件是指每张表单存储设定的相同条数的数据。上述的大数据并发存储方法中:所述表单序列号采用2位的十进制或者十六进制方式计数，所述表单序列号从00开始计数或者从01开始计数。上述的大数据并发存储方法中:所述顺序序列号采用以时间维度为基准的方式表示：用16位的YYYYMMDDHHMMSS表示，其中，YYYY表示年份，MM表示月份,DD表示日，HH表示小时，MM表示分钟，SS表示秒。本专利技术通过设置以时间维度为基准的数据流水号，每一秒钟最大可达到存储一千条的数据量，能够实现百万级千万级数据量的快速存储，降低存储系统在超负荷存储过程中崩溃的风险，尤其适用于电子商务服务、大数据分析服务、物流服务、通信服务类、第三方网络接口服务中的订单信息数据、通信信息数据等信息的存储。附图说明图1为专利技术的一种大数据并发存储方法的流程示意图；图2为本专利技术的一种大数据并发存储系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。如图1所示，一种大数据并发存储方法，用于对即时产生的大量数据进行存储。在存储数据之前，会在每条数据的开头添加对应的流水号，防止保存数据的顺序错乱。其包括顺序序列号、并发数序列号和表单序列号，将三者进行组合就形成对应数据的流水号，也就是标示符。需要指出的是，所述的顺序序列号不受位数的限制，可以采用基于时间参数的年YYYY、月MM、日DD、时HH、分MM、秒SS的格式生成16位的时间序列号YYYYMMDDHHMMSS,也可以采用基于年YY、月MM、日DD、时HH、分MM生成12位的时间序列号YYMMDDHHMM；当然还可以采用其它阿拉伯数字和/或时间的表示方式，在此不一一赘述。并发数序列号是指当前指定的一段时间内，要存储的数据按照自然数序列排序生成的序列号，该序列号的位数不受限制。该序列号可以从0开始计数，也可以从1开始计数。当该一秒过后，并发数序列号归零，重新开始计数。本专利技术的实施例中，指定的一段时间为一秒或1000毫秒，设置该1000毫秒时间内能接收的最大数据量为1000条，并从1开始计数，同时设置并发序列号为4位数。则时间为2015年11月13日15时21分46秒的一秒中内可接受的最大数据量为1000条，在这一秒内，所接收的第20条数据对应的时间序列号为20151113152146，并发数序列号为0020；当下一秒的第一条数据产生时，对应的时间序列号为20151113152147，并发数序列号为0001。表单序列号是存储数据的表单的序列号，作为分表或分页的标识。表单序列号可以对应为不同的数据对象，例如，在交易订单数据信息中，每个序列号可以表示为不同的供应商的存储数据的表单,也可以表示为多个用于存储数据的表单；在物流订单数据信息中，可以对应不同地区发起的物流信息数据等。总之，每一个表单序列号对应一张存储数据的表单。同样地，该表单序列号的表示不受位数的限制，可以采用十进制表示，也可以采用十六进制数表示。当采用两位十进制数表示时，表单的序列号可以从01到99表示99张表；当采用十六进制表示时，表单的序列号可以从01到FF表示165张表单。同样地，也可以从00开始作为表单的序列号。因此，时间为2015年11月13日15时21分46秒，并发数序列号为0020，存储于第88张表的流水号可以表示为20151113152146002088。在存储数据之前，需要设置分流的判定条件：设定每当产生C条数据时就进行一次分流,也就是设置每张表单只能存储数据的条数C。例如设定每当产生20条数据就进行分流一次，如流水号从20151113152146000101-20151113152146002001，表示当时间序列为20151113152146，以及产生的数据的并发数序列号在0001-0020之间的数本文档来自技高网...

【技术保护点】
1.一种大数据并发存储系统，应用于对服务端即时产生的若干条数据的存储中,其特征在于，包括：配置单元，用于设置每条所述数据在进行数据分流时的标示符的规则及分流的判定规则，且所述标示符包括顺序序列号、并发数序列号和表单序列号；获取模块，分别与所述配置单元和所述服务端连接，以根据所述标示符的规则获取每条所述数据的并发数序列号和顺序序列号；路径配置模块，与所述配置单元连接，以根据所述分流的判定规则设置数据分流的判定条件以及分流的存储表单；判定模块，分别与所述配置单元和所述获取模块连接，以根据所述并发数序列号利用所述判定规则对每条所述数据进行分流判定，判定所述数据的表单序列号；若干个表单模块，用于存储各个表单中的数据；路径模块，分别与所述判定模块、路径配置模块和所述若干个表单模块连接，根据所述路径配置模块的判定条件查找所述表单序列号对应的存储路径，并根据所述存储路径将每条数据存储至相应的所述表单模块中；所述数据分流的判定条件是指每张表单存储设定的相同条数的数据。

【技术特征摘要】
1.一种大数据并发存储系统，应用于对服务端即时产生的若干条数据的存储中,其特征在于，包括：配置单元，用于设置每条所述数据在进行数据分流时的标示符的规则及分流的判定规则，且所述标示符包括顺序序列号、并发数序列号和表单序列号；获取模块，分别与所述配置单元和所述服务端连接，以根据所述标示符的规则获取每条所述数据的并发数序列号和顺序序列号；路径配置模块，与所述配置单元连接，以根据所述分流的判定规则设置数据分流的判定条件以及分流的存储表单；判定模块，分别与所述配置单元和所述获取模块连接，以根据所述并发数序列号利用所述判定规则对每条所述数据进行分流判定，判定所述数据的表单序列号；若干个表单模块，用于存储各个表单中的数据；路径模块，分别与所述判定模块、路径配置模块和所述若干个表单模块连接，根据所述路径配置模块的判定条件查找所述表单序列号对应的存储路径，并根据所述存储路径将每条数据存储至相应的所述表单模块中；所述数据分流的判定条件是指每张表单存储设定的相同条数的数据。2.根据权利要求1所述的大数据并发存储系统，其特征在于，还包括：与所述若干个表单模块连接的主控数据中心模块，用于将所述若干个表单数据合并存储成汇总表，并将所述汇总表中的数据同步到主控数据库中。3.一种大数据并发存储方法，其特征在于，应用于对服务端即时产生的若干条数据的存储中，所述方法包括：步骤1，设置每条所述数据在进行数据分流时的标示符的规则及分流的判定规则，并根据所述分流的判定规则设置数...

【专利技术属性】
技术研发人员：温涛，
申请(专利权)人：上海瀚之友信息技术服务有限公司，
类型：发明
国别省市：上海,31