【技术实现步骤摘要】
本专利技术涉及大数据写入读取，具体为一种多数据源的高速写入读取系统及其方法。
技术介绍
1、大数据是指规模庞大、种类多样、处理速度快的数据集合。随着互联网和物联网的普及，数据的产生和存储量呈现出爆炸式增长的趋势，这些数据包括结构化数据、半结构化数据和非结构化数据。大数据的特点有数据的体积、速度和多样性。其中，数据的体积非常巨大，远远超出了传统数据库的处理能力，数据的速度非常快，需要实时或近实时地进行处理和分析，数据的多样性非常丰富，包括文本、图片、视频等多种格式。大数据分析则是利用各种技术和工具对大数据进行处理和分析的过程。通过对大数据的分析，可以发现隐藏在数据背后的规律和趋势，为企业决策提供支持。大数据分析的方法，包括机器学习、数据挖掘、自然语言处理等。在医疗领域，大数据分析可以帮助医生进行疾病诊断和治疗方案制定。在零售领域，大数据分析可以帮助企业了解消费者需求和购买习惯，优化商品推荐策略等。大数据是当今信息时代的重要组成部分，它的出现和发展对于推动社会进步和经济发展具有重要意义。
2、大数据写入和读取是大数据处理过程中非常重要的环节。大数据写入：将大量的数据存储到计算机系统中时，通常涉及到数据的采集、清洗、转换、加载和储存等步骤，需要考虑数据的可靠性、安全性和效率等问题。大数据行式存储和列式存储是两种常见的数据存储方式，它们在结构、查询效率和适用场景上都存在明显的差异。行式存储倾向于结构固定，每一行数据以相同的形式存储，关系型数据库中的数据，而列式存储则倾向于结构弱化，每一行数据的列可以不同，存储的业务数据和相关
3、目前，传统多数据源的高速写入读取系统通常是单一性采取行式存储或列式存储的数据库存储方式，行式存储写入速度快，但读取过程中会产生冗余数据，在大数据场景下效率较低，列式存储读取速度快，适合大数据分析查询场景，但写入性能较差。
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种多数据源的高速写入读取系统及其方法，具备双重存储方式兼容性高、高速写入读取效率高等优点，解决了传统多数据源的高速写入读取系统存储方式单一，写入性能差使用效率低的问题。
2、为了实现上述目的，本专利技术提供如下的技术方案来实现：
3、一种多数据源的高速写入读取系统，包括数据需求模块、中央储存模块和处理输出模块；
4、所述数据需求模块，包括写入需求单元、读取需求单元和安全排查单元，所述写入需求单元，通过网络连接用户端实时采集写入数据集进行编号，并通过网络传输至安全排查单元，所述读取需求单元，通过网络连接用户端实时采集读取数据集进行编号，并通过网络传输至安全排查单元，所述需求数据集由写入数据集和读取数据集组成，所述安全排查单元，通过网络连接数据库建立安全排查模型aqpc，所述安全排查单元，根据需求数据集和安全排查模型aqpc，计算出安全需求数据集aqxu，并进行编号，所述安全排查单元，通过网络将安全需求数据集aqxu传输至数据需求模块，所述数据需求模块，通过网络连接中央存储模块；
5、所述中央存储模块，通过网络连接数据库建立参考数据集，并进行编号，所述参考数据集由参考行式版本模型、参考列式版本模型和参考校验数据集组成，所述中央存储模块，包括行式存储单元、列式存储单元和数据校验单元，所述行式存储单元，根据安全需求数据集aqxu和参考数据集，计算出行式存储版本hscb，并通过网络传输至列式存储单元，所述列式存储单元，根据安全需求数据集aqxu和参考数据集，计算出列式存储版本lscb，并通过网络传输至数据校验单元，所述数据校验单元，根据行式存储版本hscb和列式存储版本lscb，计算出版本差比bacb，并通过网络传输处理输出模块，所述中央存储模块，通过网络连接处理输出模块；
6、所述处理输出模块，根据版本差比bacb，对比参考数据集，判断数据行式存储版本号与列式存储版本同步情况，所述处理输出模块，根据同步情况等待版本更新或输出查询结果。
7、优选的，所述写入需求单元，根据写入数据集特征对其进行编号，所述写入数据集编号为xr1、xr2、xr3、…xrn，所述读取需求单元，根据读取数据集特征对其进行编号，所述读取数据集编号为dq1、dq2、dq3、…dqn。
8、优选的，所述安全排查单元，根据需求数据集和安全排查模型aqpc，计算出安全需求数据集aqxu，其计算公式如下：
9、
10、公式中，aqxu表示安全需求数据集，f(xr)∈aqpc表示写入数据集集合中的所有子数据都属于安全排查模型数据集合，f(dq)∈aqpc表示读取数据集集合中的所有子数据都属于安全排查模型数据集合。
11、优选的，所述安全排查单元根据安全需求数据集aqxu特征对安全写入数据集和安全读取数据集进行编号，并通过网络传输至数据需求模块，所述安全写入数据集编号为axr1、axr2、axr3、…axrn，所述安全读取数据集编号为adq1、adq2、adq3、…adqn。
12、优选的，所述中央存储模块，根据参考数据集特征对参考行式版本模型、参考列式版本模型和参考校验数据集进行编号，所述参考数据集编号为ckhs、ckls和ckjy。
13、优选的，所述行式存储单元根据安全需求数据集aqxu和参考数据集，计算出行式存储版本hscb，其计算公式如下：
14、f(x)＝axr1、axr2、axr3、…axrn，
15、
16、公式中，hscb表示行式存储版本，表示将安全写入数据集中的所有数据一次性写入内存中，根据参考行式版本模型进行处理，生成当前数据行式存储版本号，表示将安全写入数据集以数据流的形式写入内存中，根据参考行式版本模型进行处理，生成当前数据行式存储版本号，表示将安全写入数据集中的增量数据写入内存中，根据参考行式版本模型进行处理，生成当前数据行式存储版本号。
17、优选的，所述列式存储单元根据安全需求数据集aqxu和参考数据集，计算出列式存储版本lsc本文档来自技高网...
【技术保护点】
1.一种多数据源的高速写入读取系统，其特征在于：包括数据需求模块、中央储存模块和处理输出模块；
2.根据权利要求1所述的一种多数据源的高速写入读取系统，其特征在于：所述写入需求单元根据写入数据集特征对其进行编号，所述写入数据集编号为XR1、XR2、XR3、…XRn，所述读取需求单元根据读取数据集特征对其进行编号，所述读取数据集编号为DQ1、DQ2、DQ3、…DQn。
3.根据权利要求2所述的一种多数据源的高速写入读取系统，其特征在于：所述安全排查单元根据需求数据集和安全排查模型Aqpc，计算出安全需求数据集Aqxu，其计算公式如下：
4.根据权利要求3所述的一种多数据源的高速写入读取系统，其特征在于：所述安全排查单元根据安全需求数据集Aqxu特征对安全写入数据集和安全读取数据集进行编号，并通过网络传输至数据需求模块，所述安全写入数据集编号为AXR1、AXR2、AXR3、…AXRn，所述安全读取数据集编号为ADQ1、ADQ2、ADQ3、…ADQn。
5.根据权利要求4所述的一种多数据源的高速写入读取系统，其特征在于：所述中央存储模块根
6.根据权利要求5所述的一种多数据源的高速写入读取系统，其特征在于：所述行式存储单元根据安全需求数据集Aqxu和参考数据集，计算出行式存储版本Hscb，其计算公式如下：
7.根据权利要求6所述的一种多数据源的高速写入读取系统，其特征在于：所述列式存储单元根据安全需求数据集Aqxu和参考数据集，计算出列式存储版本Lscb，其计算公式如下：
8.根据权利要求7所述的一种多数据源的高速写入读取系统吗，其特征在于：所述数据校验单元根据行式存储版本Hscb和列式存储版本Lscb，计算出版本差比Bacb，其计算公式如下：
9.根据权利要求8所述的一种多数据源的高速写入读取系统，其特征在于：所述处理输出模块根据版本差比Bacb，对比参考校验数据集CKjy，判断数据行式存储版本号与列式存储版本同步情况，所述版本差比Bacb与参考校验数据集CKjy相同时，直接输出查询结果列式存储版本Lscb，所述版本差比Bacb与参考校验数据集CKjy不相同时，处理输出模块通过网络连接并控制中央存储模块再次转换备份数据，等待行式存储版本号与列式存储版本号再次更新一致。
10.一种多数据源的高速写入读取方法，其特征在于：包括以下步骤：
...【技术特征摘要】
1.一种多数据源的高速写入读取系统，其特征在于：包括数据需求模块、中央储存模块和处理输出模块；
2.根据权利要求1所述的一种多数据源的高速写入读取系统，其特征在于：所述写入需求单元根据写入数据集特征对其进行编号，所述写入数据集编号为xr1、xr2、xr3、…xrn，所述读取需求单元根据读取数据集特征对其进行编号，所述读取数据集编号为dq1、dq2、dq3、…dqn。
3.根据权利要求2所述的一种多数据源的高速写入读取系统，其特征在于：所述安全排查单元根据需求数据集和安全排查模型aqpc，计算出安全需求数据集aqxu，其计算公式如下：
4.根据权利要求3所述的一种多数据源的高速写入读取系统，其特征在于：所述安全排查单元根据安全需求数据集aqxu特征对安全写入数据集和安全读取数据集进行编号，并通过网络传输至数据需求模块，所述安全写入数据集编号为axr1、axr2、axr3、…axrn，所述安全读取数据集编号为adq1、adq2、adq3、…adqn。
5.根据权利要求4所述的一种多数据源的高速写入读取系统，其特征在于：所述中央存储模块根据参考数据集特征对参考行式版本模型、参考列式版本模型和参考校验数据集进行编号，所述参考数据集编号为ckhs...
【专利技术属性】
技术研发人员：金言，张以朋，冯文雄，王晨旭，
申请(专利权)人：南京雀翼信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。