一种基于区块链的大数据仓库系统及数据存储方法技术方案

本发明专利技术涉及数据库存储技术领域，具体涉及一种基于区块链的大数据仓库系统及数据存储方法，包括：采集端，采集端连接一外部的生产设备，采集端获取生产设备中的生产数据，并在生产数据发生变动时生成修改记录；存储区块链，存储区块链连接采集端，存储区块链接收并存储自采集端发出的修改记录；至少一个数据仓库，数据仓库连接存储区块链，存储区块链向数据仓库发送修改记录。本发明专利技术的有益效果在于：通过设置存储区块链接收修改记录并向数据仓库中推送数据，避免了现有技术中通过相关工具对变更数据进行捕获、推送导致推送过程稳定性差、故障后无法自动恢复等问题。实现了更好的数据存储稳定性和容错率，降低了维护成本。降低了维护成本。降低了维护成本。

【技术实现步骤摘要】
一种基于区块链的大数据仓库系统及数据存储方法


[0001]本专利技术涉及数据库存储
，具体涉及一种基于区块链的大数据仓库系统及数据存储方法。

技术介绍

[0002]数据仓库系统是一种面向商务智能(BI)活动的数据管理系统，它适用于对数据进行查询和分析，尤其是涉及到对大量的历史数据进行处理以生成业务所需的分析结果。在实际应用中，数据仓库系统中的数据一般来自应用日志文件和事务应用等广泛来源。数据仓库系统可集中、整合多个信息源的大量数据，进而对数据进行处理以符合企业的业务需求。在对数据的整合过程中，数据仓库系统往往需要对多个信息源的数据进行同步，以获取可供分析的数据。
[0003]现有技术中，已存在有适用于数据仓库系统的数据同步方法。比如，现有技术中，通常是通过源数据库根据订阅队列向操作性数据库推送数据，随后采用相应的工具对操作性数据库捕获其变化数据，进而使用如ETL一类的工具将变化数据抽取到最终的数据仓库中。
[0004]但是，在实际实施过程中，专利技术人发现，虽然上述现有技术可以根据用户需要实现在不同类型的数据库之间同步数据并对数据进行一定程度的处理。但上述工具往往会存在有稳定性的问题。比如，CDC工具的存储存在有时效性，无法对长时间的异常记录进行保存、维护等。比如，当镜像数据库的变更捕获发生异常，或订阅初始化后，ETL工具无法正常运行等。

技术实现思路

[0005]针对现有技术中存在的上述问题，现提供一种基于区块链的大数据仓库系统及数据存储方法。
[0006]具体技术方案如下：
[0007]一种基于区块链的大数据仓库系统，包括：
[0008]采集端，所述采集端连接一外部的生产设备，所述采集端获取所述生产设备中的生产数据，并在所述生产数据发生变动时生成修改记录；
[0009]存储区块链，所述存储区块链连接所述采集端，所述存储区块链接收并存储自所述采集端发出的所述修改记录；
[0010]至少一个数据仓库，所述数据仓库连接所述存储区块链，所述存储区块链向所述数据仓库发送所述修改记录。
[0011]优选地，还包括一操作数据库，所述操作数据库包括；
[0012]数据存储子模块，所述数据存储子模块连接所述存储区块链，所述数据存储子模块接收并存储所述存储区块链发送的所述修改记录，用于在所述操作数据库中形成所述生产数据；
[0013]数据编辑子模块，所述数据编辑子模块连接所述数据存储子模块，所述数据编辑子模块自所述数据存储子模块中获取所述生产数据；
[0014]所述数据编辑子模块响应一外部输入的编辑指令，根据所述编辑指令对所述生产数据进行处理，以输出一处理结果。
[0015]优选地，所述操作数据库还包括：
[0016]同步请求子模块，所述同步请求子模块连接所述数据存储子模块、所述数据编辑子模块和所述存储区块链；
[0017]所述同步请求子模块获取所述处理结果，生成一对应于所述处理结果的修改记录；
[0018]所述同步请求子模块将所述修改记录发送至所述存储区块链。
[0019]优选地，所述采集端包括：
[0020]数据采集子模块，所述数据采集子模块连接所述生产设备，所述数据采集子模块自所述生产设备获取所述生产数据；
[0021]数据比对子模块，所述数据比对子模块连接所述数据采集子模块，所述数据比对子模块中存储有上一时刻的所述生产数据；
[0022]所述数据比对子模块根据所述上一时刻的所述生产数据判断当前的所述生产数据是否存在变动；
[0023]记录生成子模块，所述记录生成子模块连接所述数据比对子模块，所述记录生成子模块根据所述数据比对子模块的比对结果以及所述当前的所述生产数据生成所述修改记录。
[0024]优选地，所述存储区块链包括：
[0025]记录接收子模块，所述记录接收子模块连接所述采集端，所述记录接收子模块接收自所述采集端发出的所述修改记录；
[0026]存储子模块，所述存储子模块连接所述记录接收子模块，所述存储子模块存储所述修改记录；
[0027]推送子模块，所述推送子模块连接所述存储子模块，所述推送子模块根据预先生成的对应于所述数据仓库的智能合约向所述数据仓库推送所述修改记录。
[0028]优选地，所述存储区块链还包括：
[0029]记录编辑子模块，所述记录编辑子模块连接所述推送子模块，所述记录编辑子模块根据所述智能合约对所述修改记录进行编辑；
[0030]所述推送子模块向所述数据仓库推送编辑后的所述修改记录。
[0031]一种数据存储方法，适用于上述的大数据仓库系统，包括：
[0032]步骤A1：采集所述生产数据，当所述生产数据相对于上一时刻的所述生产数据发生变动时，根据所述生产数据生成修改记录；
[0033]步骤A2：将所述修改记录录入存储区块链；
[0034]步骤A3：所述存储区块链根据智能合约向数据仓库推送所述修改记录。
[0035]优选地，所述数据存储方法还包括：
[0036]步骤B1：自所述存储区块链中获取所述修改记录，与上一时刻获取的所述修改记录进行合并以生成一对应于所述生产数据的操作数据；
[0037]步骤B2：对所述操作数据进行处理以生成并输出处理结果；
[0038]步骤B3：根据所述处理结果生成一修改记录，并将所述修改记录返回至所述存储区块链；
[0039]步骤B4：所述存储区块链根据所述智能合约向所述数据仓库推送所述修改记录。
[0040]上述技术方案具有如下优点或有益效果：通过设置存储区块链接收修改记录并向数据仓库中推送数据，避免了现有技术中通过相关工具对变更数据进行捕获、推送导致推送过程稳定性差、故障后无法自动恢复等问题。实现了更好的数据存储稳定性和容错率，降低了维护成本。
附图说明
[0041]参考所附附图，以更加充分的描述本专利技术的实施例。然而，所附附图仅用于说明和阐述，并不构成对本专利技术范围的限制。
[0042]图1为本专利技术实施例的整体示意图；
[0043]图2为本专利技术实施例中的数据存储方法示意图；
[0044]图3为本专利技术另一实施例中数据存储方法示意图。
具体实施方式
[0045]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0046]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0047]下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。
[0048]本专利技术包括：
[0049]一种基于区块链的大数据仓库系统，如图1所示，包括：
[0050]采集端1，采集端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区块链的大数据仓库系统，其特征在于，包括：采集端，所述采集端连接一外部的生产设备，所述采集端获取所述生产设备中的生产数据，并在所述生产数据发生变动时生成修改记录；存储区块链，所述存储区块链连接所述采集端，所述存储区块链接收并存储自所述采集端发出的所述修改记录；至少一个数据仓库，所述数据仓库连接所述存储区块链，所述存储区块链向所述数据仓库发送所述修改记录。2.根据权利要求1所述的大数据仓库系统，其特征在于，还包括一操作数据库，所述操作数据库包括；数据存储子模块，所述数据存储子模块连接所述存储区块链，所述数据存储子模块接收并存储所述存储区块链发送的所述修改记录，用于在所述操作数据库中形成所述生产数据；数据编辑子模块，所述数据编辑子模块连接所述数据存储子模块，所述数据编辑子模块自所述数据存储子模块中获取所述生产数据；所述数据编辑子模块响应一外部输入的编辑指令，根据所述编辑指令对所述生产数据进行处理，以输出一处理结果。3.根据权利要求2所述的大数据仓库系统，其特征在于，所述操作数据库还包括：同步请求子模块，所述同步请求子模块连接所述数据存储子模块、所述数据编辑子模块和所述存储区块链；所述同步请求子模块获取所述处理结果，生成一对应于所述处理结果的修改记录；所述同步请求子模块将所述修改记录发送至所述存储区块链。4.根据权利要求1所述的大数据仓库系统，其特征在于，所述采集端包括：数据采集子模块，所述数据采集子模块连接所述生产设备，所述数据采集子模块自所述生产设备获取所述生产数据；数据比对子模块，所述数据比对子模块连接所述数据采集子模块，所述数据比对子模块中存储有上一时刻的所述生产数据；所述数据比对子模块根据所述上一时刻的所述生产数据判断当前的所述生产数据是否存在变动；记录生成子模块，所述记录生成...

【专利技术属性】
技术研发人员：陈昌杰，陈磊，
申请(专利权)人：中国福利会国际和平妇幼保健院，
类型：发明
国别省市：