一种大数据存储系统及方法技术方案

本发明专利技术提供一种大数据存储系统及方法，属于数据存储领域。该大数据存储系统包括：数据传输接口、开关控制模块、智能控制模块、数据校验模块和数据结构扩展模块；数据传输接口，用于与外部系统对接，获取外部系统传输的数据；开关控制模块，用于设置开关控制规则；智能控制模块，用于控制数据校验模块对数据进行校验；数据结构扩展模块，用于在开关控制规则包括不需要严格按照数据存储结构对数据进行校验和自动扩展数据存储结构、且数据校验模块判断出数据的数据项超出了当前的数据存储结构的数据项范围的情况下，增加当前的数据存储结构的数据项。本发明专利技术能够智能实现数据存储结构扩展，效率高，不易出错，对存储业务的影响小。对存储业务的影响小。对存储业务的影响小。

【技术实现步骤摘要】
一种大数据存储系统及方法


[0001]本专利技术涉及数据存储领域，具体涉及一种大数据存储系统及方法。

技术介绍

[0002]随着业务的发展，存储的数据越来越多，时常出现需要对已有的数据存储结构增加新的存储数据项，出现该种情况时，就需要修改数据存储结构，并对已存储的数据进行刷新，往往需要暂停存储业务由相应的研发人员人工处理。但人工修改难免会发生失误，发生失误往往会延长修改工作的时间，影响正常业务的开展。

技术实现思路

[0003]因此，本专利技术实施例要解决的技术问题在于克服现有技术中在需要对已有的数据存储结构增加信息的存储数据项时需要暂停存储业务由人工处理、且人工处理容易出现失误导致处理时间变长影响存储业务的缺陷，从而提供一种大数据存储系统及方法。
[0004]为此，本专利技术实施例提供一种大数据存储系统，包括数据存储节点，所述数据存储节点包括：数据传输接口、开关控制模块、智能控制模块、数据校验模块和数据结构扩展模块；
[0005]所述数据传输接口，用于与外部系统对接，获取所述外部系统传输的数据；
[0006]所述开关控制模块，用于设置开关控制规则，所述开关控制规则包括是否需要严格按照数据存储结构对所述数据进行校验以及是否自动扩展数据存储结构；
[0007]所述智能控制模块，用于控制所述数据校验模块对所述数据进行校验；
[0008]所述数据结构扩展模块，用于在所述开关控制规则包括不需要严格按照数据存储结构对所述数据进行校验和自动扩展数据存储结构、且所述数据校验模块判断出所述数据的数据项超出了当前的数据存储结构的数据项范围的情况下，增加当前的所述数据存储结构的数据项。
[0009]可选的，所述系统还包括：用于存储数据的数据存储模块；
[0010]所述智能控制模块还用于控制所述数据存储模块，根据增加数据项后的所述数据存储结构调整历史存储数据的存储结构。
[0011]可选的，所述智能控制模块，还用于在所述数据存储模块中的历史存储数据已按照增加数据项后的所述数据存储结构调整完成之后，将所述数据写入所述数据存储模块；和/或，
[0012]所述智能控制模块，还用于在所述开关控制规则包括需要严格按照数据存储结构对所述数据进行校验、且所述数据校验模块判断出所述数据的数据结构与当前的所述数据存储结构不一致的情况下，输出反馈信息，所述反馈信息用于指示所述数据的数据结构与当前的所述数据存储结构之间的差异信息；和/或，
[0013]所述智能控制模块，还用于在所述开关控制规则包括需要严格按照数据存储结构对所述数据进行校验、且所述数据校验模块判断出所述数据的数据结构与当前的所述数据
存储结构一致的情况下，将所述数据写入所述数据存储模块。
[0014]可选的，所述智能控制模块，还用于在所述开关控制规则包括不需要严格按照数据存储结构对所述数据进行校验、且所述数据校验模块判断出所述数据缺少当前的所述数据存储结构的数据项的情况下，为所述数据补充缺少的数据项及其对应的数据信息，并将补充后的所述数据写入用于存储数据的数据存储模块。
[0015]可选的，所述数据存储节点至少为两个，至少两个所述数据存储节点中的第一数据存储节点的智能控制模块，还用于在所述第一数据存储节点的数据结构扩展模块增加当前的所述数据存储结构的数据项的情况下，向第二数据存储节点发送通知信息，所述通知信息用于指示所述第二数据存储节点需要增加的数据项，所述第二数据存储节点为至少两个所述数据存储节点中除所述第一数据存储节点以外的其他数据存储节点；
[0016]至少两个所述数据存储节点作为区块链节点形成区块链网络，各所述数据存储节点上存储的数据能够互相同步。
[0017]另外，本专利技术实施例还提供一种大数据存储方法，应用于上述任一种大数据存储系统，所述方法包括以下步骤：
[0018]数据传输接口获取外部系统传输的数据；
[0019]智能控制模块控制数据校验模块根据开关控制模块设置的开关控制规则对所述数据进行校验，所述开关控制规则包括是否需要严格按照数据存储结构对所述数据进行校验以及是否自动扩展数据存储结构；
[0020]所述数据结构扩展模块在所述开关控制规则包括不需要严格按照数据存储结构对所述数据进行校验和自动扩展数据存储结构、且所述数据校验模块判断出所述数据的数据项超出了当前的数据存储结构的数据项范围的情况下，增加当前的所述数据存储结构的数据项。
[0021]可选的，所述大数据存储系统包括用于存储数据的数据存储模块；所述方法还包括：
[0022]所述智能控制模块控制控制所述数据存储模块，根据增加数据项后的所述数据存储结构调整历史存储数据的存储结构。
[0023]可选的，所述方法还包括：
[0024]所述智能控制模块在所述数据存储模块中的历史存储数据已按照增加数据项后的所述数据存储结构调整完成之后，将所述数据写入所述数据存储模块；和/或，
[0025]所述智能控制模块在所述开关控制规则包括需要严格按照数据存储结构对所述数据进行校验、且所述数据校验模块判断出所述数据的数据结构与当前的所述数据存储结构不一致的情况下，输出反馈信息，所述反馈信息用于指示所述数据的数据结构与当前的所述数据存储结构之间的差异信息；和/或，
[0026]所述智能控制模块在所述开关控制规则包括需要严格按照数据存储结构对所述数据进行校验、且所述数据校验模块判断出所述数据的数据结构与当前的所述数据存储结构一致的情况下，将所述数据写入所述数据存储模块。
[0027]可选的，所述方法还包括：
[0028]所述智能控制模块，还用于在所述开关控制规则包括不需要严格按照数据存储结构对所述数据进行校验、且所述数据校验模块判断出所述数据缺少当前的所述数据存储结
构的数据项的情况下，为所述数据补充缺少的数据项及其对应的数据信息，并将补充后的所述数据写入用于存储数据的数据存储模块。
[0029]可选的，所述大数据存储系统中的数据存储节点至少为两个，至少两个所述数据存储节点作为区块链节点形成区块链网络，各所述数据存储节点上存储的数据能够互相同步；
[0030]所述方法还包括：至少两个所述数据存储节点中的第一数据存储节点的智能控制模块，在所述第一数据存储节点的数据结构扩展模块增加当前的所述数据存储结构的数据项的情况下，向第二数据存储节点发送通知信息，所述通知信息用于指示所述第二数据存储节点需要增加的数据项，所述第二数据存储节点为至少两个所述数据存储节点中除所述第一数据存储节点以外的其他数据存储节点。
[0031]本专利技术实施例的技术方案，具有如下优点：
[0032]1.本专利技术实施例中，在需要扩展数据存储结构时，不再需要由人工进行处理，而是由系统智能实现，降低了人力成本，还降低了人工失误带来的影响，减少了系统不可用时长，降低了数据存储系统维护成本。
[0033]2.本专利技术实施例中，还可自动为外部系统传入的数据补充缺少的数据项及其对应的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据存储系统，其特征在于，包括数据存储节点，所述数据存储节点包括：数据传输接口、开关控制模块、智能控制模块、数据校验模块和数据结构扩展模块；所述数据传输接口，用于与外部系统对接，获取所述外部系统传输的数据；所述开关控制模块，用于设置开关控制规则，所述开关控制规则包括是否需要严格按照数据存储结构对所述数据进行校验以及是否自动扩展数据存储结构；所述智能控制模块，用于控制所述数据校验模块对所述数据进行校验；所述数据结构扩展模块，用于在所述开关控制规则包括不需要严格按照数据存储结构对所述数据进行校验和自动扩展数据存储结构、且所述数据校验模块判断出所述数据的数据项超出了当前的数据存储结构的数据项范围的情况下，增加当前的所述数据存储结构的数据项。2.根据权利要求1所述的系统，其特征在于，还包括：用于存储数据的数据存储模块；所述智能控制模块还用于控制所述数据存储模块，根据增加数据项后的所述数据存储结构调整历史存储数据的存储结构。3.根据权利要求2所述的系统，其特征在于，所述智能控制模块，还用于在所述数据存储模块中的历史存储数据已按照增加数据项后的所述数据存储结构调整完成之后，将所述数据写入所述数据存储模块；和/或，所述智能控制模块，还用于在所述开关控制规则包括需要严格按照数据存储结构对所述数据进行校验、且所述数据校验模块判断出所述数据的数据结构与当前的所述数据存储结构不一致的情况下，输出反馈信息，所述反馈信息用于指示所述数据的数据结构与当前的所述数据存储结构之间的差异信息；和/或，所述智能控制模块，还用于在所述开关控制规则包括需要严格按照数据存储结构对所述数据进行校验、且所述数据校验模块判断出所述数据的数据结构与当前的所述数据存储结构一致的情况下，将所述数据写入所述数据存储模块。4.根据权利要求1所述的系统，其特征在于，所述智能控制模块，还用于在所述开关控制规则包括不需要严格按照数据存储结构对所述数据进行校验、且所述数据校验模块判断出所述数据缺少当前的所述数据存储结构的数据项的情况下，为所述数据补充缺少的数据项及其对应的数据信息，并将补充后的所述数据写入用于存储数据的数据存储模块。5.根据权利要求1所述的系统，其特征在于，所述数据存储节点至少为两个，至少两个所述数据存储节点中的第一数据存储节点的智能控制模块，还用于在所述第一数据存储节点的数据结构扩展模块增加当前的所述数据存储结构的数据项的情况下，向第二数据存储节点发送通知信息，所述通知信息用于指示所述第二数据存储节点需要增加的数据项，所述第二数据存储节点为至少两个所述数据存储节点中除所述第一数据存储节点以外的其他数据存储节点；至少两个所述数据存储节点作为区块链节点形成区块链网络，各所述数据存储节点上存储的数据能够互相同步。6....

【专利技术属性】
技术研发人员：边同昭，廖旻可，李玉敏，方红波，
申请(专利权)人：特斯联科技集团有限公司，
类型：发明
国别省市：