一种基于区块链的大数据处理系统、方法、介质及终端技术方案

本发明专利技术提供一种基于区块链的大数据处理系统、方法、介质及终端，系统包括：数据采集模块，用于进行数据采集；数据分类模块，包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型；信息认证模块，用于对所述防篡改数据的资质信息进行认证；区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储；本发明专利技术基于自然语言处理技术和区块链，可以将复合数据根据数据类型进行一次分类，再根据数据内容进行二次分类，获取防篡改数据和普通数据，进而针对防篡改数据进行相应的数据处理，在区块链的节点中存储，为解决大数据背景下的数据安全问题，提供了基础。

【技术实现步骤摘要】
一种基于区块链的大数据处理系统、方法、介质及终端
本专利技术涉及大数据处理、计算机应用领域，尤其涉及一种基于区块链的大数据处理系统、方法、介质及终端。
技术介绍
近年来随着大数据技术的不断发展，为各行各业的企业和用户都带来了巨大的便利，但随着数据更集中、更易得，也带来了数据泄露的风险，一旦这些信息被泄露将会带来伦理、法律、国家安全等诸多问题。目前，常规的大数据的存储一般是采用集中部署的方式，通过数据加密技术在不同机构之间进行交换、共享，但是随着数据互联互通的日益频繁，现有的方式，已经无法保证所有的机构都可以解决数据安全问题，因此，如何加强大数据背景下的数据保护已经成为亟待解决的问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术提供一种基于区块链的大数据处理系统、方法、介质及终端，以解决上述技术问题。本专利技术提供的基于区块链的大数据处理系统，包括：数据采集模块，用于进行数据采集；数据分类模块，包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型，所述第一分类模型的输出端与第二分类模型的输入端连接，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据；信息认证模块，用于对所述防篡改数据的资质信息进行认证；区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。与本专利技术的一实施例中，所述数据类型包括音频数据和文本数据，还包括数据处理模块，所述数据处理模块包括用于将所述音频数据和文本数据进行数据分离的分离单元、用于将所述音频数据转换为文本数据的转换单元，以及用于对文本数据进行关键词提取的提取单元。与本专利技术的一实施例中，分别对所述第一分类模型和第二分类模型进行训练，所述训练包括获取目标内容对应的目标特征向量，并输入至所述第一分类模型，获取若干类别向量，根据所述类别向量的权重，获取第一分类模型对应的一次分类结果和一次分类结果的特征信息，并将所述一次分类结果的特征信息以及目标特征向量输入到第二分类模型中，获取二次分类结果。与本专利技术的一实施例中，对所述文本数据进行分词处理，并对每个分词进行特征编码，获取分词向量；获取每个分词对应的内容向量、位置向量、数据类型向量，并通过特征提取，获取特征矩阵；通过对所述分词向量和特征矩阵进行向量拼接，获取每个分词对应的特征矩阵，通过所述每个分词对应的特征矩阵进行特征提取，获取所述目标特征向量。与本专利技术的一实施例中，所述信息认证模块包括用于通过固定数字证书进行认证的第一认证模块和用于通过动态数字证书对资质信息进行认证的第二认证模块，所述信息认证模块通过智能合约进行有效性验证，将验证有效的防篡改数据写入区块链并同步所有节点。与本专利技术的一实施例中，还包括加密模块，用于对所述防篡改数据进行数据加密。本专利技术还提供一种基于区块链的大数据处理方法，包括：进行数据采集；通过预先建立的数据分类模块对采集的数据进行数据分类，所述数据分类模块包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据；对所述防篡改数据的资质信息进行认证；对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。与本专利技术的一实施例中，创建用于加密的第一密钥，所述第一密钥包括第一密钥的公钥和第一密钥的私钥；通过所述第一密钥的公钥对所述防篡改数据进行加密，形成第一加密内容；获取需要授权对象的公钥，通过所述授权对象的公钥对第一密钥的私钥进行加密，形成第二加密内容；将所述第一加密内容和第二加密内容合并，形成用于针对不同授权对象进行授权的数据；通过已授权对象获取所述针对不同授权对象进行授权的数据，并利用已授权对象的私钥对所述针对不同授权对象进行授权的数据进行解密，获取所述第一密钥的私钥；通过所述第一密钥的私钥，获取所述防篡改数据。本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述方法。本专利技术还提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。本专利技术的有益效果：本专利技术中的基于区块链的大数据处理系统、方法、介质及终端，基于自然语言处理技术和区块链，可以将复合数据根据数据类型进行一次分类，再根据数据内容进行二次分类，获取防篡改数据和普通数据，进而针对防篡改数据进行相应的数据处理，在区块链的节点中存储，为解决大数据背景下的数据安全问题，提供了基础。附图说明图1是本专利技术实施例中基于区块链的大数据处理系统的结构示意图。图2是本专利技术实施例中基于区块链的大数据处理方法的流程示意图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。在下文描述中，探讨了大量细节，以提供对本专利技术实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本专利技术的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本专利技术的实施例难以理解。如图1所示，本实施例中的基于区块链的大数据处理系统，包括：数据采集模块，用于进行数据采集；数据分类模块，包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型，所述第一分类模型的输出端与第二分类模型的输入端连接，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据；信息认证模块，用于对所述防篡改数据的资质信息进行认证；区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。在本实施例中，基于区块链的大数据处理系统可以搭在在大数据服务器上，可以将复合数据根据数据类型进行一次分类，再根据数据内容进行二次分类，获取防篡改数据和普通数据，进而针对防篡改数据进本文档来自技高网...

【技术保护点】
1.一种基于区块链的大数据处理系统，其特征在于，包括：/n数据采集模块，用于进行数据采集；/n数据分类模块，包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型，所述第一分类模型的输出端与第二分类模型的输入端连接，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据；/n信息认证模块，用于对所述防篡改数据的资质信息进行认证；/n区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。/n

【技术特征摘要】
1.一种基于区块链的大数据处理系统，其特征在于，包括：
数据采集模块，用于进行数据采集；
数据分类模块，包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型，所述第一分类模型的输出端与第二分类模型的输入端连接，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据；
信息认证模块，用于对所述防篡改数据的资质信息进行认证；
区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。


2.根据权利要求1所述的基于区块链的大数据处理系统，其特征在于，还包括数据处理模块，所述数据类型包括音频数据和文本数据，所述数据处理模块包括用于将所述音频数据和文本数据进行数据分离的分离单元、用于将所述音频数据转换为文本数据的转换单元，以及用于对文本数据进行关键词提取的提取单元。


3.根据权利要求2所述的基于区块链的大数据处理系统，其特征在于，分别对所述第一分类模型和第二分类模型进行训练，所述训练包括获取文本数据中目标内容对应的目标特征向量，并输入至所述第一分类模型，获取若干类别向量，根据所述类别向量的权重，获取第一分类模型对应的一次分类结果和一次分类结果的特征信息，并将所述一次分类结果的特征信息以及目标特征向量输入到第二分类模型中，获取二次分类结果。


4.根据权利要求3所述的基于区块链的大数据处理系统，其特征在于，对所述文本数据进行分词处理，并对每个分词进行特征编码，获取分词向量；获取每个分词对应的内容向量、位置向量和数据类型向量，并通过特征提取，获取特征矩阵；通过对所述分词向量和特征矩阵进行向量拼接，获取每个分词对应的特征矩阵，通过所述每个分词对应的特征矩阵进行特征提取，获取所述目标特征向量。


5.根据权利要求3所述的基于区块链的大数据处理系统，其特征在于，所述信息认证模块包括用于通过固定数字证书进行认证的第一认证模块和用于通过动...

【专利技术属性】
技术研发人员：姚娟娟，钟南山，樊代明，
申请(专利权)人：明品云北京数据科技有限公司，
类型：发明
国别省市：北京;11