一种基于区块链的大数据处理系统、方法、介质及终端技术方案

本发明专利技术提供一种基于区块链的大数据处理系统、方法、介质及终端，系统包括：数据采集模块，用于进行数据采集；数据分类模块，包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型；信息认证模块，用于对所述防篡改数据的资质信息进行认证；区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储；本发明专利技术基于自然语言处理技术和区块链，可以将复合数据根据数据类型进行一次分类，再根据数据内容进行二次分类，获取防篡改数据和普通数据，进而针对防篡改数据进行相应的数据处理，在区块链的节点中存储，为解决大数据背景下的数据安全问题，提供了基础。

【技术实现步骤摘要】
一种基于区块链的大数据处理系统、方法、介质及终端
本专利技术涉及大数据处理、计算机应用领域，尤其涉及一种基于区块链的大数据处理系统、方法、介质及终端。
技术介绍
近年来随着大数据技术的不断发展，为各行各业的企业和用户都带来了巨大的便利，但随着数据更集中、更易得，也带来了数据泄露的风险，一旦这些信息被泄露将会带来伦理、法律、国家安全等诸多问题。目前，常规的大数据的存储一般是采用集中部署的方式，通过数据加密技术在不同机构之间进行交换、共享，但是随着数据互联互通的日益频繁，现有的方式，已经无法保证所有的机构都可以解决数据安全问题，因此，如何加强大数据背景下的数据保护已经成为亟待解决的问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术提供一种基于区块链的大数据处理系统、方法、介质及终端，以解决上述技术问题。本专利技术提供的基于区块链的大数据处理系统，包括：数据采集模块，用于进行数据采集；数据分类模块，包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型，所述第一分类本文档来自技高网...

【技术保护点】
1.一种基于区块链的大数据处理系统，其特征在于，包括：/n数据采集模块，用于进行数据采集；/n数据分类模块，包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型，所述第一分类模型的输出端与第二分类模型的输入端连接，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据；/n信息认证模块，用于对所述防篡改数据的资质信息进行认证；/n区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。/n

【技术特征摘要】
1.一种基于区块链的大数据处理系统，其特征在于，包括：
数据采集模块，用于进行数据采集；
数据分类模块，包括用于根据数据类型进行分类的第一分类模型和根据数据内容进行分类的第二分类模型，所述第一分类模型的输出端与第二分类模型的输入端连接，所述第二分类模型根据所述第一分类模型的数据分类结果，进行二次分类，获取二次分类结果，所述二次分类结果包括防篡改数据和普通数据；
信息认证模块，用于对所述防篡改数据的资质信息进行认证；
区块链模块，用于对通过认证的所述防篡改数据进行数据处理，并将处理后的防篡改数据在区块链的节点中存储。


2.根据权利要求1所述的基于区块链的大数据处理系统，其特征在于，还包括数据处理模块，所述数据类型包括音频数据和文本数据，所述数据处理模块包括用于将所述音频数据和文本数据进行数据分离的分离单元、用于将所述音频数据转换为文本数据的转换单元，以及用于对文本数据进行关键词提取的提取单元。


3.根据权利要求2所述的基于区块链的大数据处理系统，其特征在于，分别对所述第一分类模型和第二分类模型进行训练，所述训练包括获取文本数据中目标内容对应的目标特征向量，并输入至所述第一分类模型，获取若干类别向量，根据所述类别向量的权重，获取第一分类模型对应的一次分类结果和一次分类结果的特征信息，并将所述一次分类结果的特征信息以及目标特征向量输入到第二分类模型中，获取二次分类结果。


4.根据权利要求3所述的基于区块链的大数据处理系统，其特征在于，对所述文本数据进行分词处理，并对每个分词进行特征编码，获取分词向量；获取每个分词对应的内容向量、位置向量和数据类型向量，并通过特征提取，获取特征矩阵；通过对所述分词向量和特征矩阵进行向量拼接，获取每个分词对应的特征矩阵，通过所述每个分词对应的特征矩阵进行特征提取，获取所述目标特征向量。


5.根据权利要求3所述的基于区块链的大数据处理系统，其特征在于，所述信息认证模块包括用于通过固定数字证书进行认证的第一认证模块和用于通过动...

【专利技术属性】
技术研发人员：姚娟娟，钟南山，樊代明，
申请(专利权)人：明品云北京数据科技有限公司，
类型：发明
国别省市：北京;11