一种利用数据预筛选以提高区块链数据处理效率的方法技术

本发明专利技术提供了一种利用数据预筛选以提高区块链数据处理效率的方法，所述方法包括：对数据进行预处理，所述预处理包括：对数据进行分类和裁剪；将预处理后的数据存储在IPFS中，并生成与存储的数据对应的哈希值；将所述对应的哈希值作为用户存储数据的凭证返回给存储数据的用户终端，所述凭证，用于存储数据的用户从IPFS客户端读取所述存储的数据；在以太坊私链中部署智能合约，所述智能合约用于所述以太坊私链中的除所述存储数据的用户之外的其他用户获得从IPFS客户端读取所述存储的数据的权限。本发明专利技术提供的利用数据预筛选以提高区块链数据处理效率的方法，可节约区块链的存储空间和时间，实现数据的交互。实现数据的交互。实现数据的交互。

【技术实现步骤摘要】
一种利用数据预筛选以提高区块链数据处理效率的方法


[0001]本专利技术涉及数据处理领域，特别涉及一种利用数据预筛选以提高区块链数据处理效率的方法。

技术介绍

[0002]随着互联网技术的不断发展，数据的管理和价值挖掘变得愈发复杂和困难。在这样的数据时代下，数据作为一种有价值的资产，应在其所有者的管理权限下使用。
[0003]然而随着数据资产化这一趋势，大量的公司已经着手于收集各种数据，这些数据不再是只由数据的所有者管理，于是数据如何使用以及由谁使用变得不再透明，也无法追溯非法使用数据的行为，给数据所有者带来了极大的隐私泄露风险，数据安全问题面临着极大的挑战。而海量的数据管理也是数据库管理系统的一大痛点。传统的实施数据库管理系统只能支持任务定时限制，不能保障海量数据的完整和一致性。
[0004]特别是医学数据，作为一种隐私数据，几乎都是由各医院的中心服务器来管理数据。这样中心化的存储方式不仅会使数据一直面临着丢失或被泄露的风险，还会形成一个个的数据孤岛，影响数据交互。
[0005]针对这个问题，已有人提出将数据存储在区块链上，通过区块链的加密技术来实现数据之间的交互，但是仍然也存在着区块链存储吞吐量低，不适于存储大量数据的问题。

技术实现思路

[0006]有鉴于上述问题，本专利技术提供利用数据预筛选以提高区块链数据处理效率的方法、装置，旨在解决用户存储数据的安全性和隐私性，以及不便于交互，不便于大量数据存储的问题。
[0007]为了达到上述目的，第一方面，本专利技术提供了一种利用数据预筛选以提高区块链数据处理效率的方法，包括：
[0008]对数据进行预处理，所述预处理包括：对数据进行分类和裁剪；
[0009]将预处理后的数据存储在IPFS中，并生成与存储的数据对应的哈希值；
[0010]将所述对应的哈希值作为用户存储数据的凭证返回给存储数据的用户终端，所述凭证，用于存储数据的用户从IPFS客户端读取所述存储的数据；
[0011]在以太坊私链中部署智能合约，所述智能合约用于所述以太坊私链中的除所述存储数据的用户之外的其它用户获得从IPFS客户端读取所述存储的数据的权限。
[0012]进一步的，对数据进行预处理，包括：
[0013]采用ResNet网络模型，对数据进行分类；
[0014]将分类任务需要的数据划分成一类；
[0015]将分类任务不需要的数据划分成另一类；
[0016]筛选出分类任务需要的数据。
[0017]进一步的，所述智能合约对应一类所述存储的数据的交互；在以太坊私链中部署
智能合约，包括：
[0018]在用户需要存储的数据分为多个类别的情况下，部署多个智能合约对应各个类别数据的交互。
[0019]进一步的，所述智能合约中保存所述对应的哈希值中一部分哈希值的位置；
[0020]所述其他用户直接通过所述智能合约中保存的所述对应的哈希值中一部分哈希值的位置，从所述IPFS客户端读取所述存储的数据的一部分。
[0021]进一步的，所述其他用户在需要获得完整的所述存储的数据的情况下，调用所述智能合约，向所述存储数据的用户发送读取请求；
[0022]所述存储数据的用户进行验证，验证通过后，所述其他用户获得从所述IPFS客户端上读取完整的所述存储的数据的权限，从所述IPFS客户端上进行读取所述存储的数据。
[0023]进一步的，所述其他用户获得从所述IPFS客户端读取完整的所述存储的数据的权限，包括：
[0024]所述其他用户调用所述智能合约将自身的账户资源和公钥发送给所述存储数据的用户，所述存储数据的用户确认信息后，发送用所述其他用户的公钥加密的所述对应的哈希值至所述其他用户；
[0025]所述其他用户收到用自身的公钥加密后的所述对应的哈希值后，用自身的私钥解密，根据解密后获得的所述对应的哈希值从所述IPFS客户端读取所述存储的数据。
[0026]进一步的，将所述存储的数据按比例拆分成第一部分数据、第二部分数据以及剩余的部分数据；第一部分数据，用于直接公开在所述以太坊私链上，以使所有的所述其他用户直接从所述IPFS客户端读取所述第一部分数据；
[0027]第二部分数据，用于某个所述其他用户调用所述智能合约，验证完成后，所述其他用户从所述IPFS客户端读取所述第二部分数据；
[0028]剩余的部分数据，用于在所述其他用户读取所述第二部分数据后，不履行所述智能合约的内容的情况下，将不履行智能合约的内容的所述其他用户标记为“不诚实”，并保留所述剩余的部分数据，以使不履行智能合约的内容的所述其他用户不能获得完整的所述存储的数据。
[0029]进一步的，将所述对应的哈希值加密后存储在所述以太坊私链中；
[0030]在所述其他用户获得从所述IPFS客户端读取所述存储的数据的权限之前，验证所述对应的哈希值是否发生改变；
[0031]在所述对应的哈希值未发生改变的情况下，所述存储的数据未被篡改。
[0032]第二方面，本专利技术还提供一种利用数据预筛选以提高区块链数据处理效率的装置，所述装置包括：
[0033]预处理模块，用于对数据进行预处理，所述预处理包括：对数据进行分类和裁剪；
[0034]数据存储模块，用于将预处理后得到的数据存储在IPFS中；并生成与存储的数据对应的哈希值；
[0035]发送模块，将所述对应的哈希值作为用户存储数据的凭证返回给存储数据的用户终端；所述凭证，用于存储数据的用户从IPFS客户端读取所述存储的数据；
[0036]权限获取模块，用于在以太坊私链中部署智能合约，所述以太坊私链中的除所述存储数据的用户之外的其它用户通过所述智能合约，获取从IPFS客户端读取所述存储的数
据的权限。
[0037]本专利技术提供了一种利用数据预筛选以提高区块链数据处理效率的方法，通过对数据进行预处理，包括，对数据进行分类和裁剪，将预处理后的数据存储在IPFS中，并生成与存储的数据对应的哈希值，将所述对应的哈希值作为用户存储数据的凭证返回给用户，以便于有此哈希值的用户读取数据；在以太坊私链中部署智能合约，所述智能合约中保存所述对应的哈希值部分的位置，用户根据所述对应的哈希值，到IPFS上读取所述存储的数据。首先通过预处理从源头上减少冗余数据的存储，减轻了数据存储的负担，也便于后续的其它任务应用该数据；再通过结合IPFS和以太坊私链存储数据，成本低廉，数据的存储空间大，存储需要耗费的时间短；同时方便了数据的交互，数据安全和隐私性得到了保障。
附图说明
[0038]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本专利技术一个实施例中利用数据预筛选以提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用数据预筛选以提高区块链数据处理效率的方法，其特征在于，所述方法包括：对数据进行预处理，所述预处理包括：对数据进行分类和裁剪；将预处理后的数据存储在IPFS中，并生成与存储的数据对应的哈希值；将所述对应的哈希值作为用户存储数据的凭证返回给存储数据的用户终端，所述凭证，用于存储数据的用户从IPFS客户端读取所述存储的数据；在以太坊私链中部署智能合约，所述智能合约用于所述以太坊私链中的除所述存储数据的用户之外的其他用户获得从IPFS客户端读取所述存储的数据的权限。2.根据权利要求1所述的方法，其特征在于，对数据进行预处理，包括：采用ResNet网络模型，对数据进行分类；将分类任务需要的数据划分成一类；将分类任务不需要的数据划分成另一类；筛选出分类任务需要的数据。3.根据权利要求1所述的方法，其特征在于，所述智能合约对应一类所述存储的数据的交互；在以太坊私链中部署智能合约，包括：在用户需要存储的数据分为多个类别的情况下，部署多个智能合约对应各个类别数据的交互。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述智能合约中保存所述对应的哈希值中一部分哈希值的位置；所述其他用户直接通过所述智能合约中保存的所述对应的哈希值中一部分哈希值的位置，从所述IPFS客户端读取所述存储的数据的一部分。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：所述其他用户在需要获得完整的所述存储的数据的情况下，调用所述智能合约，向所述存储数据的用户发送读取请求；所述存储数据的用户进行验证，验证通过后，所述其他用户获得从所述IPFS客户端上读取完整的所述存储的数据的权限，从所述IPFS客户端上进行读取所述存储的数据。6.根据权利要求5所述的方法，其特征在于，所述其他用户获得从所述IPFS客户端读取完整的所述存储的数据的权限，包括：所述其他用户调用所述智能合约将自身的账户资源和公钥发送给所述存储数据的用户，所述存储数据的用户确认信息后...

【专利技术属性】
技术研发人员：吴锡，彭静，廖春梅，罗阳，苏红，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：