【技术实现步骤摘要】
本申请涉及数据安全领域，尤其涉及一种区块链大数据安全的数据抓取方法和服务器。
技术介绍
1、随着互联网的普及和大数据技术的发展，越来越多的数据被存储在各种云平台和数据中心中。然而，这些数据存储系统存在着严重的安全隐患，容易受到黑客攻击、数据泄露等威胁。传统的大数据存储方式通常采用集中式架构，即所有的数据都存储在一个中心化的服务器上。一旦中心化的服务器出现故障或被攻击，整个系统将无法正常运行，导致数据的丢失和不可用性。
2、为了解决数据安全问题，区块链技术应运而生。区块链的基本原理是将数据打包成一个个“区块”，并将这些区块按照时间顺序连接起来，形成一个不断增长的链条。每个区块都包含了一定数量的交易信息，并通过密码学算法进行加密，确保数据的安全性。
3、然而，由于区块链还具有分布式的特点，即数据分布在多个节点上，在进行数据抓取活动时，难以快速从区块链中抓取所需的数据，从而降低了数据抓取的效率和可靠性。
技术实现思路
1、本申请提供了一种区块链大数据安全的数据抓取方法和服务器，用于提高数据抓取效率和可靠性。
2、第一方面，本申请提供了一种区块链大数据安全的数据抓取方法，方法包括：获取待抓取数据的属性字段；通过预设的哈希函数将属性字段转换为请求哈希值，得到查询请求，请求哈希值为查询请求的标识，查询请求用于查询区块链的各个节点是否具有待抓取数据；将查询请求发送至区块链中的各个节点；接收目标节点发出的查询回复，查询回复用于表示在区块链中目标节点存在与请求哈希
3、在上述实施例中，通过获得待抓取数据的属性字段，并使用预设的哈希函数将属性字段转换为请求哈希值，得到查询请求。然后，询问区块链中的各个节点是否具有待抓取数据，如果目标节点存在与请求哈希值相匹配的数据，那么确定服务器向目标节点发送数据抓取请求。避免服务器向区块链进行数据抓取时，区块链中存在某些节点不具有服务器所要抓取的待抓取数据，减少不必要的数据交互，也通过确定目标节点存在待抓取数据时，发送数据抓取请求，提高了数据抓取的效率和可靠性。
4、结合第一方面的一些实施例，在一些实施例中，通过预设的哈希函数将属性字段转换为请求哈希值，得到查询请求，具体包括：将属性字段进行规范化操作，得到规范化属性字段，规范化操作包括将属性字段按照设定格式进行格式化、删除冗余信息和统一属性字段中的数值精度；通过预设的哈希函数对规范化属性字段进行哈希计算，将规范化属性字段转换为请求哈希值，得到查询请求。
5、在上述实施例中，首先，对属性字段进行规范化操作，然后，通过预设的哈希函数对规范化属性字段进行哈希计算，得到请求哈希值作为查询请求的标识。这种规范化操作和哈希计算的过程能够确保数据的一致性和完整性，提高查询请求的准确性。
6、结合第一方面的一些实施例，在一些实施例中，在响应于查询回复，向目标节点发送数据抓取请求的步骤之后，方法还包括：获得目标节点对服务器的数据抓取授权，数据抓取授权通过数字签名生成；使用验证算法确定数字签名验证是否通过；当数字签名验证通过时，确定数据抓取授权合法；确定是否具有数据抓取授权中指定的权限级别；若是，则进行数据抓取操作，得到待抓取数据。
7、在上述实施例中，在获得目标节点对服务器的数据抓取授权后，使用验证算法对数据抓取授权进行验证，当数字签名验证通过时，确定数据抓取授权是合法的，从而保证了数据抓取授权的真实性和合法性，避免了未经授权的数据抓取。在确定数据抓取授权的合法性后，验证是否具有数据抓取授权中指定的权限级别，用于确保只有具备足够权限才能进行数据抓取操作，保证了数据抓取的安全性。
8、结合第一方面的一些实施例，在一些实施例中，在若是，则进行数据抓取操作，得到待抓取数据的步骤之前，方法还包括：在确定服务器具有数据抓取授权中指定的权限级别的情况下，接入目标节点，进行数据抓取活动；获取数据抓取活动的抓取流量；在抓取流量超过预设流量阈值时，减少数据抓取活动的频率。
9、在上述实施例中，通过服务器接入目标节点进行数据抓取活动，提高了数据抓取的效率和速度。获取数据抓取活动的抓取流量，即数据抓取的数据传输量，通过监测抓取流量，评估数据抓取的负载情况。当抓取流量超过预设流量阈值时，意味着数据抓取活动的负载较高，减少数据抓取活动的频率以控制负载，避免对网络带宽造成过大压力，保持系统的稳定性和可用性。通过对抓取流量控制，可以提高数据抓取的效率和性能，并确保系统的稳定性。
10、结合第一方面的一些实施例，在一些实施例中，在当数字签名验证通过时，确定数据抓取授权合法的步骤之后，方法还包括：将数据抓取活动输入到异常行为识别模型中，得到异常行为检测结果；在确定异常行为检测结果为存在异常行为的情况下，停止与目标节点进行数据交互。
11、在上述实施例中，通过异常行为识别模型监测数据抓取活动中的异常行为，并在确定存在异常行为时停止与目标节点进行数据交互，以提高数据抓取过程的安全性和稳定性，并且及时发现和应对异常情况，防止非法数据访问和数据泄露，保护数据的完整性和安全性。
12、结合第一方面的一些实施例，在一些实施例中，查询回复包括待抓取数据的数据量，数据量是由目标节点按照预设规则将数据划分成不同的数据块，再通过预设的哈希函数将数据块字段转换为回复哈希值得到的，当存在回复哈希值与请求哈希值匹配时，目标节点确定存在与请求哈希值相匹配的数据。
13、在上述实施例中，查询回复中包含待抓取数据的数据量，并且数据量是由目标节点按照预设规则划分成不同的数据块，然后通过预设的哈希函数将数据块字段转换为回复哈希值。当存在回复哈希值与请求哈希值匹配时，目标节点确定存在与请求哈希值相匹配的数据。通过哈希值匹配，可以确保待抓取数据与目标节点中具有的数据相匹配，提高了数据的准确性。通过数据块划分和哈希值匹配，可以快速定位到所需的数据，减少了数据查找的时间和计算成本。
14、结合第一方面的一些实施例，在一些实施例中，数据抓取请求包括服务器要抓取的待抓取数据的数据量需求，在确定服务器具有数据抓取授权中指定的权限级别的情况下，接入目标节点，进行数据抓取活动的步骤之后，方法还包括：获取从目标节点发出的打包数据，打包数据为在确定服务器抓取的待抓取数据的数据量需求大于预设阈值时，目标节点打包待抓取数据所得到的。
15、在上述实施例中，通过在确定服务器抓取的待抓取数据的数据量需求大于预设阈值时，目标节点打包待抓取数据的方式，可以有效地减少数据传输量和处理量，提高数据抓取的效率。由于数据是打包传输的，因此可以有效地减少网络传输的数据量，从而节省网络资源，提高网络利用率。并且，在数据传输过程中，打包数据可以更好地保护数据的隐私和安全，减少数据泄露和攻击的可能性。
16、第二方面，本申请实施例提供了一种服务器，该服务器包括：
17、获取模块，用于获取待抓取数据的属性字段本文档来自技高网...
【技术保护点】
1.一种区块链大数据安全的数据抓取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过预设的哈希函数将所述属性字段转换为请求哈希值，得到查询请求，具体包括：
3.根据权利要求1所述的方法，其特征在于，在所述响应于所述查询回复，向所述目标节点发送数据抓取请求的步骤之后，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，在所述若是，则进行数据抓取操作，得到所述待抓取数据的步骤之前，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，在所述当所述数字签名验证通过时，确定所述数据抓取授权合法的步骤之后，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述查询回复包括待抓取数据的数据量，所述数据量是由所述目标节点按照预设规则将数据划分成不同的数据块，再通过预设的哈希函数将所述数据块字段转换为回复哈希值得到的，当存在所述回复哈希值与所述请求哈希值匹配时，所述目标节点确定存在与所述请求哈希值相匹配的数据。
7.根据权利要求4所述的方法，其特征在于，所述数据抓取请
8.一种服务器，其特征在于，包括：
9.一种服务器，其特征在于，包括：一个或多个处理器和存储器；
10.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在服务器上运行时，使得所述服务器执行如权利要求1-7中任一项所述的方法。
...【技术特征摘要】
1.一种区块链大数据安全的数据抓取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过预设的哈希函数将所述属性字段转换为请求哈希值，得到查询请求，具体包括：
3.根据权利要求1所述的方法，其特征在于，在所述响应于所述查询回复，向所述目标节点发送数据抓取请求的步骤之后，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，在所述若是，则进行数据抓取操作，得到所述待抓取数据的步骤之前，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，在所述当所述数字签名验证通过时，确定所述数据抓取授权合法的步骤之后，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述查询回复包括待抓取数据的数据量，所述数据量是由所...
【专利技术属性】
技术研发人员：袁礼，杨云雷，窦以胜，
申请(专利权)人：北京昊网科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。