大数据搜索方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于大数据领域，涉及一种大数据搜索方法、装置、计算机设备及存储介质，方法包括：通过客户端获取数据搜索指令；将所述数据搜索指令传输到大数据处理服务器进行解析，得到解析结果；所述大数据处理服务器基于所述解析结果，从分布式存储服务器上获取待搜索数据，并返回到所述客户端；所述分布式存储服务器包括多个存储节点，所述分布式存储服务器的各个存储节点通过区块链进行连接和通信，包括：存储节点通过网络发现加入存储区块链，并获得在存储区块链中的身份信息；存储节点向存储区块链中的所有节点广播自己的身份信息；各个存储节点根据身份信息进行点对点数据交换。可以提高大数据搜索的速度。

【技术实现步骤摘要】
大数据搜索方法、装置、计算机设备及存储介质
本申请涉及大数据
，尤其涉及大数据搜索方法、装置、计算机设备及存储介质。
技术介绍
随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为，大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术以有效地处理大量的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。但是，现有的技术方案受带宽、容量以及安全的影响存在容易出现大数据搜索单点故障、搜索速度较慢等缺点。
技术实现思路
本申请实施例的目的在于提出一种大数据搜索方法、装置、计算机设备及存储介质，以提高大数据搜索的速度。为了解决上述技术问题，本申请实施例提供一种大本文档来自技高网...

【技术保护点】
1.一种大数据搜索方法，其特征在于，包括：/n通过客户端获取数据搜索指令；/n将所述数据搜索指令传输到大数据处理服务器进行解析，得到解析结果；/n所述大数据处理服务器基于所述解析结果，从分布式存储服务器上获取待搜索数据，并返回到所述客户端，所述分布式存储服务器包括多个存储节点；/n所述分布式存储服务器的各个存储节点通过区块链进行连接和通信，包括：/n存储节点通过网络发现加入存储区块链，并获得在存储区块链中的身份信息；/n存储节点向存储区块链中的所有节点广播自己的身份信息；/n各个存储节点根据身份信息进行点对点数据交换。/n

【技术特征摘要】
1.一种大数据搜索方法，其特征在于，包括：
通过客户端获取数据搜索指令；
将所述数据搜索指令传输到大数据处理服务器进行解析，得到解析结果；
所述大数据处理服务器基于所述解析结果，从分布式存储服务器上获取待搜索数据，并返回到所述客户端，所述分布式存储服务器包括多个存储节点；
所述分布式存储服务器的各个存储节点通过区块链进行连接和通信，包括：
存储节点通过网络发现加入存储区块链，并获得在存储区块链中的身份信息；
存储节点向存储区块链中的所有节点广播自己的身份信息；
各个存储节点根据身份信息进行点对点数据交换。


2.如权利要求1所述的方法，其特征在于，所述客户端包括WEB网页客户端，所述数据搜索指令包括待搜索数据特征信息和页面数据。


3.如权利要求2所述的方法，其特征在于，所述方法还包括数据存储过程，所述数据存储过程具体包括：
通过所述WEB网页客户端获取待存储数据；
将所述WEB网页客户端的页面数据和所述待存储数据组成结构数据；
通过所述大数据处理服务器对所述结构数据进行标签化处理并存储。


4.如权利要求3所述的方法，其特征在于，所述通过所述大数据处理服务器对所述结构数据进行标签化处理并存储，包括：
通过哈希算法对所述结构数据和所述待存储数据分别进行计算，对应得到第一哈希值和第二哈希值；
将所述第一哈希值、所述第二哈希值以及所述分布式存储服务器的地址信息绑定后存入大数据处理服务器的搜索表中，并向客户端输出存储结果，所述存储结果包括第二哈希值；
将所述第二哈希值以及所述结构数据绑定后存储到所述分布式存储服务器上。


5.如权利要求4所述的方法，其特征在于，所述将所述数据搜索指令传输到大数据处理服务器进行解析，得到解析结果，包括：
所述大数据处理服务器基于所述数据搜索指令中的待搜索数据的特征信息获取第二哈希值；
所述大数据处理服务器提取所述数据搜索指令中的页面数据生成第三哈希值。


6.如权利要求5所述的方法，其特征在于，所述大数据处理服务器基于所...

【专利技术属性】
技术研发人员：黄文清，闲方旭，
申请(专利权)人：深圳和锐网络科技有限公司，
类型：发明
国别省市：广东;44