大数据处理方法及系统技术方案

本发明专利技术公开了一种大数据处理方法及平台，通过将搜索文件分为一个主搜索文件与多个从搜索文件；接收上述搜索请求命令，并验证上述搜索请求命令的合法性；当验证通过后，判断上述搜索地址数据所对应的从搜索文件是否已被存取，若为否时，根据上述搜索请求命令及从搜索文件存储的访问地址数据搜索相应的存储数据。该方法能够进行快速搜索，减少搜索时间，进而减少大数据中心的工作负荷和能源消耗，并降低大数据中心的数据调度效率和速度，保护了大数据的安全，提高准确度与全面性。

Big data processing method and system

【技术实现步骤摘要】
大数据处理方法及系统
本专利技术涉及数据处理
，尤其涉及一种大数据处理方法及系统。
技术介绍
随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据(BigData)正在成为一种趋势和潮流。目前，将不断增大的数据量称之为大数据，对其的搜索操作称之为对大数据的搜索。包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。另外，大数据除了表示海量的信息，同时还是人们获得新认知、创造新价值的源泉，其开启了一次重大的时代转型，随着大数据时代的到来，我们需要以全新的眼光去审视和搜索数据的潜在价值。大数据的影响渗透到了各行业，对未来的科技和经济发展带来深远影响。然而，正可谓利弊相生。大数据带来便利的同时，越来越多的人类活动每个月都会产生PB级的数据，同时越来越多的需求也需要本文档来自技高网...

【技术保护点】
1.一种大数据处理方法，其特征在于，所述方法包括：/n将搜索文件分为一个主搜索文件与多个从搜索文件，所述主搜索文件配置有与所述从搜索文件相对应的搜索地址数据与搜索请求命令；/n接收所述搜索请求命令，并验证所述搜索请求命令的合法性；/n当验证通过后，判断所述搜索地址数据所对应的从搜索文件是否已被存取，若为否时，根据所述搜索请求命令及从搜索文件存储的访问地址数据搜索相应的存储数据。/n

【技术特征摘要】
1.一种大数据处理方法，其特征在于，所述方法包括：
将搜索文件分为一个主搜索文件与多个从搜索文件，所述主搜索文件配置有与所述从搜索文件相对应的搜索地址数据与搜索请求命令；
接收所述搜索请求命令，并验证所述搜索请求命令的合法性；
当验证通过后，判断所述搜索地址数据所对应的从搜索文件是否已被存取，若为否时，根据所述搜索请求命令及从搜索文件存储的访问地址数据搜索相应的存储数据。


2.根据权利要求1所述的方法，其特征在于，所述从搜索文件的存取，所述方法包括：
当接收到数据写入指令时，依据所述数据写入指令对所选取的从搜索文件进行数据的写入，直至所有数据已全部写入所述多个从搜索文件。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
使用与从搜索文件相应的随机种子，依次对多个所述从搜索文件的写入数据进行数据扰乱，并对扰乱的数据进行随机编码。


4.根据权利要求3所述的方法，其特征在于，所述根据所述从搜索文件存储的访问地址数据访问相应的存储数据之前，所述方法还包括：
使用与从搜索文件相应的随机种子，依次对多个所述从搜索文件的读出数据进行数据解扰，并对解扰的数据进行随机解码。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
分别获取根据所述搜索文件访问得到的每个访问结果；
在所有的所述访问结果中，选择大于最大预设匹配度的存储数据作为搜索结果，并返回所述搜索结果。


6.根据权利要求5所述的方法，其特征在于，所述获取根据所述搜索文件访问得到的每个访问结果，所述方法包括：
将所述从搜索文件进行分片，得到多个分片从...

【专利技术属性】
技术研发人员：童欢欢，
申请(专利权)人：南京弹跳力信息技术有限公司，
类型：发明
国别省市：江苏;32