一种在大数据环境下的数据搜索方法技术

技术编号:14874656 阅读:86 留言:0更新日期:2017-03-23 22:21
本发明专利技术提供一种在大数据环境下的数据搜索方法,包括:客户端向大数据中心发送搜索请求;大数据中心对接收的搜索请求进行安全认证;如果通过认证则将该搜索请求进行类型判定,之后进一步输入到搜索记录装置中;如果不通过则向客户端发送包含拒绝信息的搜索响应;大数据中心对此次搜索进行日志记录,并实现对搜索记录装置的更新。该方法能够利用记录进行快速搜索,减少搜索时间,减少相同的搜索请求不必要地占用大数据中心的资源,进而增加大数据中心的工作负荷和能源消耗,并降低大数据中心的数据调度效率和速度,避免威胁整个大数据中心的安全,提高准确度和全面性。

【技术实现步骤摘要】

本专利技术涉及一种电数字数据处理领域,更具体而言,涉及一种在大数据环境下的数据搜索方法
技术介绍
随着社会工业化、信息化水平的不断提高,如今数据已取代计算成为信息计算的中心,云计算、大数据(BigData)正在成为一种趋势和潮流。包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V:Volume(大量),数据量持续快速增加;Velocity(高速),数据I/O速度更快;Variety(多样),数据类型和来源多样化;Value(价值),其存在各方面的可用价值。另外,大数据除了表示海量的信息,同时还是人们获得新认知、创造新价值的源泉,其开启了一次重大的时代转型,随着大数据时代的到来,我们需要以全新的眼光去审视和搜索数据的潜在价值。大数据的影响渗透到了各行业,对未来的科技和经济发展带来深远影响。然而,正可谓利弊相生。大数据带来便利的同时,越来越多的人类活动每个月都会产生PB级的数据,同时越来越多的需求也需要每天处理几十PB、几百PB甚至EB级的数据,由于其数据量极其巨大,通过搜索引擎能够搜索到的信息的数量越来越庞大,导致出现搜索效率变低,极大地影响搜索效率,增加了大数据中心的工作负荷(workload)和能源消耗。虽然现在已经有各种各样的数据搜索方法,但是大多针对的是单个数据库或者有限数量的数据源,较少涉及针对大数据搜索的需求。针对这种情况,本专利技术提出了一种在大数据环境下的数据搜索方法。这种新的搜索方法能够有效地对现有技术进行改进,克服其不足。
技术实现思路
本专利技术的目的之一是提供一种在大数据环境下的数据搜索方法,能够利用记录进行快速搜索,减少搜索时间,减少相同的搜索请求不必要地占用大数据中心的资源,进而增加大数据中心的工作负荷和能源消耗,并降低大数据中心的数据调度效率和速度,避免威胁整个大数据中心的安全,提高准确度和全面性。本专利技术为解决上述技术问题而采取的技术方案为:一种在大数据环境下的数据搜索方法,包括:步骤S1,客户端向大数据中心发送搜索请求;步骤S2,大数据中心对接收的搜索请求进行安全认证;步骤S3,如果通过认证则将该搜索请求进行类型判定,之后进一步输入到搜索记录装置中,执行步骤S5;步骤S4,如果不通过则向客户端发送包含拒绝信息的搜索响应;以及步骤S5,大数据中心对此次搜索进行日志记录,并实现对搜索记录装置的更新。根据本专利技术的另一个方面,在步骤S2中,大数据中心对接收的搜索请求进行安全认证进一步包括:认证向大数据中心发送搜索请求的客户端,可包括该客户端搜索请求的安全性、授权访问大数据中心的资格、以及搜索请求内容的合法性。根据本专利技术的另一个方面,将该搜索请求进行类型判定进一步包括:将该搜索请求发送给类型判定装置,类型判定装置判定搜索请求的类型,所述的类型至少包括:文字和数字等字符、语音、静态图片、视频、代码段、应用程序。根据本专利技术的另一个方面,在步骤S3中,之后进一步输入到搜索记录装置中进一步包括:在步骤S31中,搜索记录装置根据判定的搜索请求的类型,将搜索请求与存储在搜索记录装置上的搜索记录列表中的相同类型的搜索记录进行比较,判断二者的相关度;在步骤S32中,如果二者的相关度超过第一阈值COTH,则从存储在搜索记录装置上的搜索记录列表中调取相关度超过第一阈值COTH的搜索记录的目的地记录,并映射链接到该目的地记录所在的大数据环境中的位置,对该位置的关联内容进行调取,并返回给搜索记录装置;搜索记录装置根据需要进行数据加密,形成搜索包发送给大数据中心;在步骤S33中,如果二者的相关度不超过第一阈值COTH,则搜索记录装置将该搜索请求发送到搜索执行装置,以供后者执行搜索。根据本专利技术的另一个方面,关于二者相关度的计算和判断,该相关度比较前的计算方法如下:在步骤S311中,将判定搜索请求类型之后的搜索请求S划分成一个或多个子请求si,i是正整数,其中当搜索请求为最小可搜索单元时(例如无法进一步拆分的单个搜索对象),si的数量为一个,否则为多个,其中S={s1,……,si,……,sP本文档来自技高网...
一种在大数据环境下的数据搜索方法

【技术保护点】
一种在大数据环境下的数据搜索方法,包括:步骤S1,客户端向大数据中心发送搜索请求;步骤S2,大数据中心对接收的搜索请求进行安全认证;步骤S3,如果通过认证则将该搜索请求进行类型判定,之后进一步输入到搜索记录装置中,执行步骤S5;步骤S4,如果不通过则向客户端发送包含拒绝信息的搜索响应;以及步骤S5,大数据中心对此次搜索进行日志记录,并实现对搜索记录装置的更新。

【技术特征摘要】
1.一种在大数据环境下的数据搜索方法,包括:步骤S1,客户端向大数据中心发送搜索请求;步骤S2,大数据中心对接收的搜索请求进行安全认证;步骤S3,如果通过认证则将该搜索请求进行类型判定,之后进一步输入到搜索记录装置中,执行步骤S5;步骤S4,如果不通过则向客户端发送包含拒绝信息的搜索响应;以及步骤S5,大数据中心对此次搜索进行日志记录,并实现对搜索记录装置的更新。2.如权利要求1所述的数据搜索方法,其中:在步骤S2中,大数据中心对接收的搜索请求进行安全认证进一步包括:认证向大数据中心发送搜索请求的客户端,可包括该客户端搜索请求的安全性、授权访问大数据中心的资格、以及搜索请求内容的合法性。3.如权利要求2所述的数据搜索方法,其中将该搜索请求进行类型判定进一步包括:将该搜索请求发送给类型判定装置,类型判定装置判定搜索请求的类型,所述的类型至少包括:文字和数字等字符、语音、静态图片、视频、代码段、应用程序。4.如权利要求3所述的数据搜索方法,其中在步骤S3中,之后进一步输入到搜索记录装置中进一步包括:...

【专利技术属性】
技术研发人员:黄诗平
申请(专利权)人:广州市科恩电脑有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1