【技术实现步骤摘要】
数据快速检索方法及装置
[0001]本申请涉及大数据
,具体涉及一种数据快速检索方法及装置
。
技术介绍
[0002]在如今的互联网时代,信息数据呈爆炸式发展,网络技术
、
计算机技术已经渐渐渗透到各行各业,人类社会正式踏入数字化时代
。
在数字化时代中,最重要的就是数据,而随着大数据信息产业的不断扩张,数据市场迎来了空前的繁荣,数据规模呈现出惊人的增长趋势
。
但海量数据杂乱无章
、
质量参差不齐,如果不具备有效的数据分析的方法,则难以将数据的隐藏价值充分挖掘出来
。
[0003]在大数据应用领域中,经常会存在这样一个问题,即如何从一堆海量数据中快速检索出排名前
10、
或者前
100、
或者前
10000
的数据来
。
例如如何快速筛选出过去
10
年交易金额最大的前
1000
笔交易明细?如何快速筛选出过去
10
年
【技术保护点】
【技术特征摘要】
1.
一种数据快速检索方法,其特征在于,包括:对目标数据进行分组,生成
m
个数据集,
m
为正整数;将各所述数据集分别发送给不同的计算设备进行存储,每个所述计算设备用于获取本地存储的数据集中排名前
N
的数据,
N
为正整数;获取每个所述计算设备发送的本地存储的数据集中排名前
N
的数据;根据每个数据集中排名前
N
的数据,生成目标数据集;获取所述目标数据集中排名前
N
的数据
。2.
根据权利要求1所述的方法,其特征在于,每个所述计算设备利用快速查找法和二分查找法获取本地存储的数据集中排名前
N
的数据
。3.
根据权利要求2所述的方法,其特征在于,所述利用快速查找法和二分查找法获取本地存储的数据集中排名前
N
的数据包括:从本地存储的数据集中抽取出
N
个数据,利用快速排序法对该
N
个数据进行排序,得到第一有序数据集;遍历所述数据集中余下的每个数据,对于每个所述数据,若该数据小于所述第一有序数据集中最小的数据,则跳过该数据继续遍历下一个数据,否则利用二分查找法在所述第一有序数据集中找到该数据的位置,并将该数据插入该位置,并删除该第一有序数据集中最小的数据,最终得到第二有序数据集,所述第二有序数据集中的数据为本地存储的数据集中排名前
N
的数据
。4.
根据权利要求1所述的方法,其特征在于,所述获取所述目标数据集中排名前
N
的数据包括:利用快速查找法和二分查找法获取所述目标数据集中排名前
N
的数据
。5.
根据权利要求4所述的方法,其特征在于,所述利用快速查找法和二分查找法获取所述目标数据集中排名前
N
的数据包括:从所述目标数据集中抽取出
N
个数据,利用快速排序法对该
N
个数据进行排序,得到第三有序数据集;遍历所述目标数据集中余下的每个数据,对于每个所述数据,若该数据小于所述第三有序数...
【专利技术属性】
技术研发人员:唐世昊,姚积全,王佳典,丁昌琦,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。