【技术实现步骤摘要】
本专利技术涉及计算机
，尤其涉及一种确定大数据流中的特殊数据项的方法及装置。
技术介绍
由于大数据流中蕴含着丰富的信息，因此人们可以通过分析这些大数据流从中获得有用信息。从而在大数据流分析系统中，如何确定大数据流中的特殊数据项，例如突发数据项或频繁数据项成为人们的研究热点。其中，突发数据项是指在大数据流中出现次数最少的一个或多个数据项，频繁数据项是指在大数据流中出现次数最多的一个或多个数据项。通常，确定大数据流中的特殊数据项的一种常用算法为空间节省法。该空间节省法具体可以为在本地内存中存储k对元素(k为需要确定的特殊数据项的个数，元素包括特殊数据项和与特殊数据项对应的计数器)，并在对大数据流进行采样的数据流采样周期内，使用最先接收的大数据流中的k个均不相同的数据项和k个均不相同的数据项的出现次数对k对元素进行赋值，以及当接收到一个新的数据项时，判断该新的数据项是否被统计过，如果该新的数据项被统计过，则使与该新的数据项对应的计数器加1，如果该新的数据项未被统计过，则用该新的数据项替换k个数据项中计数最小的数据项，并将与该计数最小的数据项对应的计数器清空后加1。以此类推，当数据流采样周期结束后，本地内存中存储的k个数据项即为大数据流中的特殊数据项。然而，当大数据流中的某个特殊数据项的分布随时间变化(即特殊数据项在每段时间内的出现次数是不同的)时，采用空间节省法可能无法准确地确定到该特殊数据项。例如，假设数据流采样周期内，大数据流为{ABCDACBDABDCABCDDCBABCD
【技术保护点】
一种确定大数据流中的特殊数据项的方法，其特征在于，包括：在数据流采样周期内，依次获取采样数据流中的n个数据项，并采用所述n个数据项中最先获取到的k个均不相同的数据项形成数据项队列，所述k个均不相同的数据项一一对应k个均不相同的计数器，所述k个均不相同的计数器中的每个计数器用于统计形成所述数据项队列之前与该计数器对应的数据项的出现次数，n为正整数，k为正整数，k≤n；若所述n个数据项中在所述k个均不相同的数据项之后获取的数据项中的第m个数据项与前一次更新后的数据项队列中的第一数据项相同，则将与所述第一数据项对应的第一计数器加i，并将所述第一数据项和所述第一计数器移动至所述前一次更新后的数据项队列的队首，所述第一数据项为所述前一次更新后的数据项队列中的任意一个数据项，其中，当m＝k+1时，所述前一次更新后的数据项队列为形成后的数据项队列，m的值依次从k+1取到n，m为整数，i为正整数；若所述第m个数据项与所述前一次更新后的数据项队列中的各个数据项均不相同，则将所述前一次更新后的数据项队列中的第二数据项替换为所述第m个数据项，并将与所述第m个数据项对应的第二计数器设置为i，以及将所述第m个数...
【技术特征摘要】
1.一种确定大数据流中的特殊数据项的方法，其特征在于，包括：在数据流采样周期内，依次获取采样数据流中的n个数据项，并采用所述n个数据项中最先获取到的k个均不相同的数据项形成数据项队列，所述k个均不相同的数据项一一对应k个均不相同的计数器，所述k个均不相同的计数器中的每个计数器用于统计形成所述数据项队列之前与该计数器对应的数据项的出现次数，n为正整数，k为正整数，k≤n；若所述n个数据项中在所述k个均不相同的数据项之后获取的数据项中的第m个数据项与前一次更新后的数据项队列中的第一数据项相同，则将与所述第一数据项对应的第一计数器加i，并将所述第一数据项和所述第一计数器移动至所述前一次更新后的数据项队列的队首，所述第一数据项为所述前一次更新后的数据项队列中的任意一个数据项，其中，当m＝k+1时，所述前一次更新后的数据项队列为形成后的数据项队列，m的值依次从k+1取到n，m为整数，i为正整数；若所述第m个数据项与所述前一次更新后的数据项队列中的各个数据项均不相同，则将所述前一次更新后的数据项队列中的第二数据项替换为所述第m个数据项，并将与所述第m个数据项对应的第二计数器设置为i，以及将所述第m个数据项和所述第二计数器移动至所述前一次更新后的数据项队列的队首，所述第二数据项为位于所述前一次更新后的数据项队列的队尾的数据项，其中，当m＝k+1时，所述前一次更新后的数据项队列为形成后的数据项队列，m的值依次从k+1取到n，m为整数，i为正整数；每经过预设时间后，根据所述k个均不相同的计数器的值、前一次估算的所述k个均不相同的数据项的出现频率和预设的计算公式，估算所述k个均不相同的数据项的出现频率，所述预设时间小于或等于所述数据流采样周期，其中，第一次估算所述k个均不相同的数据项的出现频率时采用的所述前一次估算的所述k个均不相同的数据项的出现频率为0；在所述数据流采样周期后，根据最后一次估算的所述k个均不相同的数据项的出现频率，确定所述k个均不相同的数据项中出现频率满足预设阈值的至少一个数据项为特殊数据项。2.根据权利要求1所述的方法，其特征在于，所述计算公式为：ft＝λzt+(1-λ)ft-1；其中，t表示时刻；ft表示t时刻数据项的出现频率；zt表示t时刻数据项的统计次数或统计频率，所述统计次数为与所述数据项对应的计数器的值，所述统计频率为所述计数器的值与数据项队列中全部计数器的值之和的比值；λ表示预设的zt的加权值；ft-1表示t-1时刻数据项的出现频率。3.根据权利要求1或2所述的方法，其特征在于，所述形成后的数据项队列中的所述k个均不相同的数据项按照所述k个均不相同的计数器的值由大到小顺序排列。4.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述前一次更新后的数据项队列中的第二数据项替换为所述第m个数据项，包括：从所述前一次更新后的数据项队列中删除所述第二数据项，并将所述第m个数据项添加到所述前一次更新后的数据项队列中，所述第m个数据项在所述前一次更新后的数据项队列中的位置与所述第二数据项在所述前一次更新后的数据项队列中的位置相同。5.根据权利要求1-4任一项所述的方法，其特征在于，所述特殊数据项为频繁数据项或者突发数据项，所述确定所述k个均不相同的数据项中出现频率满足预设阈值的至少一个数据项为特殊数据项，包括：确定所述k个均不相同的数据项中出现频率大于或等于所述预设阈值的至少一个数据项为所述频繁数据项；或者确定所述k个均不相同的数据项中出现频率小于所述预设阈值的至少一个数据项为所述突发数据项。6.一种确定大数据流中的特殊数据项的装置，其特征在于，包括：获取单元，用于在数据流采样周期内，依次获取采样数据流中的n个数据项，并采用所述n个数据项中最先获取到的k个均不相同的数据项形成数据项队列，所述k个均不相同的数据项一一对应k个均不相同的计数器，所述k个均不相同的计数器中的每个计数器用于统计形成所述数据项队列之前与该计数器对应的数据项的出现次数，n为正整数，k为正整数，k≤n；处理单元，用于若所述n个数据项中所述获取单元在所述k个均不相同的数据项之后获取的数据项中的第m个数据项与前一次更新后的数据项队列中的第一数据项相同，则将与所述第一数据项对应的第一计数器加i，并将所述第一数据项和所述第一计数器移动至所述前一次更新后的数据项队
\t列的队首，所述第一数据项为所述前一次更新后的数据项队列中的任意一个数据...
【专利技术属性】
技术研发人员：阿尔伯特·比非特，欧阳军，范伟，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。