数据处理的方法及装置制造方法及图纸

本发明专利技术实施例提供了一种数据处理的方法，包括：接收数据流；根据该数据流生成三元数组的集合，该集合中的每个三元数组均包括三项，其中第一项为该数据流中的第一元素，第二项包括所述第一元素在该数据流中出现的第一时刻以及与所述第一时刻对应的第一次数，第三项包括所述第一元素在该数据流中出现的第二时刻以及与所述第二时刻对应的第二次数；根据所述三元数组的集合对该数据流进行数据处理。本发明专利技术实施例中，可以基于数据流生成三元数组的集合，由于三元数组的集合中存储了多个第一元素的次数与时间的对应关系，因此可以根据该三元数组的集合，获取多个第一元素在历史时刻的次数等，从而能够实现全局监测。

Methods and devices for data processing

Including the embodiment of the invention provides a method of data processing: receiving the data flow; according to the collection of the data stream generated three yuan of arrays, each array in the set of three yuan includes three items, of which the first one is the first element in the data stream, including the first second elements in the first always appear in the data stream and corresponding to the first time the first third times, including the first element in the data stream in second times and corresponding to the second time second times; according to the three element array in the data processing of the data stream. In one embodiment of the invention, can set data flow generation based on an array of three yuan, three yuan for collection array stored in the corresponding relationship between times and time of the first element, so it can be set according to the three element array, obtaining a plurality of the first element in the historic moment of the times, so as to achieve the global monitoring.

【技术实现步骤摘要】
数据处理的方法及装置
本专利技术实施例涉及通信领域，并且更具体地，涉及一种数据处理的方法及装置。
技术介绍
数据流是一组顺序、大量、快速、连续到达的数据序列。一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合。数据流在网络监控、传感器网络、航空航天、气象测控和金融服务等应用领域广泛出现，通过对数据流研究可以进行卫星云图监测、股市走向分析、网络攻击判断等。寻找数据流中的元素的变化趋势是信号检测的一个重要方面，例如，在网络监控、病毒检测、趋势预测、异常分析等领域，能够为信号检测提供重要的指导意义。在通常的应用中，一般只考虑当前时刻的数据流中元素的出现次数，历史时刻的数据如果没有被及时地记录并存储下来，在当前时刻无法进行查询，会造成信息的丢失。因此，如何实现数据流的全局监测是目前亟需解决的技术瓶颈。
技术实现思路
本专利技术实施例提供一种数据处理的方法，能够实现数据流的全局监测。第一方面，提供了一种数据处理的方法，包括：接收数据流，所述数据流包括多个数据点，每个数据点的数据信息包括采集所述数据点的采集时刻以及在所述采集时刻所采集的元素；根据所述数据流生成三元数组的集合，所述集合中本文档来自技高网...

【技术保护点】
一种数据处理的方法，其特征在于，包括：接收数据流，所述数据流包括多个数据点，每个数据点的数据信息包括采集所述数据点的采集时刻以及在所述采集时刻所采集的元素；根据所述数据流生成三元数组的集合，所述集合中的每个三元数组均包括三项，其中第一项为所述数据流中的第一元素，第二项包括所述第一元素在所述数据流中出现的第一时刻以及与所述第一时刻对应的第一次数，第三项包括所述第一元素在所述数据流中出现的第二时刻以及与所述第二时刻对应的第二次数；根据所述三元数组的集合对所述数据流进行数据处理。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：接收数据流，所述数据流包括多个数据点，每个数据点的数据信息包括采集所述数据点的采集时刻以及在所述采集时刻所采集的元素；根据所述数据流生成三元数组的集合，所述集合中的每个三元数组均包括三项，其中第一项为所述数据流中的第一元素，第二项包括所述第一元素在所述数据流中出现的第一时刻以及与所述第一时刻对应的第一次数，第三项包括所述第一元素在所述数据流中出现的第二时刻以及与所述第二时刻对应的第二次数；根据所述三元数组的集合对所述数据流进行数据处理。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据流生成三元数组的集合，包括：根据所述数据流，建立与所述多个第一元素一一对应的多个阶梯频率流，其中，所述多个阶梯频率流中的每个阶梯频率流包括多个第一元素数据点，每个第一元素数据点包括第三时刻以及第三次数，所述第三时刻为所述第一元素在所述数据流中出现的时刻，所述第三次数为截止所述第三时刻所述第一元素在所述数据流中出现的次数；根据与所述多个第一元素一一对应的多个阶梯频率流，生成所述三元数组的集合。3.根据权利要求1所述的方法，其特征在于，所述根据所述数据流生成三元数组的集合，包括：根据所述数据流建立M个四元组，所述M个四元组中的每个四元组的第一项为所述第一元素，第二项为截止当前时刻所述第一元素在所述数据流中出现的次数，第三项为基于所述数据流确定第四项的算法，所述第四项包括多个二元数组，每个二元数组的第一项为所述第一时刻以及所述第一次数，第二项为所述第二时刻以及所述第二次数；根据所述M个四元组，生成所述三元数组的集合。4.根据权利要求3所述的方法，其特征在于，所述根据所述数据流建立M个四元组，包括：根据所述数据流中新获取的数据点，对所述M个四元组进行更新。5.根据权利要求4所述的方法，其特征在于，所述根据所述数据流中新获取的数据点，对所述M个四元组进行更新，包括：判断所述M个四元组中是否存在所述新获取的数据点的第二元素；如果所述M个四元组中的第一四元组的第一项为所述第二元素，将所述第一四元组进行更新，如果所述M个四元组中的第一项均不存在所述第二元素，则将所述第二元素增加到所述M个四元组中的第二四元组。6.根据权利要求5所述的方法，其特征在于，所述将所述第一四元组进行更新，包括：将所述第一四元组的第二项加一，更新为所述第二元素的新的次数；将所述新获取的数据点的采集时刻以及所述新的次数输入所述第三项的算法。7.根据权利要求5或6所述的方法，其特征在于，所述将所述第二元素增加到所述M个四元组中的第二四元组，包括：如果在所述M个四元组中，其中第二项大于零的四元组的数量小于预设的阈值，则更新所述第二四元组，其中所述第二四元组为所述M个四元组中第二项等于零的四元组，如果在所述M个四元组中，其中第二项大于零的四元组的数量等于预设的阈值，则更新所述第二四元组，其中所述第二四元组为所述M个四元组中第二项最小的四元组。8.根据权利要求7所述的方法，其特征在于，如果在所述M个四元组中，其中第二项大于零的四元组的数量小于预设的阈值，则更新所述第二四元组，其中所述第二四元组为所述M个四元组中第二项等于零的四元组，包括：将所述M个四元组中第二项等于零的四元组作为所述第二四元组，且将所述第二四元组的第一项更新为所述第二元素，将第二项更新为1，第三项包括由所述第二元素的采集时刻以及所述次数为1构成的数据点，第四项为空。9.根据权利要求7或8所述的方法，其特征在于，如果在所述M个四元组中，其中第二项大于零的四元组的数量等于预设的阈值，则更新所述第二四元组，其中所述第二四元组为所述M个四元组中第二项最小的四元组，包括：根据所述M个四元组中第二项最小的四元组，输出对应的多个三元数组；将所述M个四元组中第二项最小的四元组作为所述第二四元组，且将所述第二四元组的第一项更新为所述第二元素，将第二项加1更新为新的次数，第三项包括由所述第二元素的采集时刻以及所述新的次数构成的数据点，第四项为空。10.根据权利要求3至9任一项所述的方法，其特征在于，所述M个四元组按照每个四元组的第二项的大小进行排序。11.根据权利要求1至10任一项所述的方法，其特征在于，所述根据所述三元数组的集合对所述数据流进行数据处理，包括：获取对高频元素的查询指令，所述查询指令包括查询时刻和查询频率；确定截止所述查询时刻时所述数据流中的所有数据点的数量；根据所述查询时刻，从所述集合中获取第一三元数组，其中，所述查询时刻位于所述第一三元数组的第一时刻与第二时刻之间；根据所述第一三元数组，确定与所述查询时刻对应的第四次数；如果所述第四次数大于或等于所述查询频率与所述数量的乘积，则确定与所述第一三元数组对应的第一元素为所述查询时刻的高频元素。12.根据权利要求1至10任一项所述的方法，其特征在于，所述根据所述三元数组的集合对所述数据流进行数据处理，包括：获取任意一个所述第一元素；获取所述集合中与所述任意一个所述第一元素对应的多个第二三元数组，其中所述多个第二三元数组中的每一个第二三元数组的第一项均为所述任意一个所述第一元素；根据所述多个第二三元数组，确定所述任意一个所述第一元素在所述数据流中出现的次数随时间的...

【专利技术属性】
技术研发人员：李震国，罗戈，易珂，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44