数据流处理方法、装置以及存储介质制造方法及图纸

本申请提供一种数据流处理方法、装置以及存储介质。该方法包括：将待处理数据流平均划分为N份子数据流，其中，N为计算设备处理待处理数据流时需要的时钟周期的数量，将N份子数据流分发给N个子数据流处理器，其中，子数据流与子数据流处理器一一对应，每个子数据流处理器维护至少一个令牌桶，令牌桶的桶深为X/N，令牌桶中令牌的添加速率为Y/N，X为假设计算设备处理待处理数据时，维护的令牌桶的桶深，Y为假设计算设备处理待处理数据时，维护的令牌桶中令牌的添加速率，控制N个子数据流处理器在N个时钟周期内分别只处理一份各不相同的子数据流，从而，提高了数据流处理的实时性和精度。

Data flow processing methods, devices, and storage media

The present application provides a data flow processing method, a device, and a storage medium. The method includes: the average flow of data to be processed into N part of data stream, which is to be the number of computing devices N processing data processing needs to flow when the clock cycle, the N part of data stream to N sub data stream processor, wherein, sub data streams and sub data stream processor correspondence each sub stream processor maintains at least one token bucket, token bucket bucket depth is X/N, the rate of addition of token token bucket is Y/N, processing data to be processed for X assumptions for the calculation of equipment, maintenance of the token bucket bucket of deep processing of data to be processed for Y assumptions for the calculation of the equipment, add token token rate the barrel in the maintenance and control of N sub data stream processor in N clock cycles are only a different sub streams, thereby, improve the real-time and accuracy of data stream processing.

【技术实现步骤摘要】
数据流处理方法、装置以及存储介质
本申请涉及计算机技术，尤其涉及一种数据流处理方法、装置以及存储介质。
技术介绍
随着通信技术和电子技术的发展，计算设备，例如计算机，需要处理的复杂业务越来越多。在处理复杂业务时，计算机需要较长的时间才能完成处理。并且，当复杂业务的数据流为高速数据流时，报文之间的时间间隔较窄，为了保证流处理的实时性，留给每个报文的处理窗口很有限。复杂业务的处理过程中，由于计算复杂度较高，一个报文需要多个时钟周期才能完成处理。举例来说，在承诺访问速率(CommittedAccessRate，CAR)机制中，CAR的令牌计算和令牌桶维护需要用到大位宽的乘法、加法等运算，至少需要3个时钟周期才能完成。假设计算设备的时钟周期为5ns。处理高速数据流中的每个数据流需要N个时钟周期，即，需要N*5ns的时间处理该数据流，则处理每个数据流的速率为条，用每秒操作次数(operationpersecond，ops)表示条/秒这个单位。这就限制了数据流流入该处理设备的速率不能超过计算设备处理数据流的速率，不然，新流入的数据流无法及时被计算设备处理，会引起数据堵塞。因此，每条数据流流入该处本文档来自技高网...

【技术保护点】
一种数据流处理方法，应用于承诺访问速率CAR算法中，其特征在于，包括：将待处理数据流平均划分为N份子数据流，其中，N为计算设备处理所述待处理数据流时需要的时钟周期的数量，N大于或等于2；将所述N份子数据流分发给N个子数据流处理器，其中，子数据流与子数据流处理器一一对应，每个所述子数据流处理器维护至少一个令牌桶，所述令牌桶的桶深为X/N，所述令牌桶中令牌的添加速率为Y/N，X为假设所述计算设备处理所述待处理数据流时，维护的令牌桶的桶深，Y为假设所述计算设备处理所述待处理数据流时，维护的令牌桶中令牌的添加速率；控制所述N个所述子数据流处理器在N个时钟周期内分别只处理一份各不相同的子数据流。

【技术特征摘要】
1.一种数据流处理方法，应用于承诺访问速率CAR算法中，其特征在于，包括：将待处理数据流平均划分为N份子数据流，其中，N为计算设备处理所述待处理数据流时需要的时钟周期的数量，N大于或等于2；将所述N份子数据流分发给N个子数据流处理器，其中，子数据流与子数据流处理器一一对应，每个所述子数据流处理器维护至少一个令牌桶，所述令牌桶的桶深为X/N，所述令牌桶中令牌的添加速率为Y/N，X为假设所述计算设备处理所述待处理数据流时，维护的令牌桶的桶深，Y为假设所述计算设备处理所述待处理数据流时，维护的令牌桶中令牌的添加速率；控制所述N个所述子数据流处理器在N个时钟周期内分别只处理一份各不相同的子数据流。2.根据权利要求1所述的方法，其特征在于，当所述CAR算法为单速率三色标记SrTCM算法或者拥塞预先通知BT_PCN算法时，每个所述子数据流处理器维护C桶和E桶，所述X包括承诺突发尺寸CBS和超出突发尺寸EBS，所述Y包括承诺信息速率CIR，所述C桶的桶深为CBS/N，所述E桶的桶深EBS/N，所述C桶中令牌的添加速率为CIR/N；当所述CAR算法为双速率三色标记TrTCM算法时，每个所述子数据流处理器维护C桶和P桶，所述X包括CBS和峰值突发尺寸PBS，所述Y包括CIR和峰值信息速率PIR，所述C桶的桶深为CBS/N，所述P桶的桶深PBS/N，所述C桶中令牌的添加速率为CIR/N，所述P桶中令牌的添加速率为PIR/N；当所述CAR算法为差分服务双速率三色标记DSTrTCM算法或者城域以太网论坛MEF10.2带宽配置算法时，每个所述子数据流处理器维护C桶和E桶，所述X包括CBS和EBS，所述Y包括CIR和额外信息速率EIR，所述C桶的桶深为CBS/N，所述E桶的桶深EBS/N，所述C桶中令牌的添加速率为CIR/N，所述E桶中令牌的添加速率为EIR/N。3.根据权利要求1或2所述的方法，其特征在于，所述将所述N份子数据流分发给N个子数据流处理器，包括：根据随机算法将所述N份子数据流随机分发给N个子数据流处理器。4.根据权利要求1或2所述的方法，其特征在于，所述将所述N份子数据流分发给N个子数据流处理器，包括：根据所述子数据流的标识与所述子数据流处理器的标识之间的映射关系，将所述N份子数据流分发给N个子数据流处理器。5.根据权利要求1或2所述的方法，其特征在于，所述将所述N份子数据流分发给N个子数据流处理器，包括：根据所述N个子数据流处理器已处理的子数据流的报文长度，将所述N份子数据流中报文长度最短的子数据流分发给已处理的子数据流的报文长度最长的子数据流处理器，将所述N份子数据流中报文长度次短的子数据流分发给已处理的子数据流的报文长度次长的子数据流处理器，依次类推，直至将所述N份子数据流分发完成。6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：获取所述待处理数据流的需求处理性能；当所述需求处理性能大于时，确定执行将待处理数据流平均划分为N份子数据流的步骤，其中，CLK为所述计算设备的时钟周期。7.根据权利要求1-6任一项所述的方法，其特征在于，若所述待处理数据流中的数据具有顺序，则在所述N个子数据流处理器并行处理所述N份子数据流之后，所述方法还包括：将并行处理所述N份子数据流之后的N份处理结果按照所述顺序发送给接收设备。8.一种数据流处理装置，所述装置用于处理承诺访问速率CAR算法，其特征在于，包...

【专利技术属性】
技术研发人员：张先富，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44