一种报文处理方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种报文处理方法、装置及存储介质；方法包括：获取待处理报文的报文总数量、未处理的剩余报文数量和已处理的已处理报文数量；基于报文总数量、剩余报文数量和已处理报文数量，得到批处理数，基于批处理数进行报文批处理。本发明专利技术能够根据实际情况，动态计算批处理数，从而提高处理效率。

【技术实现步骤摘要】
一种报文处理方法、装置及存储介质
本专利技术涉及信息处理技术，尤其涉及一种报文处理方法、装置及存储介质。
技术介绍
随着网络通信技术的发展，在信息处理中逐渐采用批处理(Batch)技术。在网络输入输出(I/O)中采用批处理技术，可以在收发包及报文处理流程中，一次函数调用处理多个报文，从而，可以显著提高高速缓存(Cache)命中率，分摊函数调用时堆栈/寄存器组上下文切换的开销，调用时间更少，系统负载更低。现有的批处理技术中，批处理数往往设置为静态值，这样，无法同时满足不同流量模型下网络吞吐与时延的要求，造成批处理数与实际情况不匹配，批处理效率较低。
技术实现思路
本专利技术实施例期望提出一种报文处理方法、装置及存储介质，能够根据实际情况，动态计算批处理数，从而提高处理效率。本专利技术的技术方案是这样实现的：本专利技术实施例提供一种报文处理方法，所述方法包括：获取待处理报文的报文总数量、未处理的剩余报文数量和已处理的已处理报文数量；基于所述报文总数量、所述剩余报文数量和所述已处理报文数量，得到批处理数，基于所述批处理数进行报文批处理。上述方案中，所述报文总数量包括：第i个报文总数量；其中，所述第i个报文总数量为第i个轮询周期内待处理报文的总数量；所述第i个轮询周期为待处理的轮询周期，i为正整数；所述剩余报文数量包括：第i个剩余报文数量至第i+(T-1)个剩余报文数量；其中，T为待处理轮询周期的周期数，T为大于等于2的整数；所述已处理报文数量包括：第i个已处理报文数量至第i+(T-1)个已处理报文数量；所述获取待处理报文的报文总数量、未处理的剩余报文数量和已处理的已处理报文数量，包括：获取所述第i个轮询周期的所述第i个报文总数量；在第j-1个批处理数的限制下，对所述待处理报文进行批处理，获取未处理的所述第i个剩余报文数量和已处理的所述第i个已处理报文数量；其中，j为大于等于2的整数；在第j个批处理数的限制下，继续进行第i+1个轮询周期的批处理，直至到第i+(T-1)个轮询周期时，获取所述第i+(T-1)个已处理报文数量以及未处理的所述第i+(T-1)个剩余报文数量，从而完成了获取所述待处理报文的所述报文总数量、未处理的所述剩余报文数量和已处理的所述已处理报文数量；其中，T为待处理轮询周期的周期数，T为大于等于2的整数。上述方案中，所述基于所述报文总数量、所述剩余报文数量和所述已处理报文数量，得到批处理数，基于所述批处理数进行报文批处理，包括：根据所述第i+(T-1)个剩余报文数量、所述第i个报文总数量，以及所述第i个已处理报文数量至所述第i+(T-1)个已处理报文数量，确定第i+T个轮询周期至第i+2(T-1)个轮询周期对应的第j+1个批处理数，供后续进行批处理时使用，从而完成了基于所述报文总数量、所述剩余报文数量和所述已处理报文数量，得到批处理数，基于所述批处理数进行报文批处理。上述方案中，获取所述第i个轮询周期的所述第i个报文总数量，包括：若i大于1，则针对第i个轮询周期，获取第i-1个轮询周期的第i-1个剩余报文数量；接收所述第i组报文，并获取所述第i组报文的第i个接收报文数量，将所述第i-1个剩余报文数量和所述第i个接收报文数量之和确定为所述第i个轮询周期的待处理报文的所述第i个报文总数量。上述方案中，所述根据所述第i+(T-1)个剩余报文数量、所述第i个报文总数量，以及所述第i个已处理报文数量至所述第i+(T-1)个已处理报文数量，确定第i+T个轮询周期至第i+2(T-1)个轮询周期对应的第j+1个批处理数，包括：将所述第i+(T-1)个剩余报文数量减去所述第i个报文总数量，再加上所述第i个已处理报文数量至所述第i+(T-1)个已处理报文数量之和，再将所得到的结果除以所述待处理轮询周期的周期数T，得到所述第i+T个轮询周期至所述第i+2(T-1)个轮询周期对应的所述第j+1个批处理数。上述方案中，所述方法还包括：若i等于1，则获取第1个轮询周期的待处理报文的第1个报文总数量；在预设初始批处理数的限制下，对所述待处理报文进行批处理，获取未处理的第1个剩余报文数量和已处理的第1个已处理报文数量；在预设初始批处理数的限制下，继续进行第2个轮询周期的批处理，直至到第T个轮询周期时，获取第T个已处理报文数量以及未处理的第T个剩余报文数量；其中，T为待处理轮询周期的周期数，T大于等于2；根据所述第T个剩余报文数量、所述第1个报文总数量，以及所述第1个已处理报文数量至所述第T个已处理报文数量，确定第1+T个轮询周期至第2T-1个轮询周期对应的第2个批处理数，供后续进行批处理时使用。上述方案中，所述获取第1个轮询周期的待处理报文的第1个报文总数量，包括：接收所述第1组报文，并获取所述第1组报文的第1个接收报文数量，将所述第1个接收报文数量确定为所述第1个轮询周期的待处理报文的所述第1个报文总数量。上述方案中，所述根据所述第T个剩余报文数量、所述第1个报文总数量，以及所述第1个已处理报文数量至所述第T个已处理报文数量，确定第1+T个轮询周期至第2T-1个轮询周期对应的第2个批处理数，包括：将所述第T个剩余报文数量减去所述第1个报文总数量，再加上所述第1个已处理报文数量至所述第T个已处理报文数量之和，再将所得到的结果除以所述待处理轮询周期的周期数T，得到所述第1+T个轮询周期至所述第1+2(T-1)个轮询周期对应的所述第2个批处理数。上述方案中，所述在第j个批处理数的限制下，对所述待处理报文进行批处理，获取未处理的第i个剩余报文数量和已处理的第i个已处理报文数量，包括：若在第i个轮询周期处理报文的预定数量大于第j-1个批处理数，则将所述预定数量减少为所述第j-1个批处理数；对所述待处理报文中满足所述预定数量的报文进行批处理；获取未处理的第i个剩余报文数量和已处理的第i个已处理报文数量。本专利技术实施例还提供一种报文处理装置，包括：获取单元，用于获取待处理报文的报文总数量、未处理的剩余报文数量和已处理的已处理报文数量；确定单元，用于基于所述报文总数量、所述剩余报文数量和所述已处理报文数量，得到批处理数；批处理单元，用于基于所述批处理数进行报文批处理。上述方案中，所述报文总数量包括：第i个报文总数量，其中，所述第i个报文总数量为第i个轮询周期内待处理报文的总数量，所述第i个轮询周期为待处理的轮询周期，i为正整数；所述剩余报文数量包括：第i个剩余报文数量至第i+(T-1)个剩余报文数量；其中，T为待处理轮询周期的周期数，T为大于等于2的整数；所述已处理报文数量包括：第i个已处理报文数量至第i+(T-1)个已处理报文数量；所述获取单元，还用于获取第i个轮询周期的第i个报文总数量；获取未处理的所述第i个剩余报文数量和已处理的所述第i个已处理报文数量；以及，获取所述第i+(T-本文档来自技高网...

【技术保护点】
1.一种报文处理方法，其特征在于，包括：/n获取待处理报文的报文总数量、未处理的剩余报文数量和已处理的已处理报文数量；/n基于所述报文总数量、所述剩余报文数量和所述已处理报文数量，得到批处理数，基于所述批处理数进行报文批处理。/n

【技术特征摘要】
1.一种报文处理方法，其特征在于，包括：
获取待处理报文的报文总数量、未处理的剩余报文数量和已处理的已处理报文数量；
基于所述报文总数量、所述剩余报文数量和所述已处理报文数量，得到批处理数，基于所述批处理数进行报文批处理。


2.根据权利要求1所述的报文处理方法，其特征在于，所述报文总数量包括：第i个报文总数量；其中，所述第i个报文总数量为第i个轮询周期内待处理报文的总数量；所述第i个轮询周期为待处理的轮询周期，i为正整数；
所述剩余报文数量包括：第i个剩余报文数量至第i+(T-1)个剩余报文数量；其中，T为待处理轮询周期的周期数，T为大于等于2的整数；
所述已处理报文数量包括：第i个已处理报文数量至第i+(T-1)个已处理报文数量；
所述获取待处理报文的报文总数量、未处理的剩余报文数量和已处理的已处理报文数量，包括：
获取所述第i个轮询周期的所述第i个报文总数量；
在第j-1个批处理数的限制下，对所述待处理报文进行批处理，获取未处理的所述第i个剩余报文数量和已处理的所述第i个已处理报文数量；其中，j为大于等于2的整数；
在第j个批处理数的限制下，继续进行第i+1个轮询周期的批处理，直至到第i+(T-1)个轮询周期时，获取所述第i+(T-1)个已处理报文数量以及未处理的所述第i+(T-1)个剩余报文数量，从而完成了获取所述待处理报文的所述报文总数量、未处理的所述剩余报文数量和已处理的所述已处理报文数量。


3.根据权利要求2所述的报文处理方法，其特征在于，所述基于所述报文总数量、所述剩余报文数量和所述已处理报文数量，得到批处理数，基于所述批处理数进行报文批处理，包括：
根据所述第i+(T-1)个剩余报文数量、所述第i个报文总数量，以及所述第i个已处理报文数量至所述第i+(T-1)个已处理报文数量，确定第i+T个轮询周期至第i+2(T-1)个轮询周期对应的第j+1个批处理数，供后续进行批处理时使用，从而完成了基于所述报文总数量、所述剩余报文数量和所述已处理报文数量，得到批处理数，基于所述批处理数进行报文批处理。


4.根据权利要求2或3所述的报文处理方法，其特征在于，所述获取所述第i个轮询周期的所述第i个报文总数量，包括：
若i大于1，则针对第i个轮询周期，获取第i-1个轮询周期的第i-1个剩余报文数量；
接收所述第i组报文，并获取所述第i组报文的第i个接收报文数量，将所述第i-1个剩余报文数量和所述第i个接收报文数量之和确定为所述第i个轮询周期的所述第i个报文总数量。


5.根据权利要求3所述的报文处理方法，其特征在于，所述根据所述第i+(T-1)个剩余报文数量、所述第i个报文总数量，以及所述第i个已处理报文数量至所述第i+(T-1)个已处理报文数量，确定第i+T个轮询周期至第i+2(T-1)个轮询周期对应的第j+1个批处理数，包括：
将所述第i+(T-1)个剩余报文数量减去所述第i个报文总数量，再加上所述第i个已处理报文数量至所述第i+(T-1)个已处理报文数量之和，再将所得到的结果除以所述待处理轮询周期的周期数T，得到所述第i+T个轮询周期至所述第i+2(T-1)个轮询周期对应的所述第j+1个批处理数。


6.根据权利要求2至5任一项所述的报文处理方法，其特征在于，所述方法还包括：
若i等于1，则获取第1个轮询周期的第1个报文总数量；
在预设初始批处理数的限制下，对所述待处理报文进行批处理，获取未处理的第1个剩余报文数量和已处理的第1个已处理报文数量；
在预设初始批处理数的限制下，继续进行第2个轮询周期的批处理，直至到第T个轮询周期时，获取第T个已处理报文数量以及未处理的第T个剩余报文数量；其中，T为待处理轮询周期...

【专利技术属性】
技术研发人员：陈彦龙，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东;44