一种数据处理方法、网络处理器及计算机存储介质技术

本发明专利技术实施例公开了一种数据处理方法，所述方法应用于包括数据缓存单元的网络处理器，所述方法包括：对待统计数据队列中的数据进行统计，获取统计数据；当所述统计数据超出预设的统计阈值时，将所述统计数据存入数据缓存单元；将所述数据缓存单元中的统计数据按照预设的搬移策略搬移至与所述网络处理器外接的存储单元。本发明专利技术实施例同时还公开了一种网络处理器及计算机存储介质。

A Data Processing Method, Network Processor and Computer Storage Media

The embodiment of the present invention discloses a data processing method, which is applied to a network processor including a data buffer unit. The method includes: treating data in a statistical data queue to obtain statistical data; storing the statistical data into a data buffer unit when the statistical data exceeds a preset statistical threshold; and storing the data in the data buffer unit. Statistical data are moved to the storage unit attached to the network processor according to the preset migration strategy. The embodiment of the invention also discloses a network processor and a computer storage medium.

【技术实现步骤摘要】
一种数据处理方法、网络处理器及计算机存储介质
本专利技术涉及网络通讯领域，尤其涉及一种数据处理方法、网络处理器及计算机存储介质。
技术介绍
网络处理器(NP，NetworkProcessor)是为网络应用领域设计的专用指令处理器(ASIP，ApplicationSpecificInstructionProcess)，ASIP具有自己的结构特征和专门的电路设计以适用于网络分组处理，同时ASIP又是一块软件可编程芯片，使得网络系统能够具备高性能和灵活性。随着通信网络迅速发展，对网络处理器性能的要求也日益增加。由于业务复杂度的提升，使得网络处理器在队列统计计数时占用大量的存储资源。通常情况下，网络处理器计数受限于片内存储资源容量和片外存储速率。目前，片内统计适合统计队列较少，或者片内存储资源充裕的情况，而片外统计适合统计较大队列，对线速不敏感的情况，可以通过片外复制来提高线速。然而，由于受片内存储资源的限制，在片内存储的资源不充足，特别是当统计队列较多的情况下，会发生统计数据的溢出从而导致统计数据丢失的问题，影响统计结果。
技术实现思路
为解决上述技术问题，本专利技术实施例期望提供一种数据处理方法、网络处理器及计算机存储介质，旨在通过搬移统计提升统计计数性能，防止统计数据丢失。本专利技术的技术方案是这样实现的：第一方面，本专利技术实施例提供了一种数据处理方法，所述方法应用于包括数据缓存单元的网络处理器，所述方法包括：对待统计数据队列中的数据进行统计，获取统计数据；当所述统计数据超出预设的统计阈值时，将所述统计数据存入数据缓存单元；将所述数据缓存单元中的统计数据按照预设的搬移策略搬移至与所述网络处理器外接的存储单元。上述方案中，所述方法还包括：当对所述待统计数据队列中的数据进行统计时，开始搬移计时。上述方案中，所述将所述数据缓存单元中的统计数据按照预设的搬移策略搬移至与所述网络处理器外接的存储单元，包括：当所述搬移计时满足预设的搬移时间时，开始对所述数据缓存单元进行检测；当检测到所述数据缓存单元中有统计数据时，将存入所述数据缓存单元的统计数据搬移至与所述网络处理器外接的存储单元。上述方案中，所述将所述数据缓存单元中的统计数据按照预设的搬移策略搬移至与所述网络处理器外接的存储单元，还包括：对存入所述数据缓存单元中的统计数据量进行检测；当检测到存入所述数据缓存单元中的统计数据量超过预设的数据缓存单元容量占比时，将存入所述数据缓存单元的统计数据搬移至与所述网络处理器外接的存储单元。上述方案中，所述方法还包括：当所述统计数据未超出预设的统计阈值时，将所述统计数据存入片内存储单元；所述片内存储单元为设置在网络处理器内部的存储单元。上述方案中，所述方法还包括：当未检测到所述数据缓存单元中有统计数据时，将保存在所述片内存储单元中的统计数据搬移到与所述网络处理器外接的存储单元。第二方面，本专利技术实施例提供了一种网络处理器，所述网络处理器包括：运算单元和数据缓存单元；所述运算单元进一步包括：一级运算单元和二级运算单元；其中，所述一级运算单元，配置为对待统计数据队列中的数据进行统计，获取统计数据；当所述统计数据超出预设的统计阈值时，将所述统计数据存入数据缓存单元；所述二级运算单元，配置为将所述数据缓存单元中的统计数据按照预设的搬移策略搬移至与所述网络处理器外接的存储单元；所述数据缓存单元，配置为存储所述一级运算单元所统计的数据。上述方案中，所述二级运算单元还包括：定时搬移子单元；其中，所述定时搬移子单元，配置为当所述一级运算单元对待统计的数据队列进行统计时，开始搬移计时。上述方案中，所述网络处理器还包括：片内存储单元；其中，所述片内存储单元，配置为存储所述一级运算单元所获取的统计数据；所述片内存储单元为设置在网络处理器内部的存储单元。上述方案中，所述二级运算单元还包括：搬移仲裁子单元；其中，所述搬移仲裁子单元，配置为将存储于所述数据缓存单元的统计数据写入所述与所述网络处理器外接的存储单元；或者，将存储于所述片内存储单元的统计数据写入所述与所述网络处理器外接的存储单元。上述方案中，所述二级运算单元还包括：溢出搬移子单元；其中，所述溢出搬移子单元，配置为当所述搬移计时满足预设的搬移时间时，开始对所述数据缓存单元进行检测；所述搬移仲裁子单元，配置为当所述溢出搬移子单元检测到所述数据缓存单元中有统计数据时，将存入所述数据缓存单元的统计数据搬移至与所述网络处理器外接的存储单元。上述方案中，所述数据缓存单元，配置为对存入的统计数据量进行检测；所述二级运算单元，配置为当所述数据缓存单元检测到存入的统计数据量超过预设的数据缓存单元容量占比时，将存入所述数据缓存单元的统计数据搬移至与所述网络处理器外接的存储单元。上述方案中，所述一级运算单元，配置为当所述统计数据未超出预设的统计阈值时，将所述统计数据存入所述片内存储单元。上述方案中，所述搬移仲裁子单元，配置为当所述溢出搬移子单元未检测到所述数据缓存单元中有统计数据时，将保存在所述片内存储单元中的统计数据搬移到所述与所述网络处理器外接的存储单元。上述方案中，所述网络处理器还包括调度仲裁单元：所述调度仲裁单元，配置为当所述一级运算单元与所述二级运算单元在同一个周期内均调用所述片内存储单元时，指示所述二级运算单元优先调用所述片内存储单元。第三方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现上述数据处理方法的步骤。本专利技术实施例提供了一种数据处理方法、网络处理器及计算机存储介质，通过对待统计数据队列中的数据进行统计，获取统计数据，然后在统计数据超出预设的统计阈值时，将统计数据存入数据缓存单元，最后将数据缓存单元中的统计数据按照预设的搬移策略搬移至与网络处理器外接的存储单元，通过上述搬移统计过程提升了统计计数性能，防止统计数据溢出造成的数据丢失。附图说明图1为本专利技术实施例提供的统计计数结构示意图；图2为本专利技术实施例提供的片内和片外统计示意图；图3为本专利技术实施例一提供的一种数据处理方法流程示意图一；图4为本专利技术实施例提供的搬移统计实现原理示意图；图5为本专利技术实施例一提供的一种数据处理方法流程示意图二；图6为本专利技术实施例一提供的一种数据处理方法流程示意图三；图7为本专利技术实施例一提供的片内存储单元与片外存储单元关系示意图；图8为本专利技术实施例一提供的搬移统计计数器位宽扩展示意图；图9为本专利技术实施例二提供的网络处理器结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。参见图1，图1示出了本专利技术实施例提供的网络处理器中的统计计数结构。模块101为统计参数配置模块，通过配置可以选择特定的队列区间进行统计；为每个计数器组选择要统计的计数类型，如包计数、字节计数；为每个计数器组配置存储位置，如片内统计、片外统计；是否开启搬移统计、搬移统计周期配置以及搬移统计计数类型选择。模块102为统计请求解析模块，根据参数配置的队列区间，将统计请求中的队列，重新转化为由需要统计的队列区间组成的新的队列地址，用新的队列地址作为偏移地址与基地址相加，既可以得到统计地址。同时解析模块需要解析各种异常情况，并将非配置选择计数与本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法应用于包括数据缓存单元的网络处理器，所述方法包括：对待统计数据队列中的数据进行统计，获取统计数据；当所述统计数据超出预设的统计阈值时，将所述统计数据存入数据缓存单元；将所述数据缓存单元中的统计数据按照预设的搬移策略搬移至与所述网络处理器外接的存储单元。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于包括数据缓存单元的网络处理器，所述方法包括：对待统计数据队列中的数据进行统计，获取统计数据；当所述统计数据超出预设的统计阈值时，将所述统计数据存入数据缓存单元；将所述数据缓存单元中的统计数据按照预设的搬移策略搬移至与所述网络处理器外接的存储单元。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当对所述待统计数据队列中的数据进行统计时，开始搬移计时。3.根据权利要求2所述的方法，其特征在于，所述将所述数据缓存单元中的统计数据按照预设的搬移策略搬移至与所述网络处理器外接的存储单元，包括：当所述搬移计时满足预设的搬移时间时，开始对所述数据缓存单元进行检测；当检测到所述数据缓存单元中有统计数据时，将存入所述数据缓存单元的统计数据搬移至与所述网络处理器外接的存储单元。4.根据权利要求1所述的方法，其特征在于，所述将所述数据缓存单元中的统计数据按照预设的搬移策略搬移至与所述网络处理器外接的存储单元，还包括：对存入所述数据缓存单元中的统计数据量进行检测；当检测到存入所述数据缓存单元中的统计数据量超过预设的数据缓存单元容量占比时，将存入所述数据缓存单元的统计数据搬移至与所述网络处理器外接的存储单元。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述统计数据未超出预设的统计阈值时，将所述统计数据存入片内存储单元；所述片内存储单元为设置在网络处理器内部的存储单元。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：当未检测到所述数据缓存单元中有统计数据时，将保存在所述片内存储单元中的统计数据搬移到与所述网络处理器外接的存储单元。7.一种网络处理器，其特征在于，所述网络处理器包括：运算单元和数据缓存单元；所述运算单元进一步包括：一级运算单元和二级运算单元；其中，所述一级运算单元，配置为对待统计数据队列中的数据进行统计，获取统计数据；当所述统计数据超出预设的统计阈值时，将所述统计数据存入数据缓存单元；所述二级运算单元，配置为将所述数据缓存单元中的统计数据按照预设的搬移策略搬移至与所述网络处理器外接的存储单元；所述数据缓存单元，配置为存储所述一级运算单元所统计的数据。8.根据权利要求7所述的网络处理器，其特征在于，所述二级运算单元还包括：定时搬移子单元；其中...

【专利技术属性】
技术研发人员：刘振伟，包闯，王晓泾，陈西，闫振林，
申请(专利权)人：深圳市中兴微电子技术有限公司，
类型：发明
国别省市：广东,44