统计数据清理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了统计数据清理方法、装置、设备及存储介质。其中，该方法基于主统计表和副统计表实现，包括：检测到统计数据的清理事件被触发，其中，在相邻两次检测到所述清理事件被触发之间，待统计的原始数据被统计至所述主统计表中，副统计表保持不变，将副统计表中的第一统计条目取出，其中，第一统计条目中包含第一统计项和与第一统计项对应的第一统计值，判断主统计表中是否存在包含第一统计项的统计条目，并根据判断结果对第一统计条目进行相应的清除处理。本发明专利技术实施例提供的技术方案，可降低清理操作复杂度，合理有效地保留即时统计数据，避免影响正在使用的统计项的准确性。

【技术实现步骤摘要】
统计数据清理方法、装置、设备及存储介质
本专利技术实施例涉及计算机
，尤其涉及统计数据清理方法、装置、设备及存储介质。
技术介绍
目前，对于很多设备或应用程序来说，后台服务经常需要对各种类型的数据进行统计，以便对设备或应用程序等进行有针对性的优化。数据统计过程一般是长时间存在的，随着时间的推移，一些陈旧的或者不需要再用到的统计资源需要及时清理，避免数据膨胀。对于依赖具体的有状态的对象(一般具有独立的存储能力和明确的生命周期)进行的数据统计，一般只需要根据对象的生命周期是否结束就能进行相关资源清理。比如传输控制协议(TransmissionControlProtocol，TCP)连接，连接断开就可以对连接的相关统计数据进行清理。对于与有状态对象相反的无状态对象的数据统计，因没有明确的数据生命周期，因此清理时机不好确定。比如常见的用户数据报协议(UserDatagramProtocol，UDP)协议就是一种无状态的运输层协议，而高层的应用层对UDP进行统计(如收发包等)时，自然无法通过UDP的状态来决定什么时候对数据进行清理。针对无状态对象的数据统计，现有的统计数据清理方式一般包括以下两种：第一种，在到达设定时间或统计数据量达到设定阈值时，直接清理整个统计表中的所有统计数据，是现在媒体后台服务对UDP收发包进行统计时采用的常见做法，但是全部删除的方式会影响到正在使用的统计项的准确性；第二种，为统计项增加访问时间字段，当有数据修改到统计项之后，把访问时间置为当前时间，定时全量扫描整个统计数据表查找超时的访问时间并删除对应统计数据，但是一次性扫描哈希表全量数据容易导致服务卡顿。因此，现有的统计数据清理方案仍不够完善，需要改进。
技术实现思路
本专利技术实施例提供了统计数据清理方法、装置、设备及存储介质，可以。第一方面，本专利技术实施例提供了一种统计数据清理方法，基于主统计表和副统计表实现，该方法包括：检测到统计数据的清理事件被触发，其中，在相邻两次检测到所述清理事件被触发之间，待统计的原始数据被统计至所述主统计表中，所述副统计表保持不变；将所述副统计表中的第一统计条目取出，其中，所述第一统计条目中包含第一统计项和与所述第一统计项对应的第一统计值；判断所述主统计表中是否存在包含所述第一统计项的统计条目，并根据判断结果对所述第一统计条目进行相应的清除处理。第二方面，本专利技术实施例提供了一种统计数据清理装置，基于主统计表和副统计表实现，该装置包括：清理事件触发检测模块，用于检测统计数据的清理事件是否被触发，其中，在相邻两次检测到所述清理事件被触发之间，待统计的原始数据被统计至所述主统计表中，所述副统计表保持不变；统计条目取出模块，用于在检测到统计数据的清理事件被触发时，将所述副统计表中的第一统计条目取出，其中，所述第一统计条目中包含第一统计项和与所述第一统计项对应的第一统计值；清除处理模块，用于判断所述主统计表中是否存在包含所述第一统计项的统计条目，并根据判断结果对所述第一统计条目进行相应的清除处理。第三方面，本专利技术实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本专利技术实施例提供的统计数据清理方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例提供的统计数据清理方法。本专利技术实施例中提供的统计数据清理方案，基于主统计表和副统计表实现，检测到统计数据的清理事件被触发时，将副统计表中的第一统计条目取出，判断主统计表中是否存在包含第一统计项的统计条目，并根据判断结果对第一统计条目进行相应的清除处理，其中，在相邻两次检测到清理事件被触发之间，待统计的原始数据被统计至主统计表中，副统计表保持不变，第一统计条目中包含第一统计项和与第一统计项对应的第一统计值。通过采用上述技术方案，采用主统计表和副统计表分别进行统计数据的存储，在一次清理事件被触发后到下一次清理事件被触发之前，待统计的原始数据被统计至主统计表中，而副统计表保持不变，即主统计表中的各统计项对应的统计值是动态更新的，可认为是即时统计数据，而副统计表中存储了较为陈旧的统计数据，相比于现有技术中仅存在单个完整的统计表的方案，在进行统计操作时，可避免对整个统计表进行操作，降低统计操作复杂度，同时根据统计项在主副统计表中的交叠情况仅针对副统计表中的陈旧统计数据进行清除处理，不仅降低清除操作的复杂度，还能够合理有效地保留即时统计数据，避免影响正在使用的统计项的准确性。附图说明图1为本专利技术实施例提供的一种统计数据清理方法的流程示意图；图2为本专利技术实施例提供的又一种统计数据清理方法的流程示意图；图3为本专利技术实施例提供的另一种统计数据清理方法的流程示意图；图4为本专利技术实施例提供的一种统计数据清理过程示意图；图5为本专利技术实施例提供的一种统计数据清理装置的结构框图；图6为本专利技术实施例提供的一种计算机设备的结构框图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。图1为本专利技术实施例提供的一种统计数据清理方法的流程示意图，该方法可以由统计数据清理装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图1所示，该方法包括：步骤101、检测到统计数据的清理事件被触发，其中，在相邻两次检测到所述清理事件被触发之间，待统计的原始数据被统计至主统计表中，副统计表保持不变。示例性的，可设置主统计表和副统计表，统计表具体表现形式不做限定，例如可以是哈希表。在主统计表和副统计表中，可存储统计条目，一个统计条目中可包含统计项和对应的统计值，以哈希表为例，一个统计条目对应一个键值对，统计项为key(键)，统计值为value(值)。统计项可包括无状态数据对应的统计项，如基于UDP协议的收包数或发包数等，也可包括有状态数据对应的统计项，如基于TCP协议的收包数或发包数等。当然，统计项还可包括其他项目，可根据实际需求设置。示例性的，统计数据的清理事件的触发条件可根据实际需求进行设置。例如，可以按照固定周期进行周期性触发，也可根据实际情况不等间隔地触发(也即)，还可以将检测到其他需要进行统计数据清理的情况(如主统计表和副统计表对应的存储空间达到或超过预设空间阈值等)的发生作为触发条件。本专利技术实施例中，在相邻两次检测到所述清理事件被触发之间(为了便于说明，下文中将这段时间称为清理周期，可以理解的是，清理周期可以是固定的，也可以是动态变化的)，待统计的原始数据(如底层实时获取到的或产生的数据，以基于UDP协议的发包数为例本文档来自技高网...

【技术保护点】
1.一种统计数据清理方法，其特征在于，基于主统计表和副统计表实现，所述方法包括：/n检测到统计数据的清理事件被触发，其中，在相邻两次检测到所述清理事件被触发之间，待统计的原始数据被统计至所述主统计表中，所述副统计表保持不变；/n将所述副统计表中的第一统计条目取出，其中，所述第一统计条目中包含第一统计项和与所述第一统计项对应的第一统计值；/n判断所述主统计表中是否存在包含所述第一统计项的统计条目，并根据判断结果对所述第一统计条目进行相应的清除处理。/n

【技术特征摘要】
1.一种统计数据清理方法，其特征在于，基于主统计表和副统计表实现，所述方法包括：
检测到统计数据的清理事件被触发，其中，在相邻两次检测到所述清理事件被触发之间，待统计的原始数据被统计至所述主统计表中，所述副统计表保持不变；
将所述副统计表中的第一统计条目取出，其中，所述第一统计条目中包含第一统计项和与所述第一统计项对应的第一统计值；
判断所述主统计表中是否存在包含所述第一统计项的统计条目，并根据判断结果对所述第一统计条目进行相应的清除处理。


2.根据权利要求1所述的方法，其特征在于，所述根据判断结果对所述第一统计条目进行相应的清除处理，包括：
若判断出所述主统计表中不存在包含所述第一统计项的统计条目，则将所述第一统计条目删除。


3.根据权利要求1所述的方法，其特征在于，所述根据判断结果对所述第一统计条目进行相应的清除处理，包括：
若判断出所述主统计表中存在包含所述第一统计项的第二统计条目，则将所述第一统计值累加至所述第二统计条目中的第二统计值上，以实现对所述第一统计项的统计更新。


4.根据权利要求1-3任一所述的方法，其特征在于，在所述将副统计表中的第一统计条目取出之后，还包括：
依次将所述副统计表中剩余的第三统计条目取出，并执行判断所述主统计表中是否存在包含第三统计项的统计条目的相关操作，直到在本次清理事件被触发后已取出的统计条目的数量达到预设数量阈值或所述副统计表被清空，其中，所述第三统计条目中包含第三统计项和与所述第三统计项对应的第三统计值。


5.根据权利要求4所述的方法，其特征在于，还包括：
若检测到在将所述副统计表中的第四统计条目取出后，所述已取出的统计条目的数量达到所述预设数量阈值，则接收到本次清理事件对应的继续清理指令时，将所述第四统计条目的下一个统计条目取出，并执行判断所述主统计表中是否存在包含下一统计项的统计条目的相关操作，其中，所述下一统计项包含于所述下一个统计条目中。


6.根据权利要求4所述的方法，其特征在于，还包括：
若检测到所述副统计表被清空，则将所述主统计表和所述副统计表的身...

【专利技术属性】
技术研发人员：郑卫凯，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44