一种数据处理方法及装置制造方法及图纸

本发明专利技术实施例提供一种数据处理方法及装置，获取待处理数据，确定待处理数据的操作时间；基于操作时间，确定待处理数据是否为高频上传数据；若是，判断高频上传数据的记录值是否满足第一预设条件；若判断结果为是，将待处理数据存入存储器中，并判断存储器中的待处理数据量是否满足第二预设条件；若满足，分配一线程对存储器中的所有数据进行处理，并清空存储器。本方案可根据待处理数据的操作时间来确定数据频率，通过将满足条件的高频上传的待处理数据堆积在存储器中，当堆积到一定程度，启动一个线程对该些堆积的待处理数据进行统一处理，可极大降低数据处理的线程数，同时减少线程与数据库的连接建立次数，从而可缓解内存以及I/O资源。

【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及数据处理领域，尤其涉及一种数据处理方法及装置。
技术介绍
目前，在涉及数据上传，需要进行计算处理的业务场景，往往会直接进行计算，即每条待处理数据都启动一个线程对其进行处理。例如，在网络质量实时监控的应用场景中，后台服务器实时接收各代理设备或节点服务器上传的网络质量数据后，可为每条网络质量数据分配线程对其进行处理，以实时更新和展示当前的网络质量状况。然而，当数据上传的频率和密度较高时，后台服务器在高频接收数据的情况下，也需要高频地触发数据处理的机制以对上传数据进行处理。对于如此高频的计算，往往存在如下问题：1、内存损耗较大，会有大量性能消耗；2、如果涉及到数据库的增删改操作，线程需要与数据库建立连接，可能会占用较大的数据库I/O资源。因此，对于现有技术中的高频率的数据处理的场景，亟需一种缓解内存及I/O资源的数据处理方法。
技术实现思路
本专利技术实施例提供一种数据处理方法及装置，用以解决现有技术在高频率处理数据过程中所发生的巨大的内存损耗以及对I/本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取待处理数据，确定所述待处理数据的操作时间；/n基于所述操作时间，确定所述待处理数据是否为高频上传数据；/n若是，则判断高频上传数据的记录值是否满足第一预设条件；/n若判断结果为是，则将所述待处理数据存入存储器中，并判断所述存储器中的待处理数据量是否满足第二预设条件；若满足，则分配一线程对所述存储器中的所有数据进行处理，同时清空所述存储器。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取待处理数据，确定所述待处理数据的操作时间；
基于所述操作时间，确定所述待处理数据是否为高频上传数据；
若是，则判断高频上传数据的记录值是否满足第一预设条件；
若判断结果为是，则将所述待处理数据存入存储器中，并判断所述存储器中的待处理数据量是否满足第二预设条件；若满足，则分配一线程对所述存储器中的所有数据进行处理，同时清空所述存储器。


2.如权利要求1所述的方法，其特征在于，所述方法还包含：
若判断所述高频上传数据的记录值不满足第一预设条件，则更新所述高频上传数据的记录值，并分配一线程对所述待处理数据进行处理。


3.如权利要求1所述的方法，其特征在于，所述方法还包含：
若所述待处理数据不是高频上传数据，则将所述高频上传数据的记录值设为零，并分配一线程对所述待处理数据进行处理。


4.如权利要求1所述的方法，其特征在于，所述基于所述操作时间，确定所述待处理数据是否为高频上传数据的方法包含：
计算所述操作时间与上一条待处理数据的操作时间的差值；
若所述差值小于或等于时间阈值，则确定所述待处理数据为高频上传数据；否则，确定所述待处理数据不是高频上传数据。


5.如权利要求1所述的方法，其特征在于，所述第一预设条件包含：
所述高频上传数据的记录值大于或等于高频累计阈值。


6.如权利要求1所述的方法，其特征在于，所述第二预设条件包含：
所述存储器中的待处理数据量大于或等于数据堆积阈值。


7.如权利要求1所述的方法，...

【专利技术属性】
技术研发人员：张聪桂，
申请(专利权)人：厦门网宿有限公司，
类型：发明
国别省市：福建;35