数据处理方法、设备及存储介质技术

本申请提供一种数据处理方法、设备及存储介质，该方法包括获取待处理数据，根据预设规则和待处理数据的数据特征，确定待处理数据的第一Key，若本地缓存中存在第一Key对应的数据，则将第一Key的最近访问时间和累计访问次数进行更新，根据本地缓存最小时间戳、更新后的第一Key的最近访问时间和更新后的第一Key的累计访问次数，计算第一Key的当前热度值；根据第一Key的当前热度值，将第一Key对应的数据存储于本地缓存中或非本地缓存中，非本地缓存中各数据对应的热度值低于所述本地缓存中各数据对应的热度值。本申请提供的数据处理方法，提高了数据处理效率。提高了数据处理效率。提高了数据处理效率。

【技术实现步骤摘要】
数据处理方法、设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、设备及存储介质。

技术介绍

[0002]随着通信技术的发展，大数据时代已然来临，对海量热点数据的处理，是企业进行业务管理以及为用户提供更好服务的关键环节。
[0003]现有技术中，通常可以将海量热点数据存储于缓存集群中，通过与缓存集群进行数据交互，实现对海量热点数据的处理。
[0004]然而，实现本申请过程中，专利技术人发现现有技术中至少存在如下问题：与缓存集群的交互效率会受到网络带宽的限制，数据传输具有较高延迟，降低了数据处理效率。

技术实现思路

[0005]本申请提供一种数据处理方法、设备及存储介质，以提高数据处理的效率。
[0006]第一方面，本申请提供一种数据处理方法，包括：
[0007]获取待处理数据，并根据预设规则和所述待处理数据的数据特征，确定所述待处理数据的第一Key；
[0008]若本地缓存中存在所述第一Key对应的数据，则将所述第一Key的最近访问时间和累计访问次数进行更新；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理数据，并根据预设规则和所述待处理数据的数据特征，确定所述待处理数据的第一Key；若本地缓存中存在所述第一Key对应的数据，则将所述第一Key的最近访问时间和累计访问次数进行更新；根据本地缓存最小时间戳、更新后的所述第一Key的最近访问时间和更新后的所述第一Key的累计访问次数，计算所述第一Key的当前热度值；所述本地缓存最小时间戳为所述本地缓存中各Key的更新后的最近访问时间中的最小值；根据所述第一Key的当前热度值，将所述第一Key对应的数据存储于本地缓存中或非本地缓存中；所述非本地缓存中各数据对应的热度值低于所述本地缓存中各数据对应的热度值。2.根据权利要求1所述的方法，其特征在于，所述根据预设规则和所述待处理数据的数据特征，确定所述待处理数据的第一Key之后，还包括：若本地缓存中存在需与所述第一Key进行关联访问的第二Key，则将所述第二Key的最近访问时间和累计访问次数进行更新；根据本地缓存最小时间戳、更新后的所述第二Key的最近访问时间和更新后的所述第二Key的累计访问次数，计算所述第二Key的当前热度值；根据所述第二Key的当前热度值，将所述第二Key对应的数据存储于本地缓存中或非本地缓存中。3.根据权利要求1所述的方法，其特征在于，所述根据本地缓存最小时间戳、更新后的所述第一Key的最近访问时间和更新后的所述第一Key的累计访问次数，计算所述第一Key的当前热度值，包括：将所述第一Key的最近访问时间与所述本地缓存最小时间戳之间的差值，和所述第一Key的累计访问次数的加权和，确定为所述第一Key的热度值。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一Key的当前热度值，将所述第一Key对应的数据存储于本地缓存中或非本地缓存中，包括：根据所述热度值，将所述第一Key对应的数据加入本地缓存的优先级队列中；所述优先级队列的头部数据的热度值高于尾部数据的热度值；根据所述优先级队列的当前的元素个数和预设阈值，将优先级队列中满足预设条件的尾部数据换出至非本地缓存中。5.根据权利要求4所述的方法，其特征在于，所述非本地缓存包括缓存集群，所述预设阈值包括窗口允许最大值、基准值和预设最低热度值；所述根据所述优先级队列的当前的元素个数和预设阈值，将优先级队列中满足预设条件的尾部数据换出至非本地缓存中，包括：若所述优先级队列的元素个数大于窗口允许最大值，...

【专利技术属性】
技术研发人员：李丹，徐可飞，张兴宇，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：