数据处理方法、装置、设备、介质及产品制造方法及图纸

技术编号:33834485 阅读:38 留言:0更新日期:2022-06-16 11:47
本公开提供了一种数据处理方法、装置、设备、介质及产品,方法包括:获取当前物品标识;在所述当前物品标识与标识表中的物品标识匹配失败的情况下,获取所述当前物品标识在预设时间段内的流量,所述标识表通过对历史物品信息进行处理得到,所述历史物品信息包括:历史物品标识,所述历史物品标识包括:从缓存中获得的物品标识和无需进行匹配的物品标识;在所述流量大于预设流量,且,所述当前物品标识与所述缓存中存储的物品标识匹配失败的情况下,将所述当前物品标识存储在所述缓存。本公开用以解决现有技术中实时统计并识别各个物品的流量,造成的浪费计算资源的缺陷。造成的浪费计算资源的缺陷。造成的浪费计算资源的缺陷。

【技术实现步骤摘要】
数据处理方法、装置、设备、介质及产品


[0001]本公开涉及计算机
,尤其涉及一种数据处理方法、装置、设备、介质及产品。

技术介绍

[0002]在电商领域,物品流量是不可预测的,是随机的,可能会出现某个物品的瞬时访问量非常高,导致流量突增问题。因此,需要实时统计各个物品的流量,在出现流量突增现象时,对突增的流量进行异常确认,来判断突增的流量是否是异常流量。
[0003]由于实时统计各个物品的流量,因此需要大量的计算资源,另外,由于并不是所有的突增的流量都是异常流量,若是对每次突增的流量都进行异常确认,可能会出现重复确认的情况,也会浪费大量的计算资源,用户体验不好。

技术实现思路

[0004]本公开提供一种数据处理方法、装置、设备、介质及产品,用以解决现有技术中实时统计并识别各个物品的流量,造成的浪费计算资源的缺陷,实现有效的节省计算资源。
[0005]本公开提供一种数据处理方法,包括:
[0006]获取当前物品标识;
[0007]在所述当前物品标识与标识表中的物品标识匹配失败的情况下,获取所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:获取当前物品标识;在所述当前物品标识与标识表中的物品标识匹配失败的情况下,获取所述当前物品标识在预设时间段内的流量,所述标识表通过对历史物品信息进行处理得到,所述历史物品信息包括:历史物品标识,所述历史物品标识包括:从缓存中获得的物品标识和无需进行匹配的物品标识;在所述流量大于预设流量,且,所述当前物品标识与所述缓存中存储的物品标识匹配失败的情况下,将所述当前物品标识存储在所述缓存。2.根据权利要求1所述的数据处理方法,其特征在于,所述将所述当前物品标识存储在所述缓存之后,还包括:按照添加条件从所述缓存中获得所述缓存中存储的物品标识,所述添加条件包括:缓存条件和当前时刻未执行对所述历史物品信息的处理操作,所述缓存条件包括:所述缓存对应的缓存时长大于预设缓存时长,或,所述缓存剩余的缓存空间小于第一预设缓存空间。3.根据权利要求2所述的数据处理方法,其特征在于,所述获取当前物品标识之前,还包括:利用数据仓库工具,执行处理所述历史物品信息的处理操作;所述按照添加条件从所述缓存中获得所述缓存中存储的物品标识,包括:判断所述缓存剩余的缓存空间是否小于所述第一预设缓存空间;在判定所述缓存剩余的缓存空间小于所述第一预设缓存空间的情况下,判断当前时刻所述数据仓库工具是否在执行所述处理操作;在判定当前时刻所述数据仓库工具未执行所述处理操作的情况下,从所述缓存中获得所述缓存中存储的物品标识;或,判断所述缓存对应的缓存时长是否大于所述预设缓存时长;在判定所述缓存对应的缓存时长大于所述预设缓存时长的情况下,判断当前时刻所述数据仓库工具是否在执行所述处理操作;在判定当前时刻所述数据仓库工具未执行所述处理操作的情况下,从所述缓存中获得所述缓存中存储的物品标识。4.根据权利要求1

3任一项所述的数据处理方法,其特征在于,所述在所述流量大于预设流量,且,所述当前物品标识与缓存中存储的物品标识匹配失败的情况下,将所述当前物品标识存储在所述缓存,包括:判断所述流量是否大于所述预设流量;在判定所述流量大于所述预设流量的情况下,判断所述当前物品标识和所述缓存中存储的物品标识是否能够匹配成功;在判定所述当前物品标识和所述缓存中存储的物品标识匹配失败的情况下,判定所述缓存中不包括所述当前物品标识,将所述当前物品标识存储在所述缓存。5.根据权利要求1

3任一项所述的数据处理方法,其特征在于,所述缓存包括本地缓存和分布式缓存;所述在所述流量大于预设流量,且,所述当前物品标识与所述缓存中存储的物品标识
匹配失败的情况下,将所述当前物品标识存储在所述缓存,包括:判断所述流量是否大于所述预设流量;在判定所述流量大于所述预设流量的情况下,判断所述当前物品标识和所述本地缓存中存储的物品标识是否能够匹配成功,以及所述当前物品标识和所述分布式缓存中存储的物品标识是否能够匹配成功;在判定所述当前物品标识和所述本地缓存中存储的物品标识匹配失败,且,所述当前物品标识和所述分布式缓存中存储的物品标识匹配失败的情况下,判定所述本地缓存和所述分布式缓存中不包括所述当前物品标识,将所述当前物品标识存储在所述本地缓存。6.根据权利要求5所述的数据处理方法,其特征在于,所述将所述当前物品标识存储在所述本地缓存之后,还包括:在确定所述本地缓存剩余的缓存空间小于第二预设缓存空...

【专利技术属性】
技术研发人员:晁子亮徐贤军赖晨东温道新
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1