数据处理方法技术

本公开涉及数据存储技术领域，公开了一种数据处理方法

【技术实现步骤摘要】
数据处理方法、系统、设备和存储介质


[0001]本公开涉及数据存储
，具体涉及一种数据处理方法
、
系统
、
设备和存储介质
。

技术介绍

[0002]目前，在具有海量数据的场景下进行数据查询时，由于需要检索的数据量非常大，经常会出现检索时间长
、
查询时延较大的问题
。
如何提高大数据场景下的数据查询速度，已是一个亟需解决的问题
。

技术实现思路

[0003]有鉴于此，本公开实施方式提供了一种数据处理方法
、
数据处理系统
、
电子设备和计算机可读存储介质，可以提高数据查询速度
。
[0004]本公开一方面提供了一种数据处理方法，所述方法包括：
[0005]获取数据流，所述数据流包括待保存的目标数据
、
生成所述目标数据的数据生成设备对应的设备标识和所述目标数据的时间戳；
[0006]将所述目标数据划分到会话窗口中，其中，同一会话窗口中的目标数据具有相同的设备标识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，所述方法包括：获取数据流，所述数据流包括待保存的目标数据
、
生成所述目标数据的数据生成设备对应的设备标识和所述目标数据的时间戳；将所述目标数据划分到会话窗口中，其中，同一会话窗口中的目标数据具有相同的设备标识和时间戳；针对任一会话窗口，在满足预设条件的情况下，将会话窗口中的目标数据聚合为一条聚合数据进行保存，以及将会话窗口中的目标数据所具有的设备标识和时间戳，作为对所述聚合数据进行查询的关键字索引
。2.
如权利要求1所述的方法，其特征在于，所述在满足预设条件的情况下，将会话窗口中的目标数据聚合为一条聚合数据进行保存，包括：在会话窗口的会话时长达到预设时长的情况下，将会话窗口中的目标数据聚合为一条聚合数据进行保存；或在会话窗口中的目标数据的条数达到预设条数的情况下，将会话窗口中的目标数据聚合为一条聚合数据进行保存
。3.
如权利要求1或2所述的方法，其特征在于，在完成数据聚合后，所述方法还包括：关闭完成数据聚合的会话窗口；在关闭会话窗口后，若未接收到与已关闭的会话窗口相对应的目标数据，则不触发创建所述已关闭的会话窗口
。4.
如权利要求1所述的方法，其特征在于，所述将所述目标数据划分到会话窗口中，包括：在已存在的会话窗口中，查找是否存在与所述目标数据的设备标识和时间戳相对应的会话窗口；若存在，将所述目标数据划分到对应的会话窗口中；若不存在，为所述目标数据新建会话窗口，并将所述目标数据划分到新建的会话窗口中
。5.
如权利要求1所述的方法，其特征在于，在保存所述聚合数据后，所述方法还包括：接收数据查询请求，所述数据查询请求包括请求时间段和请求设备标识；在已保存的聚合数据中，根据各个聚合数据的关键字索引，查询时间戳位于所述请求时间段，且设备标识为所述请求设备标识的聚合数据；解析查询出的聚合数据，得到所述请求设备标识表征的设备在所述请求时间段内生成的目标数据
。6.
如权利要求5所述的方法，其特征在于，所述根据各个聚合数据的关键字索引，查询时间戳位于所述请求时间段，且设备标识为所述请求设备标识的聚合数据，包括：根据各个聚合...

【专利技术属性】
技术研发人员：梁新飞，陈天恩，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：