数据处理的方法和装置制造方法及图纸

本发明专利技术公开了数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取会话窗口的对象数据，所述对象数据包括：会话标识和对象标识；判断所述对象标识是否存在于与所述会话标识对应的窗口对象集中；若存在，则不对所述对象数据进行加工处理；否则，对所述对象数据进行加工处理。该实施方式通过仅在对象数据的对象标识不存在于的窗口对象集中时才对对象数据进行加工处理，能够实现只有会话窗口中有新的元素时才进行计算处理，大大降低数据处理量，便于用户查看实时数据。据。据。

【技术实现步骤摘要】
数据处理的方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理的方法和装置。

技术介绍

[0002]目前网络平台大多只提供离线数据的指标查询。业务方对实时数据有强烈的需求，只有离线数据，没有实时数据，对数据查看的及时性差，无法满足业务方查看实时数据的诉求。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种数据处理的方法和装置，通过仅在对象数据的对象标识不存在于的窗口对象集中时才对对象数据进行加工处理，能够实现只有会话窗口中有新的元素时才进行计算处理，大大降低数据处理量，便于用户查看实时数据。
[0004]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理的方法，包括：
[0005]获取会话窗口的对象数据，所述对象数据包括：会话标识和对象标识；判断所述对象标识是否存在于与所述会话标识对应的窗口对象集中；若存在，则不对所述对象数据进行加工处理；否则，对所述对象数据进行加工处理。
[0006]可选地，所述窗口对象集采用HashMap的形式存储，所述HashMap本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：获取会话窗口的对象数据，所述对象数据包括：会话标识和对象标识；判断所述对象标识是否存在于与所述会话标识对应的窗口对象集中；若存在，则不对所述对象数据进行加工处理；否则，对所述对象数据进行加工处理。2.如权利要求1所述的方法，其特征在于，所述窗口对象集采用HashMap的形式存储，所述HashMap的键key为所述会话标识，所述HashMap的值value为所述会话窗口包含的各个窗口对象的对象标识。3.如权利要求2所述的方法，其特征在于，所述对象标识为对象数据的哈希值。4.如权利要求1所述的方法，其特征在于，获取会话窗口的对象数据之前，还包括：采用Kafka保存采集到的会话窗口的对象数据；获取会话窗口的对象数据，包括：周期性地消费所述Kafka中的消息，得到所述会话窗口的对象数据。5.如权利要求4所述的方法，其特征在于，采用Kafka保存采集到的会话窗口的对象数据之前，还包括：清理所述对象数据中的冗余字段，和/或，统一所述对象数据中的字段名称。6.如权利要求1所述的方法，其特征在于，对所述对象数据进行加工处理之后，还包括：将加...

【专利技术属性】
技术研发人员：李冶钢，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：