【技术实现步骤摘要】
本申请属于数据处理，具体涉及一种数据流批处理方法、装置、设备和计算机存储介质。
技术介绍
1、随着数据处理在多个领域具有广泛的应用，如实时语音识别、视频分析、网络流量分析、金融交易检测、人体活动识别等，在这些应用中，数据处理可以实时分析和处理数据，提高数据处理系统的智能化程度和决策效率。
2、现有技术中，数据流批处理的特点是持续生成数据和批量消费数据，提供数据处理的实时、高效及稳定性；数据流批处理的核心数据是设备数据，设备数据结构多样化且接入设备数据频率很高，每天产生海量的数据，rdmp结构化数据库支撑数据写入、高效数据查询及海量的数据存储，同时，设备数据也会根据规则产生报警数据，从而进行数据处理。
3、然而，一般的rdmp结构化数据库难以支撑高并发的数据写入、高效数据查询及海量的数据存储，同时数据也会根据规则产生报警数据对数据的实时要求很高，一般的微服务架构难以满足数据处理需求，导致数据处理系统处理数据的智能化程度和决策效率较低。
技术实现思路
1、本申请提供了一...
【技术保护点】
1.一种数据流批处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取物联网设备实时数据之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述分析数据包括：序列化原始数据和报警数据，所述对所述第一消费数据进行分析处理，得到分析数据，并将所述分析数据重新写回到所述kafka消息队列，得到新的kafka消息队列，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于规则库中的配置信息，采用批处理计算框架消费所述新的kafka消息队列中的数据，得到第二消费数据，包括：
5....
【技术特征摘要】
1.一种数据流批处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取物联网设备实时数据之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述分析数据包括：序列化原始数据和报警数据，所述对所述第一消费数据进行分析处理，得到分析数据，并将所述分析数据重新写回到所述kafka消息队列，得到新的kafka消息队列，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于规则库中的配置信息，采用批处理计算框架消费所述新的kafka消息队列中的数据，得到第二消费数据，包括：
5.根据权利要求1...
【专利技术属性】
技术研发人员：葛义丰，张帅，王玮，
申请(专利权)人：海纳云物联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。