数据处理方法、电子设备及存储介质技术

本申请实施例提供一种数据处理方法、电子设备及存储介质，获取用户数据，获取设备编码，建立分布式消息系统的分区，通过预设算法将所述用户数据缓存至所述分布式消息系统的分区，所述设备编码对应所述分区的编码，根据最少使用的信息，动态的为设备数据分配最优分区，保持设备数据的时序性，也保持kafka分区均衡，合理充分利用kafka分区资源，避免热点分区和数据倾斜问题，提高平台稳定性、准确性、可靠性，提高数据处理能力。提高数据处理能力。提高数据处理能力。

【技术实现步骤摘要】
数据处理方法、电子设备及存储介质


[0001]本申请涉及数据处理领域，特别涉及一种数据处理方法、电子设备及存储介质。

技术介绍

[0002]目前工厂智能装备分布广且分散，无法对设备运行状态实时监测、对异常运行设备及时告警与故障诊断，当智能装备出现故障仅能靠工程师现场勘查收集和排除异常，耗时费力，企业服务和运维成本非常高。
[0003]随着工业互联网技术的快速发展，企业越来越重视数据价值。设备产生的数据一般都采用时序数据库，目前主流成熟的时序数据库InfluxDB、OpenTSDB等高可用集群收费，对一般企业成本太高。
[0004]数字化工厂产生的时序数据量是巨量的，在现有开源技术环境下，传统数据处理方法处理效率低，面临存储成本高的缺陷。

技术实现思路

[0005]本申请提供了一种数据处理方法、电子设备及存储介质，具体为一种基于kafka消息队列处理设备运行时序数据的方法，通过建立和管理分区池，根据最少使用的信息，动态的为设备数据分配最优分区，保持设备数据的时序性，也保持kafka分区均衡，合理充分利用kafka分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取用户数据；获取设备编码；建立分布式消息系统的分区；通过预设算法将所述用户数据缓存至所述分布式消息系统的分区，所述设备编码对应所述分区的编码。2.根据权利要求1所述的数据处理方法，其特征在于，所述用户数据包括：时序数据、所述设备数量数据和最新接入时间数据。3.根据权利要求1所述的数据处理方法，其特征在于，所述获取设备编码包括：通过接入所述设备，获取所述设备编码，读取所述分区的信息。4.根据权利要求1所述的数据处理方法，其特征在于，所述通过预设算法将所述用户数据缓存至所述分布式消息系统的分区包括：通过预设算法，动态分配所述用户数据至所述分布式消息系统的分区。5.根据权利要求4所述的数据处理方法，其特征在于，所述通过预设算法，动态分配所述用户数据至所述分布式消息系统的分区还包括：根据接入所述设备的数量排序所述分布式消息系统的分区；若接入所述设备的数量最少的所述分区只有一个，则优先分配所述接入所述设备的数量最少的分区；若接入所述设备的数量相同，则根据最新接入时间排序所述分区，获取最旧接入时间的分区，优先分配所述最旧接入时间的分区。6.根据权利...

【专利技术属性】
技术研发人员：陈继钢，
申请(专利权)人：成都赛力斯科技有限公司，
类型：发明
国别省市：