一种数据处理方法、装置及电子设备制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置及电子设备，所述方法包括：基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集；基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。通过本方法，可以提高数据分发和装载时的数据处理效率。高数据分发和装载时的数据处理效率。高数据分发和装载时的数据处理效率。

【技术实现步骤摘要】
一种数据处理方法、装置及电子设备


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置及电子设备。

技术介绍

[0002]随着计算机技术的不断发展，移动通信业务的用户数量急剧增长，如何满足较大数据量的移动通信业务数据的时候计算需求(如实时计算、离线计算等)成为运营商关注的焦点。
[0003]目前，可以通过日志服务器的基于链表的双端阻塞队列，进行多路数据流的分发，即通过日志服务器将移动通信业务数据推送至消息发布系统(如Kafka)，并同时通过日志服务器还可以将移动通信业务数据装载到分布式文件系统(Hadoop Distributed File System，HDFS)。
[0004]但是，由于基于链表的双端阻塞队列是基于独占锁的方式实现数据的进队和出队，所以，通过上述方式进行移动通信数据的分发和装载，会导致由于线程等待解除加锁而发生延迟执行等情况，另外，由于待处理的移动通信数据的数据量较大，而日志服务器的数据分发方式，存在分发速度慢的情况，导致数据处理的时效性差，数据处理效率低。
专利
技术实现思路

本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，所述无锁队列为基于环形数组构建的、且不需要进行加锁的队列；基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。2.根据权利要求1所述的方法，其特征在于，所述基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，包括：基于预设清洗规则，对所述无锁队列中的目标数据进行数据清洗处理，并基于预设分类规则和清洗处理后的目标数据的数据特征，对所述清洗处理后的目标数据进行分类，得到多个分类数据集。3.根据权利要求2所述的方法，其特征在于，在所述基于预设清洗规则，对所述无锁队列中的目标数据进行数据清洗处理之前，还包括：获取所述目标数据的数据信息；基于所述数据信息，确定所述预设清洗规则。4.根据权利要求1所述的方法，其特征在于，所述将所述第二数据集中的目标数据装载至预设分布式文件系统，包括：基于异步装载的方式，将所述第二数据集中的目标数据装载至所述预设分布式文件系统。5.根据权利要求4所述的方法，其特征在于，所述将所述第二数据集中的目标数据装载至所述预设分布式文件系统，包括：基于预设装载周期和预设装载量，将所述第二数据集中的目标数据装载至所述预设分布式文件系统。6.根据权利要求1...

【专利技术属性】
技术研发人员：张晓川，谭丽丽，张湛梅，肖文彬，谢梦，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：