数据处理方法及装置制造方法及图纸

本发明专利技术涉及数据处理方法及装置。该方法包括：接收数据源系统发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源系统将所述数据存储于所述服务器；根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；按照调度队列中地址信息的排列顺序，提取所述地址信息；根据所述地址信息从所述服务器下载所述数据；将下载的同一任务流的数据进行装载和汇聚。本发明专利技术实施例提供的技术方案可提高数据采集，装载和汇聚的效率及正确率。正确率。正确率。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本专利技术涉及通信
，尤其涉及一种数据处理方法、装置及电子设备。

技术介绍

[0002]目前4G业务呈爆发式增长，并伴随5G时代的到来，网络规模不断扩大、网络结构愈发复杂、网络业务不断多样化，网络指标数据量呈指数增长，各场景业务存在短时间内高用户数高流量的潮汐效应。在此大背景下，数据分析的实时性、准确性日益重要。
[0003]现有的数据分析系统通常采用定时任务的方式完成数据处理，如将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程，简称ETL。该数据处理方式中，数据采集，装载和汇聚三个环节的处理程序相互独立，靠约定的调度时间相互依赖，没有真正意义上形成任务流。随着数据源的增加，数据量的不断增大，业务的变化，需要不断调整调度时间，使得数据采集，装载和汇聚的过程不仅繁琐，并且容易发生错误。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了数据处理方法及装置，以提高数据采集，装载和汇聚的效率及正确率。
[0005]为了实现上述目的，第一方面，本专利技术提供了一种数据处理方法，所述方法包括：
[0006]接收数据源系统发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源系统将所述数据存储于所述服务器；
[0007]根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；
[0008]按照调度队列中地址信息的排列顺序，提取所述地址信息；
[0009]根据所述地址信息从所述服务器下载所述数据；
[0010]将下载的同一任务流的数据进行装载和汇聚。
[0011]结合第一方面，在一种可行的实施方式中，所述方法还包括：确定所述数据消息是否携带补采标识；若所述数据消息携带补采标识，则在从服务器下载所述数据之后，查找已下载数据中数据信息与所述数据中携带的数据信息相同的待替换数据；将所述待替换数据删除。
[0012]结合第一方面，在一种可行的实施方式中，所述根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列，包括：根据所述数据信息确定是否存在与所述数据对应的任务流；若不存在，建立所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；若存在，将所述地址信息写入到所述任务流对应的调度队列。
[0013]结合第一方面，在一种可行的实施方式中，所述地址信息包括：所述服务器的IP地址和端口地址，用于访问所述服务器的用户名和密码，及用于存储所述数据的文件名及文件路径。
[0014]结合第一方面，在一种可行的实施方式中，所述数据信息包括：数据详细信息，数据开始时间及数据结束时间。
[0015]为了实现上述目的，第二方面，本专利技术提供了一种数据处理装置，所述装置包括：
[0016]消息处理模块，用于接收数据源系统发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源系统将所述数据存储于所述服务器；
[0017]调度模块，用于根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；
[0018]数据处理模块，按照调度队列中地址信息的排列顺序，提取所述地址信息，根据所述地址信息从所述服务器下载所述数据；
[0019]所述数据处理模块，还用于将下载的同一任务流的数据进行装载和汇聚。
[0020]结合第二方面，在一种可行的实施方式中，所述数据处理模块还用于：确定所述数据消息是否携带补采标识；若所述数据消息携带补采标识，则在从服务器下载所述数据之后，查找已下载数据中数据信息与所述数据中携带的数据信息相同的待替换数据；将所述待替换数据删除。
[0021]结合第二方面，在一种可行的实施方式中，所述调度模块具体用于：根据所述数据信息确定是否存在与所述数据对应的任务流；若不存在，建立所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；若存在，将所述地址信息写入到所述任务流对应的调度队列。
[0022]为了实现上述目的，第三方面，本专利技术提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的数据处理方法。
[0023]为了实现上述目的，第四方面，本专利技术提供了一种计算机设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的数据处理方法。
[0024]在本方案中，将数据采集，装载和汇聚三个独立环节通过任务流有机统一起来，有效提高数据采集，装载和汇聚的效率及正确率。
【附图说明】
[0025]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0026]图1是本专利技术实施例提供的一种数据处理方法的流程示意图；
[0027]图2是本专利技术实施例提供的另一种数据处理方法的另一流程示意图；
[0028]图3是本专利技术实施例提供的一种数据处理装置的示意图；
[0029]图4是本专利技术实施例提供的一种可选的计算机设备的示意图。
【具体实施方式】
[0030]为了更好的理解本专利技术的技术方案，下面结合附图对本专利技术实施例进行详细描
述。
[0031]应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0032]在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0033]应当理解，本文中使用的术语“和/或”仅仅是一种描述绑定对象的绑定关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后绑定对象是一种“或”的关系。
[0034]应当理解，尽管在本专利技术实施例中可能采用术语第一、第二、第三等来描述终端，但这些终端不应限于这些术语。这些术语仅用来将终端彼此区分开。例如，在不脱离本专利技术实施例范围的情况下，第一终端也可以被称为第二终端，类似地，第二终端也可以被称为第一终端。
[0035]取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于数据处理装置，所述方法包括：接收数据源系统发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源系统将所述数据存储于所述服务器；根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；按照调度队列中地址信息的排列顺序，提取所述地址信息；根据所述地址信息从所述服务器下载所述数据；将下载的同一任务流的数据进行装载和汇聚。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述数据消息是否携带补采标识；若所述数据消息携带补采标识，则在从服务器下载所述数据之后，查找已下载数据中数据信息与所述数据中携带的数据信息相同的待替换数据；将所述待替换数据删除。3.根据权利要求1所述的方法，其特征在于，所述根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列，包括：根据所述数据信息确定是否存在与所述数据对应的任务流；若不存在，建立所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；若存在，将所述地址信息写入到所述任务流对应的调度队列。4.根据权利要求1所述的方法，其特征在于，所述地址信息包括：所述服务器的IP地址和端口地址，用于访问所述服务器的用户名和密码，及用于存储所述数据的文件名及文件路径。5.根据权利要求1所述的方法，其特征在于，所述数据信息包括：数据详细信息，数据开始时间及数据结束时间。6.一种数据处理装置，其特征在于，所述装置包括：消息处理模块...

【专利技术属性】
技术研发人员：蒲承祖，刘毅，刘红梅，姜良军，袁鲲，邱伟娜，张康，孙善勇，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：