数据处理方法及相关装置制造方法及图纸

本申请实施例公开了一种数据处理方法及相关装置，应用于数据处理系统中的第一数据处理服务器，所述数据处理系统包括所述第一数据处理服务器和第一数据存储服务器，所述方法包括：获取目标埋点数据流；对所述目标埋点数据流进行处理，得到与所述目标埋点数据流对应的目标明细数据；按照预设时间窗口对所述目标明细数据进行聚合处理，得到目标聚合数据；向第一数据存储服务器发送所述目标明细数据和所述目标聚合数据。本申请有利于提高数据处理系统的数据处理效率和存储数据的实时性。统的数据处理效率和存储数据的实时性。统的数据处理效率和存储数据的实时性。

【技术实现步骤摘要】
数据处理方法及相关装置


[0001]本申请涉及数据处理
，具体涉及一种数据处理方法及相关装置。

技术介绍

[0002]随着互联网技术的发展和应用，能够支持数据存储和数据查询的数据处理系统得到了广泛的应用，在此基础上，如何提高数据处理系统的数据处理效率和存储数据的实时性也是成为了被广泛关注的问题。

技术实现思路

[0003]本申请实施例提供了一种数据处理方法及相关装置，以期提高数据处理系统的数据处理效率和存储数据的实时性。
[0004]第一方面，本申请实施例提供了一种数据处理方法，应用于数据处理系统中的第一数据处理服务器，所述数据处理系统包括所述第一数据处理服务器和第一数据存储服务器，所述方法包括：
[0005]获取目标埋点数据流；
[0006]对所述目标埋点数据流进行处理，得到与所述目标埋点数据流对应的目标明细数据；
[0007]按照预设时间窗口对所述目标明细数据进行聚合处理，得到目标聚合数据；
[0008]向第一数据存储服务器发送所述目标明细数据和所述目标聚合数据。
[0009]第二方面，本申请实施例提供了另一种数据处理方法，应用于数据处理系统中的第一数据存储服务器，所述第一数据处理系统包括所述第一数据存储服务器和第一数据处理服务器，所述方法包括：
[0010]接收来自第一数据处理服务器的目标明细数据和目标聚合数据。
[0011]第三方面，本申请实施例提供了一种数据处理装置，应用于数据处理系统中的第一数据处理服务器，所述数据处理系统包括所述第一数据处理服务器和第一数据存储服务器，所述装置包括：
[0012]获取单元，用于获取目标埋点数据流；
[0013]处理单元，用于对所述目标埋点数据流进行处理，得到与所述目标埋点数据流对应的目标明细数据；
[0014]聚合单元，用于按照预设时间窗口对所述目标明细数据进行聚合处理，得到目标聚合数据；
[0015]发送单元，用于向第一数据存储服务器发送所述目标明细数据和所述目标聚合数据。
[0016]第四方面，本申请实施例提供了另一种数据处理装置，应用于数据处理系统中的第一数据存储服务器，所述第一数据处理系统包括所述第一数据存储服务器和第一数据处理服务器，所述装置包括：
[0017]接收单元，用于接收来自第一数据处理服务器的目标明细数据和目标聚合数据。
[0018]第五方面，本申请实施例提供了一种服务器，包括处理器、存储器以及通信接口，所述处理器、存储器和通信接口相互连接，其中，所述通信接口用于接收或发送数据，所述存储器用于存储服务器执行上述方法的应用程序代码，所述处理器被配置用于执行上述第一方面或第二方面的任一方法。
[0019]第六方面，本申请实施例提供了一种计算机可读存储介质，用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面或第二方面任一方法中所描述的部分或全部步骤。
[0020]第七方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，上述计算机程序被处理器执行时实现如本申请实施例第一方面或第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
[0021]本申请实施例中，数据处理系统中第一数据处理服务器先获取目标埋点数据流后，并对目标埋点数据流进行处理，得到该目标埋点数据流对应的目标明细数据，然后按照预设时间窗口对目标明细数据进行聚合处理，得到目标聚合数据，再向第一数据存储服务器发送该目标明细数据和目标聚合数据。可见，第一数据处理服务器获取目标埋点数据流且处理得到目标明细数据，然后按照预设时间窗口对目标明细数据进行聚合处理得到目标聚合数据，并向第一数据存储服务器发送该目标明细数据和目标数据进行存储，相对于未设置特定时间窗口，一次性对大批量静态数据进行处理而言，有利于提高数据处理系统的数据处理效率和存储数据的实时性。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1A是本申请实施例提供的一种数据处理系统的示例性硬件架构图；
[0024]图1B是本申请实施例提供的一种数据处理系统的示例性软件架构图；
[0025]图1C是本申请实施例提供的一种服务器的组成结构示例图；
[0026]图2A是本申请实施例提供的一种数据处理方法的流程示意图；
[0027]图2B是本申请实施例提供的一种实时数仓模块数据传输示例图；
[0028]图2C是本申请实施例提供的另一种数据处理方法的流程示意图；
[0029]图2D是本申请实施例提供的另一种数据处理方法的流程示意图；
[0030]图2E是本申请实施例提供的一种示例性的报表数据显示界面图；
[0031]图2F是本申请实施例提供的另一种数据处理方法的流程示意图；
[0032]图2G是本申请实施例提供的另一种数据处理方法的流程示意图；
[0033]图3A是本申请实施例提供的一种数据处理装置的功能单元组成框图；
[0034]图3B是本申请实施例提供的另一种数据处理装置的功能单元组成框图；
[0035]图4A是本申请实施例提供的另一种数据处理装置的功能单元组成框图；
[0036]图4B是本申请实施例提供的另一种数据处理装置的功能单元组成框图。
具体实施方式
[0037]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0038]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0039]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
[0040]“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统中的第一数据处理服务器，所述数据处理系统包括所述第一数据处理服务器和第一数据存储服务器，所述方法包括：获取目标埋点数据流；对所述目标埋点数据流进行处理，得到与所述目标埋点数据流对应的目标明细数据；按照预设时间窗口对所述目标明细数据进行聚合处理，得到目标聚合数据；向第一数据存储服务器发送所述目标明细数据和所述目标聚合数据。2.根据权利要求1所述的方法，其特征在于，所述数据处理系统还包括第一消息队列模块，所述第一数据处理服务器包括数据采集SDK模块、实时数仓模块，所述获取目标埋点数据流，包括：通过所述数据采集SDK模块采集业务埋点数据流；通过所述数据采集SDK模块向所述第一消息队列模块发送所述业务埋点数据流；通过实时数仓模块从所述第一消息队列模块获取所述目标埋点数据流，所述业务埋点数据流包括所述目标埋点数据流；所述对所述目标埋点数据流进行处理，得到与所述目标埋点数据流对应的目标明细数据，包括：通过所述实时数仓模块对所述目标埋点数据流进行处理，得到与所述目标埋点数据流对应的目标明细数据；所述按照预设时间窗口对所述目标明细数据进行聚合处理，得到目标聚合数据，包括：通过所述实时数仓模块按照预设时间窗口对所述目标明细数据进行聚合处理，得到目标聚合数据。3.根据权利要求2所述的方法，其特征在于，所述第一数据处理服务器还包括统计数据存储服务模块，所述向第一数据存储服务器发送所述目标明细数据和所述目标聚合数据，包括：通过所述统计数据存储服务模块从所述第一消息队列模块获取并向所述第一数据存储服务器发送所述目标明细数据和所述目标聚合数据。4.根据权利要求2所述的方法，其特征在于，所述数据处理系统还包括第二数据处理服务器和第二消息队列模块，所述第一数据处理服务器还包括统计数据同步服务模块，所述方法还包括：通过所述统计数据同步服务模块从所述第二消息队列模块获取第一聚合数据，所述第一聚合数据是所述第二数据处理服务器发送给所述第二消息队列模块的；通过所述统计数据同步服务模块向所述第一数据存储服务器发送所述第一聚合数据。5.根据权利要求2所述的方法，其特征在于，所述第一数据处理服务器还包括业务服务模块、统计数据采集接入服务模块和业务元数据查询服务模块，所述通过所述数据采集SDK模块采集业务埋点数据流，包括：通过所述业务服务模块向所述数据采集SDK模块发送数据上报请求；通过所述数据采集SDK模块在接收到所述数据上报请求时，向所述统计数据采集接入服务模块发送业务配置请求；通过所述统计数据采集接入服务模块在接收到所述业务配置请求时，从所述业务元数据查询服务模块获取并向所述数据采集SDK模块发送业务配置信息，所述业务配置信息包
括消息队列配置信息，所述消息队列配置信息用于指示所述数据上报请求对应的第一业务对应的所述第一消息队列模块；通过所述数据采集SDK模块采集并向所述第一消息队列模块发送所述业务埋点数据流。6.根据权利要求5所述的方法，其特征在于，所述业务配置信息还包括在线配置信息，所述在线配置信息用于指示所述数据上报请求对应的第一业务是否在线，所述通过所述数据采集SDK模块采集并向所述第一消息队列模块发送所述业务埋点数据流，包括：通过所述数据采集SDK模块在所述第一业务在线时，采集并向所述第一消息队列模块发送所述业务埋点数据流。7.根据权利要求5所述的方法，其特征在于，所述业务配置信息还包括签名信息，所述签名信息用于校验所述数据上报请求是否可信，所述通过所述数据采集SDK模块采集并向所述第一消息队列模块发送所述业务埋点数据流，包括：通过所述数据采集SDK模块在所述数据上报请求可信时，采集并向所述第一消息队列模块发送所述业务埋点数据流。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收来自电子设备的数据报表查询请求；根据所述数据报表查询请求组合多个基础报表数据，得到目标报表数据，所述基础报表数据是按照预设规则对所述目标聚合数据进行聚合处理得到的；向所述电子设备发送所述目标报表数据。9.根据权利要求8所述的方法，其特征在于，所述第一数据处理服务器包括业务服务模块、业务运营接口服务模块和统计数据管理服务模块；所述接收来自电子设备的数据报表查询请求，包括：通过业务服务模块接收并向所述业务运营接口服务模块发送来自所述电子设备的所述数据报表查询请求；所述根据所述数据报表查询请求组合多个基础报表数据，得到目标报表数据，包括：通过所述业务运营接口服务模块根据所述数据报表查询请求，向所述统计数据管理服务模块请求所述多个基础报表数据；通过所述统计...

【专利技术属性】
技术研发人员：陈建宏，王祥，刘骏佳，李振钦，
申请(专利权)人：杭州逗酷软件科技有限公司，
类型：发明
国别省市：