埋点数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及大数据领域，提供一种埋点数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取原始埋点数据，基于已创建的埋点主题，对原始埋点数据进行主题划分，得到埋点主题数据，将埋点主题数据同步至已构建的分布式数据库的埋点主题表，基于埋点主题数据和分布式数据库中的埋点主题表进行数据分析。采用本方法能够为后续数据分析提供了统一的数据基础，使得在后续的数据分析过程中，屏蔽了埋点采集升级改造的变动，有效减轻了由于新旧埋点数据不兼容对后续数据分析产生的影响，保证了数据分析的一致性。此外，通过埋点主题和分布式数据库的埋点主题表的设计，能够高效地实现主题划分和数据同步，同时，还能够有效减轻开发工作量。开发工作量。开发工作量。

【技术实现步骤摘要】
埋点数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及大数据
，特别是涉及一种埋点数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]移动应用数据分析是一种典型的大数据处理场景，遵循统一的大数据处理流程，即采集、预处置、统计分析、挖掘。在实际应用中，移动应用需要通过版本升级更新向企业统一地采集SDK(Software Development Kit，软件开发工具)迁移，将出现埋点采集新旧数据并行的情况，为了保证移动应用数据分析的连续性，目前较为常用的是以应用改造同时支持的数据仓库转化方案。
[0003]然而，对于应用改造同时支持方案来说，主要存在不同埋点SDK采集的数据可能存在不兼容的情况，影响后续的数据分析、数据挖掘流程的一致性，进而影响数据分析的效率。
[0004]因此，需要提供一种能够兼容不同埋点SDK采集的数据，保障移动应用数据分析的一致性的方案。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够保证数据分析一致性的埋点数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种埋点数据处理方法。所述方法包括：
[0007]获取原始埋点数据；
[0008]基于已创建的埋点主题，对原始埋点数据进行主题划分，得到埋点主题数据；
[0009]将埋点主题数据同步至已构建的分布式数据库的埋点主题表；
[0010]基于埋点主题数据和分布式数据库中的埋点主题表进行数据分析。
[0011]在其中一个实施例中，已创建的埋点主题包括点击主题、曝光主题、页面主题、会话及设备主题以及页面浏览主题；
[0012]基于已创建的埋点主题，对原始埋点数据进行主题划分，得到埋点主题数据包括：
[0013]将原始埋点数据，按照预设的原始埋点数据与埋点主题的映射关系映射至点击主题、曝光主题、页面主题、会话及设备主题以及页面浏览主题中的至少一种埋点主题，得到埋点主题数据。
[0014]在其中一个实施例中，对原始埋点数据进行主题划分，得到埋点主题数据包括：
[0015]调用预定义的大数据云的流计算工具，以流计算的方式，对原始埋点数据进行主题划分，得到埋点主题数据。
[0016]在其中一个实施例中，将埋点主题数据同步至已构建的分布式数据库的埋点主题表包括：
[0017]调用预定义的大数据云的数据集成工具，将埋点主题数据同步至已构建的分布式
数据库的埋点主题表。
[0018]在其中一个实施例中，调用预定义的大数据云的数据集成工具，将埋点主题数据同步至已构建的分布式数据库的埋点主题表包括：
[0019]调用预定义的大数据云的数据集成工具，根据预设的数据源表与埋点主题表的映射关系，将埋点主题数据同步映射至已构建的分布式数据库的埋点主题表。
[0020]在其中一个实施例中，基于埋点主题数据和分布式数据库中的埋点主题表进行数据分析包括：
[0021]基于埋点主题数据进行实时计算分析；
[0022]基于分布式数据库中的埋点主题表进行离线计算分析。
[0023]第二方面，本申请还提供了一种埋点数据处理装置。所述装置包括：
[0024]数据获取模块，用于获取原始埋点数据；
[0025]主题划分模块，用于基于已创建的埋点主题，对原始埋点数据进行主题划分，得到埋点主题数据；
[0026]数据同步模块，用于将埋点主题数据同步至已构建的分布式数据库的埋点主题表；
[0027]数据分析模块，用于基于埋点主题数据和分布式数据库中的埋点主题表进行数据分析。
[0028]在其中一个实施例中，已创建的埋点主题包括点击主题、曝光主题、页面主题、会话及设备主题以及页面浏览主题；
[0029]主题划分模块还用于将原始埋点数据，按照预设的原始埋点数据与埋点主题的映射关系映射至点击主题、曝光主题、页面主题、会话及设备主题以及页面浏览主题中的至少一种埋点主题，得到埋点主题数据。
[0030]在其中一个实施例中，主题划分模块还用于调用预定义的大数据云的流计算工具，以流计算的方式，对原始埋点数据进行主题划分，得到埋点主题数据。
[0031]在其中一个实施例中，数据同步模块还用于调用预定义的大数据云的数据集成工具，将埋点主题数据同步至已构建的分布式数据库的埋点主题表。
[0032]在其中一个实施例中，数据同步模块还用于调用预定义的大数据云的数据集成工具，根据预设的数据源表与埋点主题表的映射关系，将埋点主题数据同步映射至已构建的分布式数据库
[0033]在其中一个实施例中，数据分析模块还用于基于埋点主题数据进行实时计算分析，基于分布式数据库中的埋点主题表进行离线计算分析。
[0034]预定义的面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0035]获取原始埋点数据；
[0036]基于已创建的埋点主题，对原始埋点数据进行主题划分，得到埋点主题数据；
[0037]将埋点主题数据同步至已构建的分布式数据库的埋点主题表；
[0038]基于埋点主题数据和分布式数据库中的埋点主题表进行数据分析。
[0039]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0040]获取原始埋点数据；
[0041]基于已创建的埋点主题，对原始埋点数据进行主题划分，得到埋点主题数据；
[0042]将埋点主题数据同步至已构建的分布式数据库的埋点主题表；
[0043]基于埋点主题数据和分布式数据库中的埋点主题表进行数据分析。
[0044]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0045]获取原始埋点数据；
[0046]基于已创建的埋点主题，对原始埋点数据进行主题划分，得到埋点主题数据；
[0047]将埋点主题数据同步至已构建的分布式数据库的埋点主题表；
[0048]基于埋点主题数据和分布式数据库中的埋点主题表进行数据分析。
[0049]上述埋点数据处理方法、装置、计算机设备、存储介质和计算机程序产品，在获取原始埋点数据后，并未直接进行数据转化，而是对原始埋点数据进行预处置，一方面，包括基于已创建的埋点主题，对原始埋点数据进行主题划分，得到埋点主题数据，另一方面，将埋点主题数据同步至已构建的分布式数据库的埋点主题表，最后，基于埋点主题数据和分布式数据库中的埋点主题表进行数据分析。上述方案，通过对原始埋点数据进行预处置，将包含新旧SDK采集的原始埋点数据拆分为统一的主题，并将拆分得到的埋点主题数据同步中分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种埋点数据处理方法，其特征在于，所述方法包括：获取原始埋点数据；基于已创建的埋点主题，对所述原始埋点数据进行主题划分，得到埋点主题数据；将所述埋点主题数据同步至已构建的分布式数据库的埋点主题表；基于所述埋点主题数据和所述分布式数据库中的埋点主题表进行数据分析。2.根据权利要求1所述的方法，其特征在于，已创建的埋点主题包括点击主题、曝光主题、页面主题、会话及设备主题以及页面浏览主题；所述基于已创建的埋点主题，对所述原始埋点数据进行主题划分，得到埋点主题数据包括：将所述原始埋点数据，按照预设的原始埋点数据与埋点主题的映射关系映射至所述点击主题、所述曝光主题、所述页面主题、所述会话及设备主题以及所述页面浏览主题中的至少一种埋点主题，得到埋点主题数据。3.根据权利要求1或2所述的方法，其特征在于，所述对所述原始埋点数据进行主题划分，得到埋点主题数据包括：调用预定义的大数据云的流计算工具，以流计算的方式，对所述原始埋点数据进行主题划分，得到埋点主题数据。4.根据权利要求3所述的方法，其特征在于，所述将所述埋点主题数据同步至已构建的分布式数据库的埋点主题表包括：调用预定义的大数据云的数据集成工具，将所述埋点主题数据同步至已构建的分布式数据库的埋点主题表。5.根据权利要求4所述的方法，其特征在于，所述调用预定义的大数据云的数据集成工具，将所述埋点主题数据同步至已构建的分布式数据库的埋点主题表包括：调用预定义的大数据云的数据集成工具，根据预设的数据源表与埋点主题表的映射关系，将所述埋点主题数据同步映射至已构建的分布式数据库的埋点主题表。6.根据权利要求1所述的方法，其特征在于，所述基于所述埋点主题数据和所述分布式数据库中的埋点主题表进行数据分析包括：基于所述埋点主题数据进行实时计算分析；基于所述分布式数据库中的埋点主题表进行离线计算分析。7.一种埋点数据处理装置，其特征在于，所述装置包括：数据获取模块，用于获取原始埋点数据；主题划分模块，用于基于已创建的埋点主题...

【专利技术属性】
技术研发人员：何嘉杰，黄小龙，邓玉，江魁栋，李尚真，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：