埋点数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及大数据领域，提供一种埋点数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取原始埋点数据，基于已创建的埋点主题，对原始埋点数据进行主题划分，得到埋点主题数据，将埋点主题数据同步至已构建的分布式数据库的埋点主题表，基于埋点主题数据和分布式数据库中的埋点主题表进行数据分析。采用本方法能够为后续数据分析提供了统一的数据基础，使得在后续的数据分析过程中，屏蔽了埋点采集升级改造的变动，有效减轻了由于新旧埋点数据不兼容对后续数据分析产生的影响，保证了数据分析的一致性。此外，通过埋点主题和分布式数据库的埋点主题表的设计，能够高效地实现主题划分和数据同步，同时，还能够有效减轻开发工作量。开发工作量。开发工作量。

【技术实现步骤摘要】
埋点数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及大数据
，特别是涉及一种埋点数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]移动应用数据分析是一种典型的大数据处理场景，遵循统一的大数据处理流程，即采集、预处置、统计分析、挖掘。在实际应用中，移动应用需要通过版本升级更新向企业统一地采集SDK(Software Development Kit，软件开发工具)迁移，将出现埋点采集新旧数据并行的情况，为了保证移动应用数据分析的连续性，目前较为常用的是以应用改造同时支持的数据仓库转化方案。
[0003]然而，对于应用改造同时支持方案来说，主要存在不同埋点SDK采集的数据可能存在不兼容的情况，影响后续的数据分析、数据挖掘流程的一致性，进而影响数据分析的效率。
[0004]因此，需要提供一种能够兼容不同埋点SDK采集的数据，保障移动应用数据分析的一致性的方案。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够保证数据分析一致性的埋点数据处理方法、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种埋点数据处理方法，其特征在于，所述方法包括：获取原始埋点数据；基于已创建的埋点主题，对所述原始埋点数据进行主题划分，得到埋点主题数据；将所述埋点主题数据同步至已构建的分布式数据库的埋点主题表；基于所述埋点主题数据和所述分布式数据库中的埋点主题表进行数据分析。2.根据权利要求1所述的方法，其特征在于，已创建的埋点主题包括点击主题、曝光主题、页面主题、会话及设备主题以及页面浏览主题；所述基于已创建的埋点主题，对所述原始埋点数据进行主题划分，得到埋点主题数据包括：将所述原始埋点数据，按照预设的原始埋点数据与埋点主题的映射关系映射至所述点击主题、所述曝光主题、所述页面主题、所述会话及设备主题以及所述页面浏览主题中的至少一种埋点主题，得到埋点主题数据。3.根据权利要求1或2所述的方法，其特征在于，所述对所述原始埋点数据进行主题划分，得到埋点主题数据包括：调用预定义的大数据云的流计算工具，以流计算的方式，对所述原始埋点数据进行主题划分，得到埋点主题数据。4.根据权利要求3所述的方法，其特征在于，所述将所述埋点主题数据同步至已构建的分布式数据库的埋点主题表包括：调用预定义的大数据云的数据集成工具，将所述埋点主题数据同步至已构建的分布式数据库的埋点主题表。5.根据权利要求4所述的方法，其特征在于，所述调用预定义的大数据云的数据集成工具，将所述埋点主题数据同步至已构建的分布式数据库的埋点主题表包括：调用预定义的大数据云的数据集成工具，根据预设的数据源表与埋点主题表的映射关系，将所述埋点主题数据同步映射至已构建的分布式数据库的埋点主题表。6.根据权利要求1所述的方法，其特征在于，所述基于所述埋点主题数据和所述分布式数据库中的埋点主题表进行数据分析包括：基于所述埋点主题数据进行实时计算分析；基于所述分布式数据库中的埋点主题表进行离线计算分析。7.一种埋点数据处理装置，其特征在于，所述装置包括：数据获取模块，用于获取原始埋点数据；主题划分模块，用于基于已创建的埋点主题...

【专利技术属性】
技术研发人员：何嘉杰，黄小龙，邓玉，江魁栋，李尚真，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：