一种数据埋点分析的方法、设备及系统技术方案

本申请的目的是提供一种数据埋点分析的方法、设备及系统，本申请通过根据新获取的配置版本信息确定发生变更的配置内容，并基于页面上的事件进行埋点定义及投递日志的格式定义；根据定义的投递日志的格式对采集的投递日志进行校验，得到校验后的投递日志；对所述发生变更的配置内容及所述校验后的投递日志进行解析以提取会话上下文标识，并根据预设的聚合规则进行聚合，得到聚合结果；基于所述会话上下文标识及所述聚合结果确定异常对象。进而，极大减少了后期的数据清洗、统计分析的繁琐过程，提高工作效率，并实现智能更自动化的统计分析和精准地用户行为追踪，对用户的行为可进行实时可视化回放，进而提高用户体验。

A method, equipment and system for data burying point analysis

The purpose of the application is to provide a method, device and system for data burial analysis. This application determines the configuration content of the change according to the newly acquired version information, and based on the events on the page to define the burial point and the format of the delivery log. The log is checked and the checked delivery log is obtained; the configured content of the changed and the recursion log after the checkout is parsed to extract the session context identity and aggregate according to the preset aggregation rules to get the aggregation results; based on the session context identification and the aggregated results determined. Abnormal objects. Furthermore, it greatly reduces the tedious process of data cleaning and statistical analysis in the later period, improves work efficiency, and realizes intelligent and automated statistical analysis and accurate user behavior tracking, and can replay the user's behavior in real time, and then improve the user experience.

【技术实现步骤摘要】
一种数据埋点分析的方法、设备及系统
本申请涉及计算机领域，尤其涉及一种数据埋点分析的方法、设备及系统。
技术介绍
通常通过一些统计指标，例如，活跃用户数、某个位置的点击率、某个活动的转化率等等来反映一款产品的产品功能，而这些指标的计算都是通过在PC端或者移动端(以下简称”端”)埋点来获取用户行为数据通过大数据的手段进行统计分析得出。最初的埋点都是通过具体的开发人员在开发阶段针对产品的需求和埋点的定义在某些指定页面或者指定行为上预先编写好相关行为日志投递代码，这样在下个版本发布之后，能够采集到相关的日志信息。然而，在产品快速迭代，需求不断变更的场景下，这种预先定义的方式无法满足多场景的需求，灵变性差，比如想在线上产品上增加埋点，采用这种方式就无法满足，而移动端产品审核发布周期比较长，不像PC端网页内容是由服务端控制呈现的，所以针对移动端只能先把埋点代码加好，等下个版本发布上线。因而无法及时的追踪产品某些功能的效果好坏和用户的体验情况，极端情况下可能导致用户流失的情况发生。而且由于IOS和安卓两个不同移动端的开发人员属不同组，对埋点定义的理解有偏差可能导致投递出来的日志格式不统一，对后期的数据清洗、统计分析工作都带来了不小的麻烦，而且如果埋点有BUG投递有问题只有通过发版本来修复，频繁的升级势必也会影响用户体验。由开发人员增加埋点，测试人员进行埋点日志跟踪测试，然后由埋点定义者验收埋点成果，流程繁琐，三方沟通成本非常大，而且一方测试没有通过，要回到起点重新进行回归测试，沟通成本高，需要开发人员投入大量精力在辅助性功能上，工作效率低。
技术实现思路
本申请的一个目的是提供一种数据埋点分析的系统、方法及其设备，解决实时埋点需求变更、投递日志格式不一致及后期数据分析统计复杂的问题。根据本申请的一个方面，提供了一种数据埋点分析的系统，所述系统包括：云端配置模块、客户端模块、数据采集模块、清洗统计模块和异常分析模块，其中，所述云端配置模块用于埋点定义及投递日志的格式定义；所述客户端模块用于感知配置变化更新缓存本地配置；所述数据采集模块用于采集所述客户端模块投递的日志、所述云端配置模块下发的配置内容，并根据定义的投递日志的格式对所述投递的日志进行校验，将校验后的投递日志发送至所述清洗统计模块；所述清洗统计模块用于将从所述云端配置模块获取的配置内容及所述校验后的投递日志进行解析以提取会话上下文标识，并根据预设的聚合规则进行聚合，将得到的聚合结果发送至所述异常分析模块；所述异常分析模块用于基于所述会话上下文标识及所述聚合结果确定异常对象。进一步地，上述系统中，所述客户端模块用于：对发生变更的配置数据进行解析并缓存后，根据页面的唯一标识获取缓存的配置数据；在所述页面上加载已注册配置数据的元素事件；根据触发条件对加载的元素事件进行解析配置日志格式，并提取页面的相关信息发送至所述数据采集模块。进一步地，上述系统中，所述云端配置模块用于：将之前获取的配置版本信息与新获取的配置版本信息进行比对，确定发生变更的配置数据；基于页面上的事件进行埋点定义及投递日志的格式定义，得到埋点配置信息和投递日志的格式信息，其中，所述事件包括各页面的显示和所述页面上元素的点击；根据所述客户端模块的获取请求分别将发生变更的配置数据、埋点配置信息及投递日志的格式信息发送至所述客户端模块。根据本申请再一个方面，还提供了一种数据埋点分析的方法，所述方法包括：根据新获取的配置版本信息确定发生变更的配置内容，并基于页面上的事件进行埋点定义及投递日志的格式定义；根据定义的投递日志的格式对采集的投递日志进行校验，得到校验后的投递日志；对所述发生变更的配置内容及所述校验后的投递日志进行解析以提取会话上下文标识，并根据预设的聚合规则进行聚合，得到聚合结果；基于所述会话上下文标识及所述聚合结果确定异常对象。进一步地，上述方法中，基于页面上的事件进行埋点定义及投递日志的格式定义，包括：基于页面上的事件配置文件名称和定义埋点内容，其中，所述文件名称包括项目名称、模块名称、页面名称及版本信息，所述埋点内容包括关于所述页面上每个元素的相应的事件；定义投递日志的格式为schema，根据所述schema对投递日志进行校验。进一步地，上述方法中，对所述发生变更的配置内容进行解析以提取会话上下文标识，包括：对发生变更的配置内容进行解析、缓存至本地；根据接收的推送日志数据解析日志消息的消息头信息提取所述消息与schema的对应关系；根据所述schema及所述对应关系提取会话上下文标识。进一步地，上述方法中，根据预设的聚合规则进行聚合得到聚合结果，包括：根据预设的聚合规则按多个维度进行聚合得到聚合结果，其中，所述维度包括页面、上下文及元素。进一步地，上述方法中，所述方法包括：通过配置上下文信息及指定的界面边界将用户行为进行归类。进一步地，上述方法中，基于所述会话上下文标识及所述聚合结果确定异常对象，包括：基于所述会话上下文标识将用户的一组上下文标识相同的行为日志进行串联，生成用户行为路径，根据所述用户行为路径及所述聚合结果确定异常对象。进一步地，上述方法中，所述方法包括：指定上下文的起始页面及终止页面，获取所述起始页面的会话上下文标识，将所述会话上下文标识依次传递至后续页面，直至在终止页面进行移除会话上下文标识；同一上下文中每一页面分别进行投递日志消息，其中，所述日志消息的消息头包含所述会话上下文标识。进一步地，上述方法中，所述方法包括：通过指定的用户设备唯一标识与测试应用建立的长连接，将通过解析日志获取到的用户的行为路径复现至所述测试应用。根据本申请再一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述的方法。根据本申请另一个方面，还提供了一种数据埋点分析的设备，其中，所述设备包括：一个或多个处理器；以及存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行前述方法的操作。与现有技术相比，本申请通过根据新获取的配置版本信息确定发生变更的配置内容，并基于页面上的事件进行埋点定义及投递日志的格式定义；根据定义的投递日志的格式对采集的投递日志进行校验，得到校验后的投递日志；对所述发生变更的配置内容及所述校验后的投递日志进行解析以提取会话上下文标识，并根据预设的聚合规则进行聚合，得到聚合结果；基于所述会话上下文标识及所述聚合结果确定异常对象。进而，极大减少了后期的数据清洗、统计分析的繁琐过程，提高工作效率，并实现智能更自动化的统计分析和精准地用户行为追踪，对用户的行为可进行实时可视化回放，进而提高用户体验。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出根据本申请一个方面提供的一种数据埋点分析的方法流程示意图；图2示出本申请一实施例中上下文分析与异常监控流程示意图；图3示出本申请一实施例中实时回放用户操作示意图；图4示出根据本申请的一个方面提供的一种数据埋点分析的系统结构示意图；图5示出本申请一实施例中清洗转换统计的时序示意图；图6示出本申请一实施例中数据埋点分析的系统框架图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附本文档来自技高网...

【技术保护点】
一种数据埋点分析的系统，其中，所述系统包括：云端配置模块、客户端模块、数据采集模块、清洗统计模块和异常分析模块，其中，所述云端配置模块用于埋点定义及投递日志的格式定义；所述客户端模块用于感知配置变化更新缓存本地配置；所述数据采集模块用于采集所述客户端模块投递的日志、所述云端配置模块下发的配置内容，并根据定义的投递日志的格式对所述投递的日志进行校验，将校验后的投递日志发送至所述清洗统计模块；所述清洗统计模块用于将从所述云端配置模块获取的配置内容及所述校验后的投递日志进行解析以提取会话上下文标识，并根据预设的聚合规则进行聚合，将得到的聚合结果发送至所述异常分析模块；所述异常分析模块用于基于所述会话上下文标识及所述聚合结果确定异常对象。

【技术特征摘要】
1.一种数据埋点分析的系统，其中，所述系统包括：云端配置模块、客户端模块、数据采集模块、清洗统计模块和异常分析模块，其中，所述云端配置模块用于埋点定义及投递日志的格式定义；所述客户端模块用于感知配置变化更新缓存本地配置；所述数据采集模块用于采集所述客户端模块投递的日志、所述云端配置模块下发的配置内容，并根据定义的投递日志的格式对所述投递的日志进行校验，将校验后的投递日志发送至所述清洗统计模块；所述清洗统计模块用于将从所述云端配置模块获取的配置内容及所述校验后的投递日志进行解析以提取会话上下文标识，并根据预设的聚合规则进行聚合，将得到的聚合结果发送至所述异常分析模块；所述异常分析模块用于基于所述会话上下文标识及所述聚合结果确定异常对象。2.根据权利要求1所述的系统，其中，所述客户端模块用于：对发生变更的配置数据进行解析并缓存后，根据页面的唯一标识获取缓存的配置数据；在所述页面上加载已注册配置数据的元素事件；根据触发条件对加载的元素事件进行解析配置日志格式，并提取页面的相关信息发送至所述数据采集模块。3.根据权利要求1所述的系统，其中，所述云端配置模块用于：将之前获取的配置版本信息与新获取的配置版本信息进行比对，确定发生变更的配置数据；基于页面上的事件进行埋点定义及投递日志的格式定义，得到埋点配置信息和投递日志的格式信息，其中，所述事件包括各页面的显示和所述页面上元素的点击；根据所述客户端模块的获取请求分别将发生变更的配置数据、埋点配置信息及投递日志的格式信息发送至所述客户端模块。4.一种数据埋点分析的方法，其中，所述方法包括：根据新获取的配置版本信息确定发生变更的配置内容，并基于页面上的事件进行埋点定义及投递日志的格式定义；根据定义的投递日志的格式对采集的投递日志进行校验，得到校验后的投递日志；对所述发生变更的配置内容及所述校验后的投递日志进行解析以提取会话上下文标识，并根据预设的聚合规则进行聚合，得到聚合结果；基于所述会话上下文标识及所述聚合结果确定异常对象。5.根据权利要求4所述的方法，其中，基于页面上的事件进行埋点定义及投递日志的格式定义，...

【专利技术属性】
技术研发人员：肖俊，曾建录，许建，徐广庆，
申请(专利权)人：上海恺英网络科技有限公司，
类型：发明
国别省市：上海,31