一种数据埋点的配置方法、存储介质及设备技术

本发明专利技术的一种数据埋点的配置方法、存储介质及设备，其中方法包括以下步骤，S1、采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问、按钮点击这些基础事件，全面记录和上报，对功能事件，增加专门的埋点；S2、基于后端同步各项业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性；S3、进行埋点流程管理和数据过滤管理。本发明专利技术能够基于埋点配置、处理和埋点系统进行埋点流程管控和方案编制，完善埋点技术方案的顶层设计，通过业务映射增加对事件信息和属性信息的理解，监控使用情况，解决埋点的触发机制不清晰不明确的问题，提升埋点数据准确性和全面性。准确性和全面性。准确性和全面性。

【技术实现步骤摘要】
一种数据埋点的配置方法、存储介质及设备


[0001]本专利技术涉及数据采集
，具体涉及一种数据埋点的配置方法、系统及设备。

技术介绍

[0002]所谓埋点，就是数据采集领域的术语，作为一种常用的数据收集方法，它的学名应该叫做事件追踪，对应的英文是Event Tracking，指的是针对特定用户行为或事件进行捕获，处理和发送的相关技术及其实施过程。
[0003]数据埋点是基于业务需求或者产品需求对用户行为的每一个事件对应位置进行开发埋点，并通过上报埋点的数据结果，记录汇总数据后进行分析，推动产品优化和指导运营，或者用于研究用户的行为习惯等方面。
[0004]比如直接采用友盟、百度统计这样的第三方统计工具进行数据埋点，通过嵌入App SDK 或JS SDK，来直接查看统计数据。这种方式只能采集很基础的数据，比如页面访问，按钮点击等等，但是想分析各个维度的情况，分析服务端的库存、订单等情况，就基本上无法实现。
[0005]再如企业自行设计进行人为埋点，只使用业务数据库来完成数据分析，理论上可行，但是由于业务数据库面向OLTP的业务事务过程，很多中间数据不会保存，很多分析没办法做，且性能上完全不支持大规模的数据分析，运行速度迟缓。
[0006]在埋点的实际操作过程中，经常会遇到各种技术问题，比如：
①ꢀ
业务兼容的问题前期规范执行之后，后续随着业务的拓展，已有数据字段满足不了业务的分析需求；
②
产品兼容的问题埋点从应用端来区分，包括web/ios/android、小程序、公众号，还要区分是原生还是H5，新老版本之间肯定会带来一些模块化的差异；
③
前后端埋点不一致的问题前端请求服务端的数据大多是存在binlog里面的，数据日志同步解析的过程里面可能会存在丢包的可能性，数据仓库的稳定性也会影响数据质量；后端服务信息存储的数据是存在mysql，表字段结构化，分多表存储，需要靠主键进行关联，有大量的ETL过程，两者之间可能因为数据清洗、处理、实时技术等原因，造成数据差异化；
④ꢀ
自埋点和第三方应用统计口径的问题自埋点一般都会定义一个唯一id作为区分用户的标志，但是第三方是缺少用户属性信息的判断，一般会以设备号uuid/imei，或者IP地址段、mac地址段作为区分标志，从而造成统计数据上的差异化，对于留存分析、转化分析、流失分析需要用到明细数据的场景，可兼容性不是很友好；
⑤ꢀ
埋点开发技术执行不到位的问题绝大多数情况下说埋点，一般都是说前端埋点，前端开发工程师在做埋点的时候
又多是人为埋点，在开发过程中，会造成部分信息冗余、重复、记录不完整的情况存在；
⑥
多产品之间的模块差异化问题埋点不能够只有一套标准规范，多生态应用下，业务繁琐，在产品、技术的架构上有明显的差异，不同的产品、模块、坑位、点击事件的定义也可能有一定的区别，这时候可能需要根据场景划分不同的埋点标准；
⑦
自定义埋点信息的键对设计问题往往会在埋点里面增加一个json的字段（bdata），在埋点的时候写入自定义的业务信息进行场景识别，譬如活动id、业务信息、用户快照的基本信息等，不同开发写入的自定义字段格式可能会有差异。

技术实现思路

[0007]本专利技术提出的一种数据埋点的配置方法、系统及设备，可至少解决
技术介绍
中的技术问题之一。
[0008]为实现上述目的，本专利技术采用了以下技术方案：一种数据埋点的配置方法，通过计算机设备执行以下步骤，S1、采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问、按钮点击这些基础事件，全面记录和上报，对功能事件，增加专门的埋点；S2、基于后端同步各项业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性；S3、进行埋点流程管理和数据过滤管理。
[0009]进一步的，步骤S1采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问、按钮点击这些基础事件，全面记录和上报，对功能事件，增加专门的埋点；具体包括，先配置代码埋点，即是将上报的逻辑，直接写到业务代码里，代码埋点分为前端埋点和后端埋点；前端埋点，是由客户端、前端页面，直接将用户的行为记录下来，进行上报；而后端埋点，是将用户与服务端的交互记录进行上报；第二步配置全埋点，或者叫无埋点；全埋点，就是将预先定义的某类事件包括这四种事件类型：APP启动、APP关闭、页面访问、元素点击，通过SDK实现完全自动上报。
[0010]进一步的，实现全埋点时，规范页面和元素的命名规则，通过SPM码规范，来标识具体的页面和元素。
[0011]进一步的，步骤S2、基于后端同步各项业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性，具体包括，配置埋点时，制定Ev事件的命名规则，同一类功能在不同页面或位置出现时，按照功能名称命名，页面和位置在ev参数中进行区分，仅是按钮点击时，按照按钮名称命名。
[0012]进一步的，ev分为ev标识和ev参数；规则如下：
①
ev标识和ev参数之间用“#”连接即一级连接符；
②
ev参数和ev参数之间用“/”来连接即二级连接符；
③
ev参数使用key=value的结构，当一个key对应多个value值时，value1与value2
之间用“，”连接即三级连接符，当埋点仅有ev标识没有ev参数的时候，不需要带#；
④
ev标识：作为埋点的唯一标识，用来区分埋点的位置和属性，不可变，不可修改；
⑤
ev参数：埋点需要回传的参数，ev参数顺序可变，可修改；app埋点调整时，ev标识不变，只修改后面的埋点参数即参数取值变化或者增加参数类型。
[0013]进一步的，步骤S2还包括最终基于埋点的数据统计，用埋点统计数据查找埋点ev事件的方法，方法如下：
①
明确埋点类型即点击/曝光/浏览——筛选type字段；
②
明确按钮埋点所属页面即页面或功能——筛选功能模块字段；
③
明确埋点事件名称——筛选名称字段；
④
知道ev标识，直接用ev来进行筛选；根据ev事件进行查询统计：当查询按钮点击统计时，直接用ev标识进行查询，当有所区分可限定埋点参数取值，因为ev参数的顺序不做要求可变，所以查询统计时，不能按照参数的顺序进行限定。
[0014]进一步的，所述S3中埋点流程管理步骤如下：
①
埋点流程管理：如果要新增埋点，由需求方发起，提交审批，然后通过后数据分析师进行埋点设计，数据开发进行实现；
②
事件和属性的理解即业务映射；
③
事件信息：每个事件是否启动、数据量如何、修改记录、类别；
④
属性信息：数据监控、映射名称、属性管理。
[0015]进一步的，所述S3中数据过滤管理步骤如下：在配置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据埋点的配置方法，其特征在于，包括以下步骤，S1、采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问、按钮点击这些基础事件，全面记录和上报，对功能事件，增加专门的埋点；S2、基于后端同步各项业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性；S3、进行埋点流程管理和数据过滤管理。2.根据权利要求1所述的数据埋点的配置方法，其特征在于：步骤S1采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问、按钮点击这些基础事件，全面记录和上报，对功能事件，增加专门的埋点；具体包括，先配置代码埋点，即是将上报的逻辑，直接写到业务代码里，代码埋点分为前端埋点和后端埋点；前端埋点，是由客户端、前端页面，直接将用户的行为记录下来，进行上报；而后端埋点，是将用户与服务端的交互记录进行上报；第二步配置全埋点，或者叫无埋点；全埋点，就是将预先定义的某类事件包括这四种事件类型：APP启动、APP关闭、页面访问、元素点击，通过SDK实现完全自动上报。3.根据权利要求2所述的数据埋点的配置方法，其特征在于：实现全埋点时，规范页面和元素的命名规则，通过SPM码规范，来标识具体的页面和元素。4.根据权利要求3所述的数据埋点的配置方法，其特征在于：步骤S2、基于后端同步各项业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性，具体包括，配置埋点时，制定Ev事件的命名规则，同一类功能在不同页面或位置出现时，按照功能名称命名，页面和位置在ev参数中进行区分，仅是按钮点击时，按照按钮名称命名。5.根据权利要求4所述的数据埋点的配置方法，其特征在于：ev分为ev标识和ev参数；规则如下：
①
ev标识和ev参数之间用“#”连接即一级连接符；
②
ev参数和ev参数之间用“/”来连接即二级连接符；
③
ev参数使用key=value的结构，当一个key对应多个value值时，value1与value2之间用“，”连接即三级连接符，当埋点仅有ev标识没有ev参数的时候，不需要带#；
④
ev标识：作为埋点的唯一标识，用来区分埋点的位置和属性，不可变，不可修改；
⑤
ev参数：埋点需...

【专利技术属性】
技术研发人员：陈文海，赵鑫鑫，佘文文，
申请(专利权)人：山东辰华科技信息有限公司，
类型：发明
国别省市：