埋点实时流数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种埋点数据处理方法、装置、计算机设备和存储介质。所述方法包括：接收通过应用程序采集的多个埋点数据，并根据埋点数据确定对应的埋点事件；将对应于相同执行目的埋点事件，合并构成对应的关键事件；获取由不同业务系统上传的多个业务事件，及接口网关上传的多个接口调用事件；生成与上述各个事件分别对应的埋点码值、关键事件码值、业务码值和接口调用码值；加载内存中预先写入的订阅应用配置，并基于订阅应用配置确定与各订阅方分别对应的目标码值，目标码值包括埋点码值、关键事件码值、业务码值和接口调用码值中的至少一种；获取与目标码值对应的目标事件，将目标事件推送至订阅方。采用本方法能够能够提高系统开发效率。

【技术实现步骤摘要】
埋点实时流数据处理方法、装置、计算机设备和存储介质
本申请涉及数据分析处理
，特别是涉及一种埋点实时流数据处理方法、装置、计算机设备和存储介质。
技术介绍
随着前端技术的快速发展，出现了利用埋点技术进行用户行为数据的收集。所谓埋点技术就是预先在前端产品中埋下码值，当用户使用该前端产品且触发埋点时，进行用户行为数据的实时收集。另外，实时收集到的用户行为数据将作为埋点数据包，将通过前端上传到数据网关做拆分、补全处理，之后再上传到埋点数据库中，作为离线数据使用。然而，针对实时营销、实时风控、实时监控等实时应用，如果实时应用需要使用更丰富的埋点做更多的逻辑功能，现有的数据流是不能满足的，也就是传统方案无法实时对接不同的流数据源，无法进行有效的数据推送。。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高数据推送有效性的埋点实时流数据处理、装置、计算机设备和存储介质。一种埋点数据处理方法，所述方法包括：接收通过应用程序采集的多个埋点数据，并根据所述埋点数据确定对应的埋点事件；所述埋点数据表征了用户在应用程序的页面执行的操作行为；将对应于相同执行目的埋点事件，合并构成对应的关键事件；获取由不同业务系统上传的多个业务事件，及接口网关上传的多个接口调用事件；所述业务事件包括当触发操作事件时，由相应的业务系统反馈的执行结果信息，所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息；生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值；加载内存中预先写入的订阅应用配置，并基于所述订阅应用配置确定与各订阅方分别对应的目标码值，所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值和所述接口调用码值中的至少一种；获取与所述目标码值对应的目标事件，并将所述目标事件推送至相应的订阅方；所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。在其中一个实施例中，所述埋点数据包括多个字段，所述字段用于记载用户信息、设备信息和会话信息中的至少一种；在将对应于相同执行目的埋点事件，合并构成对应的关键事件之前，所述方法还包括：从所述多个埋点数据中，筛选出缺少用户信息的多个目标埋点数据；针对各个目标埋点事件，通过预设的设备标识和/或会话标识进行用户信息的关联补全。在其中一个实施例中，在加载内存中预先写入的订阅应用配置之前，所述方法还包括：确定所需推送的多个目标事件，所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种；通过在所述应用程序的页面中，进行目标事件所对应的目标码值的配置；基于配置好的目标码值、以及相应的配置方信息，生成对应的订阅应用配置，并将所述订阅应用配置写入到内存中。在其中一个实施例中，所述获取接口网关上传的多个接口调用事件，包括：通过信息采集工具对接口网关输出的多个接口调用事件进行实时采集；所述信息采集工具包括Filebeat(本地文件的日志数据采集器，可监控日志目录或特定的日志文件)工具和Logstash(一个应用程序日志、事件的传输、处理、管理和搜索的平台，可以用它来统一对应用程序日志进行收集管理)工具中的至少一种。在其中一个实施例中，所述将所述目标事件推送至相应的订阅方，包括：将对应筛选得到的目标事件发送到指定的消息队列中，由所述消息队列进行目标事件的存储；当订阅方完成订阅操作后，将所述消息队列中存储的目标事件推送到相应的订阅方。在其中一个实施例中，各个业务事件均携带有相应的属性字段，在所述将所述目标事件推送至相应的订阅方之前，所述方法还包括：基于各个业务事件分别对应的属性字段，确定所属不同事件类型且命名方式不同的多个目标属性字段；按照统一的标识命名方式，对各个目标属性字段进行重命名；基于重命名后的多个目标属性字段，对相应业务事件携带的属性字段进行更新。在其中一个实施例中，所述订阅方包括设于应用服务器中的营销应用、风控应用、借款监控应用以及展位数据应用中的至少一种，所述方法还包括：当相应的订阅方接收到目标事件时，由所述订阅方根据所述目标事件，当确定用户在所述页面中执行了预设的操作行为时，触发相应的业务处理进程；其中，所述业务处理进程包括预设信息推送和访问拦截中的至少一种。一种埋点实时流数据处理装置，所述装置包括：第一获取模块，用于接收通过应用程序采集的多个埋点数据，并根据所述埋点数据确定对应的埋点事件；所述埋点数据表征了用户在应用程序的页面执行的操作行为；合并模块，用于将对应于相同执行目的埋点事件，合并构成对应的关键事件；第二获取模块，用于获取由不同业务系统上传的多个业务事件，及接口网关上传的多个接口调用事件；所述业务事件包括当触发操作事件时，由相应的业务系统反馈的执行结果信息，所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息；码值获取模块，用于获取与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值；加载模块，用于加载内存中预先写入的订阅应用配置，并基于所述订阅应用配置确定与各订阅方分别对应的目标码值，所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值和所述接口调用码值中的至少一种；推送模块，用于获取与所述目标码值对应的目标事件，并将所述目标事件推送至相应的订阅方；所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：接收通过应用程序采集的多个埋点数据，并根据所述埋点数据确定对应的埋点事件；所述埋点数据表征了用户在应用程序的页面执行的操作行为；将对应于相同执行目的埋点事件，合并构成对应的关键事件；获取由不同业务系统上传的多个业务事件，及接口网关上传的多个接口调用事件；所述业务事件包括当触发操作事件时，由相应的业务系统反馈的执行结果信息，所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息；生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值；加载内存中预先写入的订阅应用配置，并基于所述订阅应用配置确定与各订阅方分别对应的目标码值，所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值和所述接口调用码值中的至少一种；获取与所述目标码值对应的目标事件，并将所述目标事件推送至相应的订阅方；所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：<本文档来自技高网...

【技术保护点】
1.一种埋点数据处理方法，其特征在于，所述方法包括：/n接收通过应用程序采集的多个埋点数据，并根据所述埋点数据确定对应的埋点事件；所述埋点数据表征了用户在应用程序的页面执行的操作行为；/n将对应于相同执行目的埋点事件，合并构成对应的关键事件；/n获取由不同业务系统上传的多个业务事件，及接口网关上传的多个接口调用事件；所述业务事件包括当触发操作事件时，由相应的业务系统反馈的执行结果信息，所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息；/n生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值；/n加载内存中预先写入的订阅应用配置，并基于所述订阅应用配置确定与各订阅方分别对应的目标码值，所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值和所述接口调用码值中的至少一种；/n获取与所述目标码值对应的目标事件，并将所述目标事件推送至相应的订阅方；所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。/n

【技术特征摘要】
1.一种埋点数据处理方法，其特征在于，所述方法包括：
接收通过应用程序采集的多个埋点数据，并根据所述埋点数据确定对应的埋点事件；所述埋点数据表征了用户在应用程序的页面执行的操作行为；
将对应于相同执行目的埋点事件，合并构成对应的关键事件；
获取由不同业务系统上传的多个业务事件，及接口网关上传的多个接口调用事件；所述业务事件包括当触发操作事件时，由相应的业务系统反馈的执行结果信息，所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息；
生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值；
加载内存中预先写入的订阅应用配置，并基于所述订阅应用配置确定与各订阅方分别对应的目标码值，所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值和所述接口调用码值中的至少一种；
获取与所述目标码值对应的目标事件，并将所述目标事件推送至相应的订阅方；所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。


2.根据权利要求1所述的方法，其特征在于，所述埋点数据包括多个字段，所述字段用于记载用户信息、设备信息和会话信息中的至少一种；在将对应于相同执行目的埋点事件，合并构成对应的关键事件之前，所述方法还包括：
从所述多个埋点数据中，筛选出缺少用户信息的多个目标埋点数据；
针对各个目标埋点事件，通过预设的设备标识和/或会话标识进行用户信息的关联补全。


3.根据权利要求1所述的方法，其特征在于，在加载内存中预先写入的订阅应用配置之前，所述方法还包括：
确定所需推送的多个目标事件，所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种；
通过在所述应用程序的页面中，进行目标事件所对应的目标码值的配置；
基于配置好的目标码值、以及相应的配置方信息，生成对应的订阅应用配置，并将所述订阅应用配置写入到内存中。


4.根据权利要求1所述的方法，其特征在于，所述获取接口网关上传的多个接口调用事件，包括：
通过信息采集工具对接口网关输出的多个接口调用事件进行实时采集；所述信息采集工具包括Filebeat工具和Logstash工具中的至少一种。


5.根据权利要求1所述的方法，其特征在于，所述将所述目标事件推送至相应的订阅方，包括：
将对应筛选得到的目标事件发送到指定的消息队列中，由所述消息队列进行目标事件的存储；
当订阅方完成订阅操作后，将所述消息队...

【专利技术属性】
技术研发人员：杨进波，吕坤原，洪智，李少华，梁万山，
申请(专利权)人：招联消费金融有限公司，
类型：发明
国别省市：广东;44