埋点数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种埋点数据处理方法、装置、设备及存储介质。所述方法包括：对获取的待测应用的埋点数据包进行实时处理得到埋点字段的取值；在埋点数据库中生成包括所述埋点字段的取值的数据记录；当接收到包括目标关键信息的查询请求时，将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。利用该方案，能够实现对埋点数据的实时查询，且保证查询得到的数据记录是埋点数据包中符合业务需求的具体字段的详细取值信息，实现可以实时查询用户行为的效果。

Buried point data processing method, device, equipment and storage medium

【技术实现步骤摘要】
埋点数据处理方法、装置、设备及存储介质
本专利技术实施例涉及计算机
，尤其涉及一种埋点数据处理方法、装置、设备及存储介质。
技术介绍
埋点分析，是一种常用的数据采集方式。针对应用程序中的一个或多个特定行为事件能够设置埋点，例如，对点击控件的行为设置埋点。当应用程序的控件被点击时，能够得到表征用户点击控件行为的埋点数据，进而可以根据获取的埋点数据包进行数据分析。然而，由于埋点数据包的数量非常庞大，通常将采集的埋点数据包批量落入数据仓库工具hive中离线计算，而离线计算需要一定的时间，导致数据的查询也会存在很大的延迟。
技术实现思路
本专利技术实施例中提供了一种数据处理方法、装置、设备及存储介质，以实现实时查询表征用户行为的埋点数据。第一方面，本专利技术实施例中提供了一种埋点数据处理方法，该方法包括：对获取的待测应用的埋点数据包进行实时处理，得到埋点字段的取值；在埋点数据库中生成包括所述埋点字段的取值的数据记录；当接收到包括目标关键信息的查询请求时，将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。第二方面，本专利技术实施例中还提供了一种埋点数据处理装置，该装置包括：实时处理模块，用于对获取的待测应用的埋点数据包进行实时处理，得到埋点字段的取值；数据生成模块，用于在埋点数据库中生成包括所述埋点字段的取值的数据记录；数据查询模块，用于当接收到包括目标关键信息的查询请求时，将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。第三方面，本专利技术实施例中还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例中提供的埋点数据处理方法。第四方面，本专利技术实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例中提供的埋点数据处理方法。本专利技术实施例中提供了一种埋点数据处理方案，在获取到待测应用的埋点数据包后，会立即对获取的埋点数据包进行实时处理，得到埋点数据包中包含的多个埋点字段的取值，然后将多个埋点字段在埋点数据库中生成对应的数据记录。在此基础上，当接收到查询请求后，可以将埋点数据库中与目标关键信息关联的数据记录作为查询结果提供给用户。采用上述方案，能够实现对埋点数据的实时查询，且保证查询的数据记录是埋点数据包中符合业务需求的具体字段的详细取值信息，实现可以实时查询用户行为的效果。上述
技术实现思路
仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本专利技术实施例中提供的一种埋点数据处理方法的流程图；图2是本专利技术实施例中提供的一种数据记录在客户端的查询示意图；图3是本专利技术实施例中提供的一种埋点数据处理装置的结构框图；图4是本专利技术实施例中提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。图1是本专利技术实施例中提供的一种埋点数据处理方法的流程图，该方法可适用于查询待测应用的埋点数据的情况，该方法可以由埋点数据处理装置来执行，该装置可由软件和/或硬件实现，并集成在任何具有网络通信功能的电子设备上。其中，该电子设备可以为服务器等。如图1所示，本专利技术实施例中的埋点数据处理方法，包括以下步骤：S110、对获取的待测应用的埋点数据包进行实时处理，得到一个或多个埋点字段的取值。在本实施例中，待测应用可以安装在客户端设备中，并在客户端设备中进行正常使用。对于每一个待测应用而言，测试人员会根据测试需求，在待测应用中预先设置埋点事件。当用户在待测应用中执行相应的行为操作时，会触发预先设置的埋点事件，而待测应用会获取埋点事件对应的埋点数据，并以埋点数据包的形式上报到服务器。这里，埋点数据能够表征用户在待测应用上执行操作时的行为数据。在本实施例中，可选地，埋点数据包中包含有不同类型的字段信息，埋点数据包中的埋点字段具体包括：待测应用的型号、页面名称、页面中页面元素标识、埋点的触发条件、服务器的ID、待测应用的版本等。其中，待测应用的型号指示了埋点数据包的所属；页面名称指示了埋点数据包的页面来源；页面中页面元素标识指示了对页面中的哪个元素进行的埋点。因此，在获取待测应用的埋点数据包后，可以对埋点数据包进行实时解析，得到其中的一个或多个埋点字段的取值。在本实施例的一种可选方式中，在对获取的待测应用的埋点数据包进行实时处理之前，还包括：通过预设的分布式发布订阅系统Kafka,实时接收待测应用上报的埋点数据包。在本实施方式中，分布式发布订阅系统Kafka能够实时接收一个或多个客户端设备上待测应用的埋点数据包，并将获取的埋点数据包进行消费。埋点数据包是待测应用上的埋点事件被触发时生成的。可选地，考虑到待测应用可以是处于测试环境中的应用，也可以是处于生产环境中的应用，因此可以根据待测应用所处环境的不同，为处于不同环境的待测应用分配不同的Kafka，实现待测应用将生成的埋点数据包上报到各自环境下的Kafka中，避免出现混淆。在本实施例的一种可选方式中，对获取的待测应用的埋点数据包进行实时处理，得到埋点字段的取值，具体包括：将埋点数据库中具有的字段作为埋点字段，并从待测应用的埋点数据包中实时提取埋点字段的取值。在本实施方式中，埋点数据包中包含有不同类型的字段，在进行实时处理时并不是从中提取任意类型的埋点字段，具体需要提取哪些类型的埋点字段需要参考埋点数据库中设置的埋点字段。如果埋点数据库中只存储待测应用的类型和页面名称这两类字段的埋点字段，那么在对获取的待测应用的埋点数据包进行实时处理时，只需要从获取的埋点数据包中获取上述两类埋点字段的取值即可，而不需要额外获取其他埋点字段的取值。这样，在向埋点数据库写入数据时，不需要写入完整的埋点数据包，大本文档来自技高网...

【技术保护点】
1.一种埋点数据处理方法，其特征在于，所述方法包括：/n对获取的待测应用的埋点数据包进行实时处理，得到埋点字段的取值；/n在埋点数据库中生成包括所述埋点字段的取值的数据记录；/n当接收到包括目标关键信息的查询请求时，将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。/n

【技术特征摘要】
1.一种埋点数据处理方法，其特征在于，所述方法包括：
对获取的待测应用的埋点数据包进行实时处理，得到埋点字段的取值；
在埋点数据库中生成包括所述埋点字段的取值的数据记录；
当接收到包括目标关键信息的查询请求时，将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述查询结果发送到查询请求关联的客户端，用以在客户端上可视化展示所述查询结果，以及依据查询结果校验埋点数据包。


3.根据权利要求1所述的方法，其特征在于，对获取的待测应用的埋点数据包进行实时处理，得到埋点字段的取值，包括：
将埋点数据库中具有的字段作为埋点字段；
从所述待测应用的埋点数据包中实时提取所述埋点字段的取值。


4.根据权利要求1所述的方法，其特征在于，在埋点数据库中生成包括所述埋点字段的取值的数据记录，包括：
根据待测应用所处环境类型，确定待测应用的埋点数据库；
在确定的埋点数据库中，生成包括所述埋点字段的取值的数据记录。


5.根据权利要求4所述的方法，其特征在于，根据待测应用所处环境类型，确定待测应用的埋点数据库，包括：
若所述待测应用处于测试环境中，则将线下的分布式存储系统ES作为待测应用的埋点数据库；
若所述待测应用处于生产环境中，则将位于线下与线上之间隔离区的Mysql数据库作为待测应用的埋点数据库。


6.根据权利要求1所述的方法，其特征在于，在对获取的待测应用的埋点数据包进行实时处理之前，还包括：
检测所述埋点数据包是否属于预设格式的数据包；若是，则对获取的待测应用的埋点数据包进行实时处理。


7.一种埋点数据处理装置，其特征在于，所述装置包括：
实时处理模块，用于对获取的待测应用的埋点数据包进行实时处理，得到埋点字段的取值；
数据生成模块，用于在埋点数据库中生成包括所述埋点字段的取值的数...

【专利技术属性】
技术研发人员：陈高，吴荣平，
申请(专利权)人：江苏满运软件科技有限公司，
类型：发明
国别省市：江苏;32