数据处理方法及相关设备技术

本发明专利技术提供一种数据处理方法及相关设备，该方法包括：获取多个埋点数据；确定每一埋点数据对应的计算类型，根据埋点数据对应的计算类型确定目标埋点数据；或者，确定每一埋点数据对应的计算类型和计算规则，根据埋点数据对应的计算类型以及计算规则确定目标埋点数据；对埋点数据和目标埋点数据进行处理，生成业务指标。上述过程中，不需要配置从库或者数据仓库用于存储系统的运行数据，并对运行数据进行相关计算，来得到业务指标。由于本发明专利技术实施例涉及的各个步骤中不需要配置从库或者数据仓库，因此极大的降低了系统的运行成本。因此极大的降低了系统的运行成本。因此极大的降低了系统的运行成本。

【技术实现步骤摘要】
数据处理方法及相关设备


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法及相关设备。

技术介绍

[0002]目前，在多个系统协同工作的微服务架构中，用户的一次行为往往涉及多个系统的调用。通过配置数据库存储多个系统产生的运行数据，对数据库中的运行数据执行查询操作，生成可以反映用户行为的业务指标，以此对用户行为进行分析和监控。当存在异常用户行为时，例如用户在短时间内登陆次数过多，发出告警信息。
[0003]然而，为了不影响微服务架构的稳定性以及存储大量的运行数据，往往需要配置从库或者数据仓库用于存储多个系统产生的运行数据，这增加了系统的运行成本。

技术实现思路

[0004]本专利技术实施例提供一种数据处理方法及相关设备，以解决现有技术中通过运行数据对用户行为进行分析，这需要配置从库或者数据仓库对运行数据进行存储，增加了系统的运行成本的技术问题。
[0005]第一方面，本专利技术实施例提供了一种数据处理方法，包括：
[0006]获取多个埋点数据，所述埋点数据用于表征用户的操作行为；
[0007]确定每一所述埋点数据对应的计算类型，根据所述埋点数据对应的计算类型确定目标埋点数据；
[0008]或者，确定每一所述埋点数据对应的计算类型和计算规则，根据所述埋点数据对应的计算类型以及计算规则确定目标埋点数据；
[0009]其中，所述目标埋点数据为与所述埋点数据的计算类型相关联的至少部分埋点数据；对所述埋点数据和所述目标埋点数据进行处理，生成业务指标，其中，所述业务指标用于表征第一预设时长内的用户行为。
[0010]第二方面，本专利技术实施例提供了一种数据处理系统，包括：
[0011]中间件，用于将埋点数据发送至处理系统；
[0012]监控平台，用于将每一所述埋点数据对应的计算类型和计算规则，发送至所述处理系统；
[0013]搜索引擎，用于存储并显示所述处理系统生成的业务指标；
[0014]所述处理系统，用于实现上述数据处理方法的步骤。
[0015]第三方面，本专利技术实施例提供了一种数据处理装置，包括：
[0016]获取模块，用于获取多个埋点数据，所述埋点数据用于表征用户的操作行为；
[0017]第一确定模块，用于确定每一所述埋点数据对应的计算类型，根据所述埋点数据对应的计算类型确定目标埋点数据；
[0018]第二确定模块，用于确定每一所述埋点数据对应的计算类型和计算规则，根据所述埋点数据对应的计算类型以及计算规则确定目标埋点数据；其中，所述目标埋点数据为
与所述埋点数据的计算类型相关联的至少部分埋点数据；
[0019]处理模块，用于对所述埋点数据和所述目标埋点数据进行处理，生成业务指标，其中，所述业务指标用于表征第一预设时长内的用户行为。
[0020]第四方面，本专利技术实施例提供了一种服务器，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述数据处理方法的步骤。
[0021]第五方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法的步骤。
[0022]本专利技术实施例中，获取多个埋点数据；确定每一埋点数据对应的计算类型；根据埋点数据对应的计算类型确定目标埋点数据；或者，确定每一埋点数据对应的计算类型和计算规则，根据埋点数据对应的计算类型以及计算规则确定目标埋点数据；对埋点数据和目标埋点数据进行处理，生成业务指标。上述过程中，通过获取表征用户操作行为的埋点数据，确定每一埋点数据对应的计算类型和计算规则，进而对每一埋点数据和每一埋点数据对应的目标埋点数据进行处理，生成业务指标。而不需要配置从库或者数据仓库用于存储系统的运行数据，并对运行数据进行相关计算，来得到业务指标。由于本专利技术实施例涉及的各个步骤中不需要配置从库或者数据仓库，因此极大的降低了系统的运行成本。
附图说明
[0023]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是本专利技术实施例提供的数据处理方法的流程图；
[0025]图2是本专利技术实施例提供的数据处理方法的应用场景示意图之一；
[0026]图3是本专利技术实施例提供的数据处理方法的应用场景示意图之二；
[0027]图4是本专利技术实施例提供的数据处理系统的结构图；
[0028]图5是本专利技术实施例提供的数据处理装置的结构图；
[0029]图6是本专利技术实施例提供的服务器的结构图。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]相关技术中，针对多个系统协同工作的微服务架构，对用户行为进行分析和监控的方法通常为，配置从库或者数据仓库用于存储多个系统产生的运行数据，对运行数据执行查询操作，生成可以反映用户行为的业务指标。
[0032]然而，上述实施方式要求配置从库或者数据仓库，这增加了系统的运行成本，且需要配置专门的查询语句对数据库中的运行数据执行查询操作，这提高了对用户行为进行监
控和分析的技术难度。
[0033]基于上述存在的技术问题，本专利技术实施例提供了一种数据处理方法，参见图1，图1是本专利技术实施例提供的一种数据处理方法的流程图，如图1所示，包括以下步骤：
[0034]101，获取多个埋点数据。
[0035]应理解，在多个系统协同工作的微服务架构中，用户的一次操作行为会产生一个或多个埋点数据。上述操作行为包括但不限于：应用调用、页面浏览、数据流转和系统内部调用。埋点数据是通过编码的方式生成的一些与用户操作行为相关的数据，也就是说，埋点数据用于表征用户的操作行为。
[0036]本步骤中，在产生埋点数据后，可以直接获取埋点数据，或者，将埋点数据存储至消息队列中，从消息队列中依次读取埋点数据。上述消息队列可以是中间件，也就是说，将产生的埋点数据存储至中间件，利用流作业的方式，从中间件获取埋点数据。
[0037]102，确定每一所述埋点数据对应的计算类型，根据所述埋点数据对应的计算类型确定目标埋点数据。
[0038]需要说明的是，每个埋点数据均包括事件名称。其中，事件名称又称为事件，事件是埋点数据的最小数据单元，代表一个具体的业务过程、业务操作、业务状态或者数据变动。每个事件都有独有的内容，遵从相同的数据结构。比如用户点击手机应用上的登录按钮，会调用后台的登录服务，这样，会产本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取多个埋点数据，所述埋点数据用于表征用户的操作行为；确定每一所述埋点数据对应的计算类型，根据所述埋点数据对应的计算类型确定目标埋点数据；或者，确定每一所述埋点数据对应的计算类型和计算规则，根据所述埋点数据对应的计算类型以及计算规则确定目标埋点数据；其中，所述目标埋点数据为与所述埋点数据的计算类型相关联的至少部分埋点数据；对所述埋点数据和所述目标埋点数据进行处理，生成业务指标，其中，所述业务指标用于表征第一预设时长内的用户行为。2.根据权利要求1所述的方法，其特征在于，确定每一所述埋点数据对应的计算类型和计算规则的方式，包括：根据所述埋点数据的事件名称在预设的键值数据库中进行查询，获得所述埋点数据对应的计算类型以及计算规则。3.根据权利要求1所述的方法，其特征在于，所述根据所述埋点数据对应的计算类型确定目标埋点数据，包括：若所述埋点数据对应的计算类型用于表征对事件属性相同的埋点数据进行处理，则将计算类型和事件属性都相同的埋点数据确定为目标埋点数据。4.根据权利要求1所述的方法，其特征在于，所述计算规则包括目标事件属性；所述根据所述埋点数据对应的计算类型以及计算规则确定目标埋点数据，包括：若所述埋点数据对应的计算类型用于表征对事件属性不同的埋点数据进行处理，则将事件属性为所述目标事件属性的埋点数据确定为所述目标埋点数据。5.根据权利要求3或4所述的方法，其特征在于，所述计算规则包括目标字段，所述目标字段用于表征对第一埋点数据和目标埋点数据进行原始值计算，所述方法还包括：生成每一所述第一埋点数据对应的第一目标数据；所述第一目标数据包括关联字段和第一原始值，所述第一原始值为所述第一埋点数据的事件属性对应的值，所述第一埋点数据为非目标埋点数据；生成每一所述目标埋点数据所对应的第二目标数据；所述第二目标数据包括关联字段和第二原始值，所述第二原始值为所述目标埋点数据的事件属性对应的值，所述关联字段用于关联所述第一目标数据和所述第二目标数据，以使得对所述第一目标数据和所述第二目标数据进行原始值计算；所述对所述埋点数据和所述目标埋点数据进行处理，生成业务指标，包括：对所述第一原始值和所述第二原始值进行处理，生成所述业务指标。6.根据权利要求5所述的方法，其特征在于，所述对所述第一原始值和所述第二原始值进行处理，生成所述业务指...

【专利技术属性】
技术研发人员：谭万辉，唐蠡，郭剑霓，吴海英，曾琳铖曦，蒋宁，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：