自动配置数据埋点的方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种自动配置数据埋点的方法、装置、电子设备及存储介质。其中，该方法包括：接收通过全埋点方式采集用户的全部用户数据；生成针对用户数据的多个稀疏模型，其中，每个所述稀疏模型使用所述全部用户数据的一个子集；分别测试各个所述稀疏模型对指定数据分析业务的预测能力；根据预测能力最优的稀疏模型确定针对所述指定数据分析业务的数据埋点配置方案。

Method, Device, Electronic Equipment and Storage Medium for Automatically Configuring Data Buried Points

The embodiment of the present disclosure discloses a method, device, electronic device and storage medium for automatically configuring data embedding points. Among them, the method includes: receiving all user data collected by full buried point method; generating multiple sparse models for user data, in which each sparse model uses a subset of all user data; testing the prediction ability of each sparse model for specified data analysis services; and determining the needle according to the sparse model with the best prediction ability. A data buried point configuration scheme for the specified data analysis service is proposed.

【技术实现步骤摘要】
自动配置数据埋点的方法、装置、电子设备及存储介质
本公开涉及互联网
，具体涉及一种自动配置数据埋点的方法、装置、电子设备及存储介质。
技术介绍
随着互联网技术和信息处理终端的发展，用户在日常生活中已经离不开互联网服务的支持，其中，基于智能移动终端的应用程序正得到快速增长，这带来了海量数据并催生了多种基于大数据的技术和服务形式。在大数据时代中，如何更有效地获取关键数据成为一个核心问题，目前通过采集用户数据来帮助提供更有针对性的服务已经成为移动app开发的重要环节。在互联网数据采集领域内，通过数据埋点方式采集用户数据是常用的手段，其中，一个数据埋点可以理解为应用程序中在预定条件下被触发的数据采集行为。在现有技术的演进过程中，最初用户数据的采集是通过软件开发人员在预先设定的数据采集逻辑下，通过嵌入相关代码实现的数据埋点；但代码埋点的方式往往费时费力，相同的埋点逻辑需要反复的添加，给软件开发人员带来极大的工作压力，并且一旦埋点策略发生改变，整个软件系统均需要重新编写、重新编译，成本高而效率低下。随后出现一种能够避免上述问题的策略，即将app所有相关位置均设置数据埋点，该方式也叫全埋点方式；全埋点能够得到用户的所有数据，仅需要在数据分析时选择有效的数据即可，然而这种方法带来的一个显然的弊端在于数据存储、传输的压力变得非常巨大，尤其是会给移动终端带来额外的数据流量费用和电量消耗，因此在成本和效率方面也不理想，而且很难受用户欢迎。最近出现一种较为高效的方式，通过可配置的埋点方式来管理埋点的开发与应用；即开发人员只需要在配置文件中配置埋点的行为，就可以快速开发或重新编译应用程序的埋点行为。这种方法也被称之为可配置埋点或无埋点方式，相比全埋点方式，可配置埋点的数据存储量和传输量小，并且也不需要大量的开发工具，因此正成为流行的数据采集开发手段。然而，专利技术人在实现本公开实施例相关技术方案的过程中发现，现有技术至少存在以下问题：可配置埋点的方式实际上是事先按需设置埋点，其仍然需要人工进行埋点的配置操作，一方面，这对配置人员的专业性要求较高，需要对app运行和后台数据分析都有深入的了解；另一方面，这种配置方式完全依靠对需求的人工预测进行，有极大可能出现偏差而导致需要重新配置埋点。因此现有的可配置埋点方式在成本、效率和可靠性方面仍然不太理想。
技术实现思路
针对现有技术中的上述技术问题，本公开实施例提出了一种自动配置数据埋点的方法、装置、电子设备及计算机可读存储介质，以解决现有数据埋点技术效率较低的问题。本公开实施例的第一方面提供了一种自动配置数据埋点的方法，包括：接收通过全埋点方式采集用户的全部用户数据；生成针对用户数据的多个稀疏模型，其中，每个所述稀疏模型使用所述全部用户数据的一个子集；分别测试各个所述稀疏模型对指定数据分析业务的预测能力；根据预测能力最优的稀疏模型确定针对所述指定数据分析业务的数据埋点配置方案。在一些实施例中，所述分别测试各个所述稀疏模型对指定数据分析业务的预测能力包括：使用一组带有标注信息的测试数据分别输入各个所述稀疏模型中；按照所述指定数据分析业务使用各个所述稀疏模型对所述测试数据进行分析识别；将各个所述稀疏模型的分析识别结果与所述标注信息进行对比，将对比结果的重合度作为各个所述稀疏模型对指定数据分析业务的预测能力。在一些实施例中，所述生成针对用户数据的多个稀疏模型包括：生成空白的多个机器学习模型；使用相同的数据集对所述多个机器学习模型同步进行训练，其中，所述数据集为所述全部用户数据的至少一个子集；得到多个训练后的模型作为所述多个稀疏模型。在一些实施例中，所述方法还包括：在跨平台的应用程序开发环境中设计开发人机交互组件；通过配置的方式设置所述人机交互组件的数据采集行为，其中，初始配置为所述全埋点方式；根据所述人机交互组件的设计和所述数据采集行为的配置，编译生成可执行的应用程序代码。在一些实施例中，所述方法还包括：通过网络发布所述数据埋点配置方案，以使应用程序更新数据采集行为。本公开实施例的第二方面提供了一种自动配置数据埋点的装置，包括：数据接收模块，用于接收通过全埋点方式采集用户的全部用户数据；模型生成模块，用于生成针对用户数据的多个稀疏模型，其中，每个所述稀疏模型使用所述全部用户数据的一个子集；测试模块，用于分别测试各个所述稀疏模型对指定数据分析业务的预测能力；配置模块，用于根据预测能力最优的稀疏模型确定针对所述指定数据分析业务的数据埋点配置方案。在一些可选的实施例中，所述测试模块包括：数据输入模块，用于使用一组带有标注信息的测试数据分别输入各个所述稀疏模型中；识别模块，用于按照所述指定数据分析业务使用各个所述稀疏模型对所述测试数据进行分析识别；对比模块，用于将各个所述稀疏模型的分析识别结果与所述标注信息进行对比，将对比结果的重合度作为各个所述稀疏模型对指定数据分析业务的预测能力。在一些可选的实施例中，所述模型生成模块包括：空白模型生成模块，用于生成空白的多个机器学习模型；同步训练模块，用于使用相同的数据集对所述多个机器学习模型同步进行训练，其中，所述数据集为所述全部用户数据的至少一个子集；训练输出模块，用于得到多个训练后的模型作为所述多个稀疏模型。在一些可选的实施例中，所述装置还包括：组件设计模块，用于在跨平台的应用程序开发环境中设计开发人机交互组件；采集行为配置模块，用于通过配置的方式设置所述人机交互组件的数据采集行为，其中，初始配置为所述全埋点方式；编译模块，用于根据所述人机交互组件的设计和所述数据采集行为的配置，编译生成可执行的应用程序代码。在一些可选的实施例中，所述装置还包括：配置发布模块，用于通过网络发布所述数据埋点配置方案，以使应用程序更新数据采集行为。本公开实施例的第三方面提供了一种电子设备，包括：存储器以及一个或多个处理器；其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。本公开实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。本公开实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。本公开实施例通过多个稀疏模型来测试数据子集对数据分析业务的预测能力，从而自动确定数据埋点的配置方案，一方面避免了使用全埋点方式造成的数据存储和传输的压力，另一方面可以更高效、自动地生成埋点配置文件，使得模型精度不仅能够更好的满足数据分析业务，且节省了人工配置埋点的方式，实现了埋点的自动化设置。附图说明通过参考附图会更加清楚的理解本公开的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：图1是根据本申请的一些实施例所示的一种互联网服务系统示意图；图2是根据本申请的一些实施例所示的一种自动配置数据埋点的方法的流程示意图；图3A、3B是根据本申请的一些实施例所示的一种全埋点和配置埋点两种方式的工作原本文档来自技高网...

【技术保护点】
1.一种自动配置数据埋点的方法，其特征在于，包括：接收通过全埋点方式采集用户的全部用户数据；生成针对用户数据的多个稀疏模型，其中，每个所述稀疏模型使用所述全部用户数据的一个子集；分别测试各个所述稀疏模型对指定数据分析业务的预测能力；根据预测能力最优的稀疏模型确定针对所述指定数据分析业务的数据埋点配置方案。

【技术特征摘要】
1.一种自动配置数据埋点的方法，其特征在于，包括：接收通过全埋点方式采集用户的全部用户数据；生成针对用户数据的多个稀疏模型，其中，每个所述稀疏模型使用所述全部用户数据的一个子集；分别测试各个所述稀疏模型对指定数据分析业务的预测能力；根据预测能力最优的稀疏模型确定针对所述指定数据分析业务的数据埋点配置方案。2.根据权利要求1所述的方法，其特征在于，所述分别测试各个所述稀疏模型对指定数据分析业务的预测能力包括：使用一组带有标注信息的测试数据分别输入各个所述稀疏模型中；按照所述指定数据分析业务使用各个所述稀疏模型对所述测试数据进行分析识别；将各个所述稀疏模型的分析识别结果与所述标注信息进行对比，将对比结果的重合度作为各个所述稀疏模型对指定数据分析业务的预测能力。3.根据权利要求1所述的方法，其特征在于，所述生成针对用户数据的多个稀疏模型包括：生成空白的多个机器学习模型；使用相同的数据集对所述多个机器学习模型同步进行训练，其中，所述数据集为所述全部用户数据的至少一个子集；得到多个训练后的模型作为所述多个稀疏模型。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在跨平台的应用程序开发环境中设计开发人机交互组件；通过配置的方式设置所述人机交互组件的数据采集行为，其中，初始配置为所述全埋点方式；根据所述人机交互组件的设计和所述数据采集行为的配置，编译生成可执行的应用程序代码。5.根据权利要求1或4所述的方法，其特征在于，所述方法还包括：通过网络发布所述数据埋点配置方案，以使应用程序更新数据采集行为。6.一种自动配置数据埋点的装置，其特征在于，包括：数据接收模块，用于接收通过全埋点方式采集用户的全部用户数据；模型生成模块，用于生成针对用户数据的多个稀疏模型，其中，每个所述稀疏模型使用所述全部用户数据的一个子集；测试模块，用于分别测试各个所述稀疏模型对指定数据分析业务的预测能力；配置模块...

【专利技术属性】
技术研发人员：金同宝，
申请(专利权)人：西藏纳旺网络技术有限公司，
类型：发明
国别省市：西藏,54