一种基于web端的无侵入埋点数据收集方法及系统技术方案

本发明专利技术公开了一种基于web端的无侵入埋点数据收集方法及系统，所述方法包括以下步骤：S1.在页面中插入基础代码；S2.在页面上配置埋点信息；S3.根据埋点信息生成核心数据采集代码，通过S1步骤中插入的基础代码异步下载到页面中；S4.当用户触发采集条件，接收页面上的采集数据。在传统代码埋点的系统应用上，本发明专利技术通过根据埋点信息自动生成核心采集代码，分离核心采集代码和业务系统，降低了业务系统和核心采集代码之间的耦合性，埋点过程无需开发者参与也能完成，简化了现有的埋点方式，无需编写大量埋点编码，并在现有埋点方式的基础上实现了更深层次的埋点，进而实现更广泛以及更深层次的数据收集，收集的数据将不仅仅局限于表层的用户数据。层的用户数据。层的用户数据。

【技术实现步骤摘要】
一种基于web端的无侵入埋点数据收集方法及系统


[0001]本专利技术涉及计算机及网络通信
，特别涉及一种基于web端的无侵入埋点数据收集方法及系统。

技术介绍

[0002]随着现代信息技术的不断发展，数据的产生速度变得越来越快，大量的数据被收集和存储。这些海量的数据必须通过系统的处理和分析，才能挖掘出其中蕴含的潜在价值。如何精准有效的收集我们想要的数据，借助图形化手段，利用各类图表进行复杂数据的可视化展示，可以清晰有效的传达与沟通信息，让数据的表达更加直观、易于理解，提高了数据沟通的效率。
[0003]当今世界已跨入了互联网大数据时代，大数据正深刻改变着人们的思维、生产和生活方式。而数据收集和分析已成为大数据时代不可或缺的重要手段和工具。数据收集已经成了科学可视化领域与信息可视化领域的统一，涉及数据分析、图形学、可视化、设计学等多个专业领域。同时，大数据本身的新特点也对数据收集提出了更为迫切的需求与更加严峻的挑战。
[0004]目前存在着诸多的数据收集方式，通过对大数据进行采集、清洗、分析，将数据可视化，给人以直观的视觉感受，而在这个过程中，如何进行精准有效的进行数据的收集是非常关键的一个环节。
[0005]现如今埋点技术主要分为以下两大类：1、手动埋点2、可视化埋点。两种方式的埋点技术侧重点不同，所带来的效果也是不一样的。手动埋点代码开发量大，需要编写大量定制化代码，并且跟业务严重耦合；可视化埋点代码定制化能力较低，操作繁琐。因此，怎样提供一种业务与埋点之间耦合度低、代码开发量小，埋点操作简单方便的数据采集方法，成为一个急待解决的问题。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术的目的在于解决目前的代码埋点的收集方式存在的需要大量编码，对业务系统侵入性强，耦合度高的缺点，提供一种能够简便快捷，无需大量编码，对业务系统无侵入性，数据采集跟业务系统耦合度低的数据收集方法。
[0007]为实现上述目的，本专利技术提供一种基于web端的无侵入埋点数据收集方法，所述方法包括以下步骤：S1. 在页面中插入基础代码；S2. 在页面上配置埋点信息；S3. 根据埋点信息生成核心数据采集代码，通过S1步骤中插入的基础代码异步下载到页面中；S4. 当用户触发采集条件，接收页面上的采集数据。
[0008]进一步，在页面中插入基础代码，实现异步下载核心数据采集代码的工作步骤中，
包括：增加一个新的<script type＝"text/javascript">标签插入到一IIFE形式的javascript代码中，并将所述javascript代码插入至页面的head标签中。
[0009]步骤S2中在页面上配置埋点信息的工作步骤中，包括：S21.获取到页面的URL地址，推送地址到配置工具栏；S22.接收工具栏中被选中的配置选项的信息，所述配置选项对应唯一的ID；S23.推送配置选项的信息，接收配置选项的具体信息，所述具体信息包括属性、名称和触发条件；埋点信息同时包含了采集条件和要采集的数据；埋点信息可以根据要采集的数据类型包括页面埋点和用户自定义埋点两种形式：其中，页面上配置埋点信息包含的采集条件有页面生命周期事件，包括DOMContentLoaded、 beforeunload和visibilitychange 事件，当页面在加载过程中，将会自动触发相应的生命周期事件；要采集的数据包括页面来源、当前站点语言、可视窗口大小和页面加载性能数据；这些数据主要来自浏览器的 window 对象、上一个页面带过来的数据以及按规则存储在浏览器中的数据；用户自定义埋点，部分数据通过监听页面元素触发事件的方式获取，其余数据则需要用户手动执行触发，用户自定义埋点以下面的方式上报：将 "login.click" 标识符配置在页面元素节点上，通过javascript监听元素节点触发的点击事件，用户点击到该元素时，javascript解析该元素上携带的数据，获取数据然后进行上报。
[0010]步骤S3中根据埋点信息生成核心的数据采集代码，并异步下载到页面中的工作步骤之前，还包括：S31. 生成网站唯一标识和开发者密钥，发送给开发者，其中，开发者与密钥一一对应，网站与唯一标识一一对应；S32.对开发者的密钥和网站的唯一标识进行验证。
[0011]此外，还包括步骤S5：将页面收集到的数据可视化的展示在开放平台的埋点详情页中。
[0012]本专利技术提供的基于web端无侵入埋点数据收集方法及系统，在传统代码埋点的系统应用上，弥补了现有的埋点方式存在的需要大量编码，对业务系统侵入性强，耦合度高的缺点。提供一种业务与埋点之间耦合度低，且埋点操作简单的数据采集方法及系统。采用上述技术方案，开发者仅需在项目中填入基础代码即可，不再需要多余的代码，后续的具体埋点可由运维人员本专利技术的方法及系统即可，降低了业务与埋点之间的耦合性，而埋点工作无需开发者参与也能完成。此外，本专利技术技术方案在实现了异步下载核心采集代码的工作，并且由于该异步下载，即使核心采集代码更新了，开发者也不需要更新基础代码，从而实现了代码的热更新。
附图说明
[0013]图1示出了根据本专利技术实施例基于web端无侵入埋点收集数据流程示意图；图2为本专利技术实施例中在页面上配置埋点信息的步骤流程图；图3为本专利技术实施例中key、密钥、开发者及埋点页面之间的对应关系图；
图4为本专利技术实施例基于web端无侵入埋点数据收集系统的模块原理图。
具体实施方式
[0014]下面将结合附图，对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0015]在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0016]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。
[0017]以下结合图1
‑
图4对本专利技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术，并不用于限制本专利技术。
[0018]如图1所示，根据本专利技术的基于web端的无侵入埋本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于web端的无侵入埋点数据收集方法，其特征在于，所述方法包括以下步骤：S1. 在页面中插入基础代码；S2. 在页面上配置埋点信息；S3. 根据埋点信息生成核心数据采集代码，通过S1步骤中插入的基础代码异步下载到页面中；S4. 当用户触发采集条件，接收页面上的采集数据。2.根据权利要求1所述的基于web端的无侵入埋点数据收集方法，其特征在于，步骤S1中，预先在页面中插入基础代码，实现异步下载核心数据采集代码的操作中，包括：增加一个新的<script type＝"text/javascript">标签插入到一IIFE形式的javascript代码中，并将所述javascript代码插入至页面的head标签中。3.根据权利要求1所述的基于web端的无侵入埋点数据收集方法，其特征在于，步骤S2中，在页面上配置埋点信息的工作步骤中，包括：S21.获取到页面的URL地址，推送地址到配置工具栏；S22.接收工具栏中被选中的配置选项的信息，所述配置选项对应唯一的ID；S23.推送配置选项的信息，接收配置选项的具体信息，所述具体信息包括属性、名称和触发条件；埋点信息同时包含了采集条件和要采集的数据；埋点信息可以根据要采集的数据类型包括页面埋点和用户自定义埋点两种形式：其中，页面上配置埋点信息包含的采集条件有页面生命周期事件，包括DOMContentLoaded、 beforeunload和visibilitychange 事件，当页面在加载过程中，将会自动触发相应的生命周期事件；要采集的数据包括页面来源、当前站点语言、可视窗口大小和页面加载性能数据；这些数据主要来自浏览器的 window 对象、上一个页面带过来的数据以及按规则存储在浏览器中的数据；用户自定义埋点，部分数据通过监听页面元素触发事件的方式获取，其余数据则需要用户手动执行触发，用户自定义埋点以下面的方式上报：将 "login.click" 标识符配置在页面元素节点上，通过javascript监听元素节点触发的点击事件，用户点击到该元素时，javascript解析该元素上携带的数据，获取数据然后进行上报。4.根据权利要求1所述的基于web端的无侵入埋点数据收集方法，其特征在于，步骤S3中，根...

【专利技术属性】
技术研发人员：陈鹏，
申请(专利权)人：杭州比智科技有限公司，
类型：发明
国别省市：