数据分析系统技术方案

本申请属于计算机技术领域，提供一种数据分析系统，包括：注册模块，用于对页面、接口、事件进行注册；其中，对页面进行注册得到页面注册信息，所述页面注册信息包括页面路由和页面ID；前端采集模块，用于通过全埋点方法采集客户端产生的数据；所述客户端产生的数据包括页面路由；后端采集模块，用于对所述客户端产生的数据进行预处理并将预处理后的数据发送到实时数据仓库；所述预处理的步骤包括：根据所述页面注册信息将所述页面路由映射为页面ID；分析模块，用于从所述实时数据仓库中获取数据并利用从所述实时数据仓库中获取的数据进行数据分析。本申请的数据采集方法高效，此外，本申请还能够对数据进行快速统计以及提高数据统计的准确性。统计的准确性。统计的准确性。

【技术实现步骤摘要】
数据分析系统


[0001]本申请涉及计算机
，特别是涉及到一种数据分析系统。

技术介绍

[0002]数据分析平台，也称为数据分析系统，其有着丰富数据采集、数据管理、数据分析和信息展现的能力，这些功能使其成为决策支持的不可或缺的工具。目前市面上不同数据分析系统均有着自己的缺点。如，市面上现有的一些数据分析系统的数据采集方法需要针对每个场景，在业务系统代码中进行手动插入埋点采集代码来实现业务场景的数据采集。这种数据采集方法存在如下两种弊端：(1)改动大：手动插入代码方式需要通过改动业务代码进行数据采集，污染了业务系统代码，存在影响业务系统的风险。(2)扩展性差：对每个需要采集的业务场景，都需要手动改造业务代码，效率低下，扩展性差。此外，现有数据分析系统提供的功能已难以满足用户的需求。因此，目前亟需提供一种更完善的数据分析系统。

技术实现思路

[0003]本申请的主要目的旨在提供一种更加完善的数据分析系统。
[0004]第一方面，本申请实施例提供一种数据分析系统，包括：
[0005]注册模块，用于对页面、接口、事件进行注册；其中，对页面进行注册得到页面注册信息，所述页面注册信息包括页面路由和页面ID；
[0006]前端采集模块，用于通过全埋点方法采集客户端产生的数据；所述客户端产生的数据包括页面路由；
[0007]后端采集模块，用于对所述客户端产生的数据进行预处理并将预处理后的数据发送到实时数据仓库；所述预处理的步骤包括：根据所述页面注册信息将所述页面路由映射为页面ID；
[0008]分析模块，用于从所述实时数据仓库中获取数据并利用从所述实时数据仓库中获取的数据进行数据分析。
[0009]进一步的，所述注册模块包括页面注册子模块，所述页面注册子模块包括：
[0010]第一接收单元，用于接收页面注册请求；
[0011]第一响应单元，用于响应页面注册请求，打开注册页面，以使用户在所述注册页面的输入框中输入注册信息；其中，所述注册页面包括页面ID输入框、页面的Android路径输入框、页面的iOS路径输入框以及页面的H5路径输入框；
[0012]第二接收单元，用于接收页面注册生效请求；
[0013]第二响应单元，用于响应所述页面注册生效请求，根据所述注册信息对所述页面进行注册。
[0014]进一步的，所述分析模块包括用户轨迹分析子模块，所述用户轨迹分析子模块包括：
[0015]第三接收单元，用于接收打开用户活动轨迹查询页面请求；
[0016]第三响应单元，用于响应所述打开用户活动轨迹查询页面请求，打开用户活动轨迹查询页面，以使用户在所述用户活动轨迹查询页面的输入框中输入查询条件；所述用户活动轨迹查询页面包括用户ID输入框以及时间范围输入框；
[0017]第四接收单元，用于接收用户活动轨迹生成请求；
[0018]第四响应单元，用于响应所述用户活动轨迹生成请求，根据输入到所述用户ID输入框中的用户ID以及输入到所述时间范围输入框中的时间范围从所述实时数据仓库中获取对应的用户行为数据，并按照时间先后顺序生成用户活动轨迹。
[0019]进一步的，所述分析模块包括漏斗模型创建子模块，所述漏斗模型创建子模块包括：
[0020]第五接收单元，用于接收漏斗创建请求；
[0021]第五接收单元，用于响应所述漏斗创建请求，打开漏斗创建页面；其中，所述漏斗创建页面包括添加步骤选项；
[0022]第六接收单元，用于接收添加步骤请求；
[0023]第六响应单元，用于响应所述添加步骤请求，打开添加步骤页面；其中，所述添加步骤页面包括事件类型输入框、页面名称输入框、页面ID输入框、数据来源输入框以及所述事件类型对应的其他输入框；
[0024]拼接单元，用于按照步骤添加的先后顺序将所有步骤进行拼接，生成从初始事件到结束事件的漏斗模型。
[0025]进一步的，所述分析模块还包括漏斗分析子模块，所述漏斗分析子模块包括：
[0026]第七接收单元，用于接收漏斗分析请求；
[0027]第七响应单元，用于响应所述漏斗分析请求，利用在所述漏斗模型中各步骤页面的输入框中输入的信息进行用户行为分析，生成漏斗形状的分析结果。
[0028]进一步的，所述分析模块包括风险定位追踪子模块，所述风险定位追踪子模块包括：
[0029]第八接收单元，用于接收打开风险定位追踪页面请求；
[0030]第八响应单元，用于响应所述打开风险定位追踪页面请求，打开风险定位追踪页面，以使用户输入追踪条件；其中，所述风险定位追踪页面包括：用户名输入框、姓名输入框、手机号输入框、响应标签名称输入框、触发频率输入框、响应类型输入框中的任意一种或多种；
[0031]第九接收单元，用于接收查询风险请求；
[0032]第九响应单元，用于响应所述查询风险请求，查询满足输入到所述风险定位追踪页面的输入框中的信息的风险，生成风险列表。
[0033]进一步的，所述风险列表的每一行记录中均包括封禁选项和解封选项。
[0034]进一步的，所述数据分析系统还包括显示模块，用于显示监控的数据并在满足告警条件时进行告警提示；其中，所述监控的数据包括原始数据和/或经过统计分析得到的数据。
[0035]进一步的，所述实时数据仓库包括：
[0036]原始数据层，用于存储采集模块、数据库同步上传的业务数据并保持数据原样；
[0037]维度数据层，用于存储需要分析的数据维度；
[0038]数据明细层，用于存储明细数据；
[0039]数据聚合层，用于存储已经进行细粒度聚合后的指标数据；
[0040]数据应用层，用于提供应用所需的数据。
[0041]进一步的，构建所述数据仓库采用的技术栈包括StarRocks、ApacheFlink、Elasticsearch以及ApacheKafka。
[0042]本申请实施例对通过全埋点的方式采集数据，全埋点指的是SDK通过代理客户端的生命周期函数与各个事件处理函数来实现预置事件的采集，由于全埋点具有无需侵入业务代码的优点，从而解决了现有数据采集方法改动大、扩展性差的问题。通过全埋点方式采集数据只需要嵌入SDK，极大程度地避免了因需求变更、埋点错误等原因导致重新埋点的复杂工作。此外，通过对页面、接口以及事件进行注册，可以保留所需的数据。另外，通过将页面路由映射为页面ID，实现了对数据进行快速统计且还能够提高数据统计的准确性。
附图说明
[0043]图1是本申请实施例提供的数据分析系统的结构示意图；
[0044]图2是本申请实施例提供的页面注册的示意图；
[0045]图3是本申请实施例提供的用户活动轨迹查询页面的示意图
[0046]图4是本申请实施例提供的漏斗创建页面的局部示意图；
[0047]图5是本申请实施例提供的漏斗模型的用户行为的示意图；
[0048]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分析系统，其特征在于，包括：注册模块，用于对页面、接口、事件进行注册；其中，对页面进行注册得到页面注册信息，所述页面注册信息包括页面路由和页面ID；前端采集模块，用于通过全埋点方法采集客户端产生的数据；所述客户端产生的数据包括页面路由；后端采集模块，用于对所述客户端产生的数据进行预处理并将预处理后的数据发送到实时数据仓库；所述预处理的步骤包括：根据所述页面注册信息将所述页面路由映射为页面ID；分析模块，用于从所述实时数据仓库中获取数据并利用从所述实时数据仓库中获取的数据进行数据分析。2.根据权利要求1所述的数据分析系统，其特征在于，所述注册模块包括页面注册子模块，所述页面注册子模块包括：第一接收单元，用于接收页面注册请求；第一响应单元，用于响应页面注册请求，打开注册页面，以使用户在所述注册页面的输入框中输入注册信息；其中，所述注册页面包括页面ID输入框、页面的Android路径输入框、页面的iOS路径输入框以及页面的H5路径输入框；第二接收单元，用于接收页面注册生效请求；第二响应单元，用于响应所述页面注册生效请求，根据所述注册信息对所述页面进行注册。3.根据权利要求1所述的数据分析系统，其特征在于，所述分析模块包括用户轨迹分析子模块，所述用户轨迹分析子模块包括：第三接收单元，用于接收打开用户活动轨迹查询页面请求；第三响应单元，用于响应所述打开用户活动轨迹查询页面请求，打开用户活动轨迹查询页面，以使用户在所述用户活动轨迹查询页面的输入框中输入查询条件；所述用户活动轨迹查询页面包括用户ID输入框以及时间范围输入框；第四接收单元，用于接收用户活动轨迹生成请求；第四响应单元，用于响应所述用户活动轨迹生成请求，根据输入到所述用户ID输入框中的用户ID以及输入到所述时间范围输入框中的时间范围从所述实时数据仓库中获取对应的用户行为数据，并按照时间先后顺序生成用户活动轨迹。4.根据权利要求1所述的数据分析系统，其特征在于，所述分析模块包括漏斗模型创建子模块，所述漏斗模型创建子模块包括：第五接收单元，用于接收漏斗创建请求；第五接收单元，用于响应所述漏斗创建请求，打开漏斗创建页面；其中所述漏斗创建页面包括添加步骤选项；第六接收单元，用于接收添加步骤请求；第六响应单元...

【专利技术属性】
技术研发人员：周洪峰，田赟，陈伟，董添乐，
申请(专利权)人：深圳微品致远信息科技有限公司，
类型：发明
国别省市：