一种用户行为分析建模方法技术

本发明专利技术提供一种用户行为分析建模方法

【技术实现步骤摘要】
一种用户行为分析建模方法、分析方法及系统


[0001]本专利技术涉及大数据计算
，尤其涉及一种用户行为分析建模方法
、
分析方法及系统
。

技术介绍

[0002]由于互联网时代的到来，数据量激增，传统的数据库技术很难满足大数据量下对数据的处理
。
[0003]现有的最普遍的实现方案是使用基于
MySQL
等数据库的技术架构进行计算与分析
。
该方案在数据量还没有爆发式增长的时代被广泛应用于用户行为分析
。MySQL
是目前应用最广泛的数据库之一，但是也存在一些不适合作为查询分析的理由，具体的：
[0004]一
、
由于其架构原因与垂直扩展的特性，在处理大量数据和高并发访问时可能面临性能瓶颈，千万级别的多表联接
、
聚合和分析查询时有可能无法完成计算
。
同时，官方建议
MySQL
单表不要存储超过一亿的数据量，即使是
Oracle
这样特别优秀的
TP
数据库，总存储量也不能超过
36T。
[0005]二
、
用户行为分析会经常遇到一些很复杂的处理逻辑，比如在处理过程中引入
jar
包做解析等，传统数据库很难做除了
SQL
以外的处理逻辑
。
[0006]三
、
用户行为分析的数据来源很大一部分是来自于埋点的日志数据
。
这种日志数据会包含很多脏数据或者非结构化数据
。MySQL
只能存储结构化的数据，在数据进入数据库之前还要用程序对埋点数据做清洗，转换
。
对于大数据量的数据清洗，自行开发的程序一般会存在性能瓶颈
。
[0007]四
、MySQL
的并发读取能力有限，应对大数据量大量查询的能力较差
。

技术实现思路

[0008]鉴于此，本专利技术实施例提供了一种用户行为分析建模方法
、
分析方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷，解决现有基于
MySQL
等数据库的技术方案在大数据量下无法完成计算，以及对于复杂需求难以快速实现的问题
。
[0009]一方面，本专利技术提供了一种用户行为分析建模方法，包括以下步骤：
[0010]采集业务数据和埋点数据并写入分布式文件系统，构建原始数据层；
[0011]基于预设的业务总线矩阵，对所述原始数据层中的原始数据进行转换与计算，确定不同业务的原始数据对应的指标，根据所述指标生成事实表，构建明细数据层；
[0012]读取所述原始数据层中的原始数据，并分离出维度数据，根据所述维度数据构建维度数据层；
[0013]根据业务类型和所述业务总线矩阵，将所述明细数据层和所述维度数据层的数据进行关联并汇总，生成用户数据宽表，构建汇总数据层；
[0014]根据需求从所述汇总数据层的用户数据宽表中读取并分析相应数据，写入多维分析数据库，构建数据应用层，以供查询数据以及得到用户行为分析结果
。
[0015]在本专利技术的一些实施例中，采集业务数据和埋点数据并写入分布式文件系统，还包括：
[0016]通过数据中台将所述业务数据采集到
Kafka
集群中；所述业务数据包括
MySQL
业务数据和
Oracle
业务数据；
[0017]使用
Flume
将所述业务数据和所述埋点数据同步至所述分布式文件系统；
[0018]对所述业务数据和所述埋点数据进行清洗，映射生成原始数据表，以构建原始数据层
。
[0019]在本专利技术的一些实施例中，所述指标包括相应的业务过程
、
粒度
、
维度和度量值
。
[0020]在本专利技术的一些实施例中，根据所述维度数据构建维度数据层，还包括：
[0021]通过所述多维分析数据库查询语言或者用户自定义函数，将所述维度数据写入所述维度数据层
。
[0022]在本专利技术的一些实施例中，根据需求从所述汇总数据层的用户数据宽表中读取并分析相应数据，写入多维分析数据库，还包括：
[0023]对写入所述多维分析数据库的数据进行位图索引处理，以便快速查询
。
[0024]另一方面，本专利技术提供一种用户行为分析系统，所述系统基于上文所述用户行为分析建模方法建模得到，所述系统包括：
[0025]数据采集模块，用于采集业务数据和埋点数据并写入分布式文件系统；
[0026]数据仓库模块，包括原始数据层
、
明细数据层
、
维度数据层和汇总数据层；用于根据业务类型和业务总线矩阵，将所述明细数据层和所述维度数据层的数据进行关联并汇总，生成用户数据宽表，提供数据支持；
[0027]数据应用模块，用于根据需求从所述汇总数据层的用户数据宽表中读取并分析相应数据，得到用户行为分析结果
。
[0028]在本专利技术的一些实施例中，所述系统还包括任务调度系统，用于进行离线任务的任务调度
、
任务监控以及告警通知
。
[0029]在本专利技术的一些实施例中，所述系统还设有分布式系统协调服务，用于分布式协调
、
监听所述业务数据和所述任务调度系统内的数据
。
[0030]另一方面，本专利技术提供一种用户行为分析方法，其特征在于，包括以下步骤：
[0031]获取待查询需求；
[0032]将所述需求输入如上文中任一项所述的用户行为分析系统的数据应用模块，以得到相应的用户行为分析结果
。
[0033]另一方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中提及的任意一项所述方法的步骤
。
[0034]本专利技术的有益效果至少是：
[0035]本专利技术提供一种用户行为分析建模方法
、
分析方法及系统，包括：采集业务数据和埋点数据并写入分布式文件系统，构建原始数据层；基于预设的业务总线矩阵，对原始数据进行转换与计算，确定不同业务的原始数据对应的指标生成事实表，构建明细数据层；读取原始数据并分离出维度数据，根据维度数据构建维度数据层；根据业务类型和业务总线矩阵，将明细数据层和维度数据层的数据进行关联并汇总，生成用户数据宽表，构建汇总数据层；根据需求从用户数据宽表中读取并分析相应数据，写入多维分析数据库，构建数据应用
层，以供查询数据以及得到用户行为分析结果
。
基于本专利技术提供的建模方法可以构建得到
Hive+Doirs
架构的用户行为分析系统，用于实现用户行为分析
。
该系统能够在大数据量下对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用户行为分析建模方法，其特征在于，包括以下步骤：采集业务数据和埋点数据并写入分布式文件系统，构建原始数据层；基于预设的业务总线矩阵，对所述原始数据层中的原始数据进行转换与计算，确定不同业务的原始数据对应的指标，根据所述指标生成事实表，构建明细数据层；读取所述原始数据层中的原始数据，并分离出维度数据，根据所述维度数据构建维度数据层；根据业务类型和所述业务总线矩阵，将所述明细数据层和所述维度数据层的数据进行关联并汇总，生成用户数据宽表，构建汇总数据层；根据需求从所述汇总数据层的用户数据宽表中读取并分析相应数据，写入多维分析数据库，构建数据应用层，以供查询数据以及得到用户行为分析结果
。2.
根据权利要求1所述的用户行为分析建模方法，其特征在于，采集业务数据和埋点数据并写入分布式文件系统，还包括：通过数据中台将所述业务数据采集到
Kafka
集群中；所述业务数据包括
MySQL
业务数据和
Oracle
业务数据；使用
Flume
将所述业务数据和所述埋点数据同步至所述分布式文件系统；对所述业务数据和所述埋点数据进行清洗，映射生成原始数据表，构建原始数据层
。3.
根据权利要求1所述的用户行为分析建模方法，其特征在于，所述指标包括相应的业务过程
、
粒度
、
维度和度量值
。4.
根据权利要求1所述的用户行为分析建模方法，其特征在于，根据所述维度数据构建维度数据层，还包括：通过所述多维分析数据库查询语言或者用户自定义函数，将所述维度数据写入所述维度数据层
。5.
根据权利要求1所述的用户行...

【专利技术属性】
技术研发人员：姚志帆，
申请(专利权)人：中企云链北京金融信息服务有限公司，
类型：发明
国别省市：