一种基于流计算的用户行为分析方法及系统技术方案

本发明专利技术实施例提供了一种基于流计算的用户行为分析方法及系统，用于实现用户行为的实时分析，提高用户行为分析的准确性。本发明专利技术实施例方法包括：从至少两种渠道采集用户行为数据，并转换为统一格式的JSON数据包，所述用户行为数据包括用户行为路径、时间指标、用户基础标签数据、交易数据、活跃留存、点击行为、平台类型；采用Spark Streaming流计算引擎对所述用户行为数据进行实时用户行为分析，所述用户行为分析包括事件分析、用户留存分析、漏斗分析、用户行为路径分析、交易分析、用户画像及点击分析；存储用户行为分析结果，并根据用户的查询请求展示对应的分析结果。

【技术实现步骤摘要】
一种基于流计算的用户行为分析方法及系统
本专利技术涉及大数据处理
，具体涉及一种基于流计算的用户行为分析方法及系统。
技术介绍
用户行为分析，是指对用户使用产品过程中的所有数据进行收集、整理、统计，分析用户使用产品的规律，为产品的后续发展、优化或营销提供有力的数据支撑。在信息爆炸的时代，信息每天以几何级的速度增长着，使得市场上各大互联网公司都面临着严峻的挑战。现有方案中，对于用户行为数据的采集往往是单一渠道，例如单独的Web端或者单独的App端，对于单个用户的用户行为数据采集量相对较少，影响用户行为分析结果的准确性。其次，现有的用户行为数据引擎分析机制采用的是Hadoop架构下的Map/Reduce批量处理机制，并不能对用户行为数据进行实时处理，导致用户行为数据的分析结果有延迟。有鉴于此，有必要提出一种新的用户行为分析方法。
技术实现思路
本专利技术实施例提供了一种基于流计算的用户行为分析方法及系统，用于实现用户行为的实时分析，提高用户行为分析的准确性。本专利技术实施例第一方面提供了一种基于流计算的用户行为分析方法，其特征在于，包括：从至少两种渠道采集用户行为数据，并转换为统一格式的JSON数据包，所述用户行为数据包括用户行为路径、时间指标、用户基础标签数据、交易数据、活跃留存、点击行为、平台类型；采用SparkStreaming流计算引擎对所述用户行为数据进行实时用户行为分析，所述用户行为分析包括事件分析、用户留存分析、漏斗分析、用户行为路径分析、交易分析、用户画像及点击分析；存储用户行为分析结果，并根据用户的查询请求展示对应的分析结果。可选的，所述存储用户行为分析结果，并根据用户的查询请求展示对应的分析结果包括：将所述用户行为分析结果保存进分布式缓存和关系数据库中；根据用户的查询请求，优先从分布式缓存中获取并展示对应的分析结果数据，若从分布式缓存中查询不到，则从关系数据库集群中获取并展示对应的分析结果数据。可选的，所述方法还包括：采用分布式开放式消息系统RocketMQ双消息队列处理机制对所述JSON数据包进行传输，所述双消息队列包括主消息队列及从消息队列，所述主消息队列用于JSON数据包传输，所述从消息队列用于丢失、延时或出错的JSON数据包重发。可选的，所述用户画像包括：根据所述事件分析、用户行为路径分析及交易分析，获取对应用户的用户属性数据，所述用户属性数据至少包括社会属性、生活属性、消费行为数据；将所述用户属性数据以及所述用户基础标签数据关联存储形成用户画像。可选的，所述用户基础标签数据包括：用户类型、用户性别、年龄、用户角色、用户等级、注册类型、用户访问地域信息、用户访问设备类型、App版本信息及浏览器版本信息中的一项或多项。本专利技术实施例第二方面提供了一种基于流计算的用户行为分析系统，其特征在于，包括：数据采集模块，用于从至少两种渠道采集用户行为数据，并转换为统一格式的JSON数据包，所述用户行为数据包括用户行为路径、时间指标、用户基础标签数据、交易数据、活跃留存、点击行为、平台类型；SparkStreaming流计算引擎，用于采用SparkStreaming流计算机制对所述用户行为数据进行实时用户行为分析，所述用户行为分析包括事件分析、用户留存分析、漏斗分析、用户行为路径分析、交易分析、用户画像及点击分析；存储与展示模块，用于存储用户行为分析结果，并根据用户的查询请求展示对应的分析结果。可选的，所述存储与展示模块具体包括：存储单元，用于将所述用户行为分析结果保存进分布式缓存和关系数据库中；展示单元，用于根据用户的查询请求，优先从分布式缓存中获取并展示对应的分析结果数据，若从分布式缓存中查询不到，则从关系数据库集群中获取并展示对应的分析结果数据。可选的，该系统还包括：数据传输模块，用于采用分布式开放式消息系统RocketMQ双消息队列处理机制对所述JSON数据包进行传输，所述双消息队列包括主消息队列及从消息队列，所述主消息队列用于JSON数据包传输，所述从消息队列用于丢失、延时或出错的JSON数据包重发。可选的，所述SparkStreaming流计算引擎包括：数据采集单元，用于根据所述事件分析、用户行为路径分析及交易分析，获取对应用户的用户属性数据，所述用户属性数据至少包括社会属性、生活属性、消费行为数据；关联存储单元，用于将所述用户属性数据以及所述用户基础标签数据关联存储形成用户画像。可选的，所述用户基础标签数据包括：用户类型、用户性别、年龄、用户角色、用户等级、注册类型、用户访问地域信息、用户访问设备类型、App版本信息及浏览器版本信息中的一项或多项。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例中，可以从多种渠道采集用户行为数据，并将其转换为统一的JSON格式数据包以便于处理，相对于现有方案可以采集到单个用户更多的用户行为数据，有利于提高用户行为分析结果的准确性，对于采集到的用户行为数据可以采用SparkStreaming流计算机制对用户行为数据进行实时用户行为分析，降低了用户行为数据分析结果的延迟。附图说明图1为本专利技术实施例中一种基于流计算的用户行为分析方法的一个实施例示意图；图2为本专利技术实施例中一种基于流计算的用户行为分析系统的一个实施例示意图；图3为本专利技术实施例中一种基于流计算的用户行为分析系统的另一个实施例示意图；图4为本专利技术实施例中一种基于流计算的用户行为分析系统的另一个实施例示意图。具体实施方式本专利技术实施例提供了一种基于流计算的用户行为分析方法及系统，用于实现用户行为的实时分析，提高用户行为分析的准确性。为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了便于理解，下面对本专利技术实施例中的具体流程进行描述，请参阅图1，本专利技术实施例中一种基于流计算的用户行为分析方法的一个实施例可包括：101、从至少两种渠道采集用户行为数据，并转换为统一格式的JSON数据包；为了采集单个用户更多的用户行为数据，系统可以从多个渠道进行采集用户行为数据，例如，可以从用户相关联的一个或多个Web端以及一种或多种App端对应的用户行为数据，具体的用户行为数据可以包括但不限于用户行为路径、时间指标、用户基础标签数据、交易数据、活跃留存、点击行为、平台类型，具体的用户行为数据类型可以根据用户的需求进行合理的设置，具体此处不做限定。进一步的，为了便于系统进行数据处理，可以将采集到的数据转换为统一格式的JSON数据包，具体的JSON数据格式为现有技术此处不再赘述。102、采用SparkStreaming流计算引擎对用户行为数据进行实时用户行为分析；在采集本文档来自技高网...

【技术保护点】
一种基于流计算的用户行为分析方法，其特征在于，包括：从至少两种渠道采集用户行为数据，并转换为统一格式的JSON数据包，所述用户行为数据包括用户行为路径、时间指标、用户基础标签数据、交易数据、活跃留存、点击行为、平台类型；采用Spark Streaming流计算引擎对所述用户行为数据进行实时用户行为分析，所述用户行为分析包括事件分析、用户留存分析、漏斗分析、用户行为路径分析、交易分析、用户画像及点击分析；存储用户行为分析结果，并根据用户的查询请求展示对应的分析结果。

【技术特征摘要】
1.一种基于流计算的用户行为分析方法，其特征在于，包括：从至少两种渠道采集用户行为数据，并转换为统一格式的JSON数据包，所述用户行为数据包括用户行为路径、时间指标、用户基础标签数据、交易数据、活跃留存、点击行为、平台类型；采用SparkStreaming流计算引擎对所述用户行为数据进行实时用户行为分析，所述用户行为分析包括事件分析、用户留存分析、漏斗分析、用户行为路径分析、交易分析、用户画像及点击分析；存储用户行为分析结果，并根据用户的查询请求展示对应的分析结果。2.根据权利要求1所述的方法，其特征在于，所述存储用户行为分析结果，并根据用户的查询请求展示对应的分析结果包括：将所述用户行为分析结果保存在分布式缓存和关系数据库中；根据用户的查询请求，优先从分布式缓存中获取并展示对应的分析结果数据，若从分布式缓存中查询不到，则从关系数据库集群中获取并展示对应的分析结果数据。3.根据权利要求2所述的方法，其特征在于，还包括：采用分布式开放式消息系统RocketMQ双消息队列处理机制对所述JSON数据包进行传输，所述双消息队列包括主消息队列及从消息队列，所述主消息队列用于JSON数据包传输，所述从消息队列用于丢失、延时或出错的JSON数据包重发。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述用户画像包括：根据所述事件分析、用户行为路径分析及交易分析，获取对应用户的用户属性数据，所述用户属性数据至少包括社会属性、生活属性、消费行为数据；将所述用户属性数据以及所述用户基础标签数据关联存储形成用户画像。5.根据权利要求4所述的方法，其特征在于，所述用户基础标签数据包括：用户类型、用户性别、年龄、用户角色、用户等级、注册类型、用户访问地域信息、用户访问设备类型、App版本信息及浏览器版本信息中的一项或多项。6.一种基于流计算的用户行为分析系统，其特征在于，包括：数据采集模块，用于从...

【专利技术属性】
技术研发人员：李弘伟，胡文彬，李奕锦，李少卿，赵彦晖，孙淏添，
申请(专利权)人：深圳市中润四方信息技术有限公司西安分公司，
类型：发明
国别省市：陕西,61