基于Bitmap位图的用户行为统计方法、装置、设备及介质制造方法及图纸

本申请涉及大数据技术领域，揭露一种基于Bitmap位图的用户行为统计方法、装置、设备及介质，其中方法包括采集用户行为数据，并将其以切片周期的方式存储于分布式文件系统的周期文件中和入库到数据仓库工具h i ve的分区表中；对当前切片周期的用户行为数据执行去重处理，得到用户行为事件中间表；将上一切片周期的用户行为位图与用户行为事件中间表进行全关联，生成当前周期的用户行为位图，且将当前周期的用户行为位图与其他周期的用户行为位图作为目标用户行为位图；根据用户行为统计请求，从目标用户行为位图中统计用户行为数据，得到目标数据。本发明专利技术将用户行为数据转换为位图形式，提高了用户行为数据的统计效率。提高了用户行为数据的统计效率。提高了用户行为数据的统计效率。

【技术实现步骤摘要】
基于Bitmap位图的用户行为统计方法、装置、设备及介质


[0001]本申请涉及大数据
，尤其涉及一种基于Bitmap位图的用户行为统计方法、装置、设备及介质。

技术介绍

[0002]在大数据时代，用户在各个端产生了海量行为数据。而用户行为统计是需要根据用户任一段周期内的某一类行为或者多类行为来统计，进一步根据统计结果将用户划分或聚类出不同群体，然后对不同群体进行不同的个性化营销服务。为此，需要针对海量数据的用户行为统计方案，以实现快速便捷灵活的统计任意段周期内、任意行为统计数据。
[0003]现有针对海量的用户行为数据的统计方式是通过埋点收集用户行为数据，并将收集用户行为数据存储于分布式文件系统中，再对用户行为数据进行统计分析。然而统计分析方式需要大量的计算资源和存储资源，统计计算等待时间长，周期的改变更会加剧资源紧张，从而导致用户行为数据的统计效率较低。

技术实现思路

[0004]本申请实施例的目的在于提出一种基于Bitmap位图的用户行为统计方法、装置、设备及介质，以提高用户行为数据的统计效率。
[0005]为了解决上述技术问题，本申请实施例提供一种基于Bitmap位图的用户行为统计方法，包括：
[0006]采集用户行为数据，并将所述用户行为数据以切片周期的方式存储于分布式文件系统的周期文件中；
[0007]按照切片周期的方式，将所述分布式文件系统的周期文件对应入库到数据仓库工具hive的分区表中，其中，所述分区表中的一个分区对应一个切片周期的用户行为数据；
[0008]从所述分区表中获取当前切片周期的用户行为数据，并对所述当前切片周期的用户行为数据执行去重处理，得到用户行为事件中间表；
[0009]获取上一切片周期的用户行为位图，并将所述上一切片周期的用户行为位图与所述用户行为事件中间表进行全关联，生成目标用户行为位图；
[0010]若接收到用户行为统计请求，则根据所述用户行为统计请求，从所述目标用户行为位图中统计用户行为数据，得到目标数据。
[0011]为了解决上述技术问题，本申请实施例提供一种基于Bitmap位图的用户行为统计装置，包括：
[0012]初用户行为数据采集模块，用于采集用户行为数据，并将所述用户行为数据以切片周期的方式存储于分布式文件系统的周期文件中；
[0013]用户行为数据入库模块，用于按照切片周期的方式，将所述分布式文件系统的周期文件对应入库到数据仓库工具hive的分区表中，其中，所述分区表中的一个分区对应一个切片周期的用户行为数据；
[0014]用户行为数据去重模块，用于从所述分区表中获取当前切片周期的用户行为数据，并对所述当前切片周期的用户行为数据执行去重处理，得到用户行为事件中间表；
[0015]目标用户行为位图生成模块，用于获取上一切片周期的用户行为位图，并将所述上一切片周期的用户行为位图与所述用户行为事件中间表进行全关联，生成目标用户行为位图；
[0016]目标数据生成模块，用于若接收到用户行为统计请求，则根据所述用户行为统计请求，从所述目标用户行为位图中统计用户行为数据，得到目标数据。
[0017]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于Bitmap位图的用户行为统计方法。
[0018]为解决上述技术问题，本专利技术采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项的基于Bitmap位图的用户行为统计方法。
[0019]本专利技术实施例提供了一种基于Bitmap位图的用户行为统计方法、装置、设备及介质。其中，方法包括：采集用户行为数据，并将用户行为数据以切片周期的方式存储于分布式文件系统的周期文件中；按照切片周期的方式，将分布式文件系统的周期文件对应入库到数据仓库工具hive的分区表中，其中，分区表中的一个分区对应一个切片周期的用户行为数据；从分区表中获取当前切片周期的用户行为数据，并对当前切片周期的用户行为数据执行去重处理，得到用户行为事件中间表；获取上一切片周期的用户行为位图，并将上一切片周期的用户行为位图与用户行为事件中间表进行全关联，生成目标用户行为位图；若接收到用户行为统计请求，则根据用户行为统计请求，从目标用户行为位图中统计用户行为数据，得到目标数据。本专利技术实施例通过将用户行为数据以切片周期的方式存储于数据参考工具hive的分区表中，有利于后续以切片周期的方式对用户行为数据处理，提高处理效率，同时本申请实施例还将用户行为数据以切片周期的方式转换成位图的形式，有利于对用户行为数据进行周期性统计，节省存储空间和减少数据计算量，从而有利于提高用户行为数据的统计效率。
附图说明
[0020]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例提供的基于Bitmap位图的用户行为统计方法流程的一实现流程图；
[0022]图2是本申请实施例提供的基于Bitmap位图的用户行为统计方法中子流程的又一实现流程图；
[0023]图3是本申请实施例提供的基于Bitmap位图的用户行为统计方法中子流程的又一实现流程图；
[0024]图4是本申请实施例提供的基于Bitmap位图的用户行为统计方法中子流程的又一实现流程图；
[0025]图5是本申请实施例提供的基于Bitmap位图的用户行为统计方法中子流程的又一实现流程图；
[0026]图6是本申请实施例提供的基于Bitmap位图的用户行为统计方法中子流程的又一实现流程图；
[0027]图7是本申请实施例提供的基于Bitmap位图的用户行为统计装置示意图；
[0028]图8是本申请实施例提供的计算机设备的示意图。
具体实施方式
[0029]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
[0030]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Bitmap位图的用户行为统计方法，其特征在于，包括:采集用户行为数据，并将所述用户行为数据以切片周期的方式存储于分布式文件系统的周期文件中；按照切片周期的方式，将所述分布式文件系统的周期文件对应入库到数据仓库工具hive的分区表中，其中，所述分区表中的一个分区对应一个切片周期的用户行为数据；从所述分区表中获取当前切片周期的用户行为数据，并对所述当前切片周期的用户行为数据执行去重处理，得到用户行为事件中间表；获取上一切片周期的用户行为位图，并将所述上一切片周期的用户行为位图与所述用户行为事件中间表进行全关联，生成目标用户行为位图；若接收到用户行为统计请求，则根据所述用户行为统计请求，从所述目标用户行为位图中统计用户行为数据，得到目标数据。2.根据权利要求1所述的基于Bitmap位图的用户行为统计方法，其特征在于，所述获取上一切片周期的用户行为位图，并将所述上一切片周期的用户行为位图与所述用户行为事件中间表进行全关联，生成目标用户行为位图，包括：获取所述上一切片周期的用户行为位图，作为对比用户行为位图；将所述用户行为事件中间表与所述对比用户行为位图进行全关联，得到全关联信息；基于所述全关联信息，生成所述目标用户行为位图，其中，在所述全关联信息中，若用户行为事件中间表关联到对比用户行为位图左侧，则在所述对比用户行为位图左侧并入一个1，若用户行为事件中间表未关联到对比用户行为位图左侧，则在所述对比用户行为位图左侧并入一个0，若所述对比用户行为位图不存在数据，则生成新位图1。3.根据权利要求1所述的基于Bitmap位图的用户行为统计方法，其特征在于，所述获取上一切片周期的用户行为位图，并将所述上一切片周期的用户行为位图与所述用户行为事件中间表进行全关联，生成目标用户行为位图，还包括：若所述上一切片周期的用户行为位图为空表，则将用户行为事件中间表对应位图均设为1，得到所述目标用户行为位图。4.根据权利要求1所述的基于Bitmap位图的用户行为统计方法，其特征在于，所述从所述分区表中获取当前切片周期的用户行为数据，并对所述当前切片周期的用户行为数据执行去重处理，得到用户行为事件中间表，包括：从所述分区表中获取当前切片周期的用户行为数据；根据用户名称和行为事件名称，对所述当前切片周期的用户行为数据执行去重处理，得到去重后的用户行为数据；构建所述去重后的用户行为数据对应的数据表，得到所述用户行为事件中间表。5.根据权利要求1所述的基于Bitmap位图的用户行为统计方法，其特征在于，所述采集用户行为数据，并将所述用户行为数据以切片周期的方式存储于分布式文件系统的周期文件中，包括：通过埋点的方式，采集所述用户行为数据；按照切片周期的方式，对用户行为数据进行切分，得到各个切片周期的用户行为数据；将各个所述切片周期的用户行为数据存储于所...

【专利技术属性】
技术研发人员：牛飞飞，
申请(专利权)人：金腾科技信息深圳有限公司，
类型：发明
国别省市：