动静组合的大数据分析方法技术

本发明专利技术公开了动静组合的大数据分析方法，设置

【技术实现步骤摘要】
动静组合的大数据分析方法、系统、设备和存储介质


[0001]本专利技术涉及大数据分析
，特别涉及动静组合的大数据分析方法
、
系统
、
设备和存储介质
。

技术介绍

[0002]营销领域经常需要进行客户洞察
、
客户分层
、
人群圈选等客户数据分析，例如：当需要对客户性别
、
年龄
、
订单
、
订单次数
、
总付款金额等数据进行筛选分析时，传统的做法是：先根据客户的基本信息和行为信息对客户进行标签画像，然后根据标签表中的信息进行数据筛选和分析，常见的标签表结构包括行式存储和列式存储，如下表所示：
[0003](1)
采用行式存储的订单明细表
(
表
1)
：
[0004]客户编号标签
1(
性别
)
标签
2(
年龄段
)...u1
女
20
～
25
岁
...u2
男
NULL...
[0005](2)
采用列式存储的订单明细表
(
表
2)
：
[0006]客户编号标签编号标签值
u11
女
u1220
～
25
岁
u21
男
.........
[0007]以上述的标签表为例，当需要对客户进行数据筛选和分析时，比如要查找近7天下单超过5次且总付款金额大于
200
且年龄在
20
～
25
岁的女性客户，则传统的分析过程需要经过以下步骤：
[0008]步骤1：利用表1的订单明细表中的订单创建时间筛选近7天的订单，根据客户编号分组计算每个客户的近7天订单数，筛选出订单总数超过5次的客户；
[0009]步骤2：利用表1的订单明细表中的订单创建时间筛选近7天的订单，根据客户编号分组计算每个客户的近7天订单总付款金额，筛选出总付款金额超过
200
的客户；
[0010]步骤3：求步骤1和步骤2的交集，得到近7天下单超过5次且总付款金额大于
200
的客户；
[0011]步骤4：利用表2客户标签信息过滤出同时满足年龄在
20
～
25
岁且性别为女性的客户；
[0012]步骤5：求步骤3和步骤4的交集，得到近7天下单超过5次且总付款金额大于
200
且年龄在
20
～
25
岁的女性客户
。
[0013]上述传统的分析方法存在以下几个问题：
[0014]Q1
：订单明细表一般数据量非常大，步骤
1、2、3
的做法查询耗时会随着条件的数量和复杂度而线性增长，对于该问题，现有技术通常采用对订单数据进行预聚合计算，例如：按照客户维度汇总计算每天总订单数
、
每天总付款金额，但是需要在第
T+1
日计算前
T
日的
结果，计算结果存在1天的延迟，无法获得实时动态的订单分析结果
。
[0015]Q2
：行式存储的表结构设计存在标签个数有限
、
数据冗余存储
、
空间效率低和扩展性差的问题，例如：
u2
没有标签2的值
。
[0016]Q3
：列式存储的表结构设计存在数据量放大问题，例如：1亿客户数
、2000
个标签的场景，则会有
2000
亿条记录，在数据查询时，性能极差
。
[0017]因此，现有的基于标签表结构
(
包括行式存储和列式存储
)
的数据筛选和分析的方法并不能满足高效实时的营销数据分析需求，而需要一种能满足大数据
、
实时性
、
高效率
、
易扩展
、
低存储的分析方法
。

技术实现思路

[0018]为解决上述问题，本专利技术提供了动静组合的大数据分析方法
。
[0019]本专利技术采用以下技术方案：
[0020]动静组合的大数据分析方法，设置
bitmap
汇总表，所述
bitmap
汇总表的列表头包括记录编号
、
标签编号
、
标签值和客户编号，每个所述记录编号对应一条记录，每个所述标签编号对应一个信息属性，所述信息属性为客户的基本信息或行为信息，所述标签值表示与所述标签编号对应的取值，所述客户编号群用于表示具有相同的标签编号和标签值的所有客户的编号组成的集合，所述客户编号群采用
bitmap
格式存储在对应的记录中；
[0021]所述方法包括如下步骤：
[0022]S1、
将客户的基本信息按照所述
bitmap
汇总表的结构进行存储；
[0023]S2、
通过动态流式计算实时统计每个行为信息对应的客户编号群并转换为
bitmap
格式存入对应记录中，以实时更新所述
bitmap
汇总表；
[0024]S3、
按照所设定的条件要求，根据标签编号和标签值过滤出满足条件的待分析的客户编号群；
[0025]S4、
对所述客户编号群进行静态的集合代数运算，以求得满足所述设定的条件要求的客户列表
。
[0026]进一步地，所述客户的基本信息包括性别
、
年龄段和职业类型中的任意一种或几种
。
[0027]进一步地，所述客户的行为信息包括某一时间段内的订单数
、
某一时间段内的总付款金额区间
、
某一时间段内的退单次数中的任意一种或几种
。
[0028]进一步地，所述集合代数运算包括与运算
、
或运算中的任意一种
。
[0029]动静组合的大数据分析系统，所述系统用于实现如上所述的动静组合的大数据分析方法，所述系统包括存储模块
、
动态更新模块
、
输入模块
、
静态计算模块和输出模块；
[0030]所述存储模块用于存储客户的属性信息
、
行为信息和
bitmap
汇总表；
[0031]所述动态更新模块通过动态流式计算实时统计每个行为信息对应的客户编号群并转换为
bitmap
格式存入对应记录中，以实时更新所述
bitmap
汇总表；
[0032]所述输入模块供用户按照所设定的条本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
动静组合的大数据分析方法，其特征在于：设置
bitmap
汇总表，所述
bitmap
汇总表的列表头包括记录编号
、
标签编号
、
标签值和客户编号，每个所述记录编号对应一条记录，每个所述标签编号对应一个信息属性，所述信息属性为客户的基本信息或行为信息，所述标签值表示与所述标签编号对应的取值，所述客户编号群用于表示具有相同的标签编号和标签值的所有客户的编号组成的集合，所述客户编号群采用
bitmap
格式存储在对应的记录中；所述方法包括如下步骤：
S1、
将客户的基本信息按照所述
bitmap
汇总表的结构进行存储；
S2、
通过动态流式计算实时统计每个行为信息对应的客户编号群并转换为
bitmap
格式存入对应记录中，以实时更新所述
bitmap
汇总表；
S3、
按照所设定的条件要求，根据标签编号和标签值过滤出满足条件的待分析的客户编号群；
S4、
对所述客户编号群进行静态的集合代数运算，以求得满足所述设定的条件要求的客户列表
。2.
如权利要求1所述的动静组合的大数据分析方法，其特征在于：所述客户的基本信息包括性别
、
年龄段和职业类型中的任意一种或几种
。3.
如权利要求2所述的动静组合的大数据分析方法，其特征在于：所述客户的行为信息包括某一时间段内的订单数
、
某一时间段内的总付款金额区间
、

【专利技术属性】
技术研发人员：陈碧勇，方敏，冯伟乾，
申请(专利权)人：厦门南讯股份有限公司，
类型：发明
国别省市：