【技术实现步骤摘要】
本专利技术涉及数据处理,尤其是指一种基于hive的客户线索得分排序方法、装置、电子设备及介质。
技术介绍
1、随着流量红利结束,客户线索挖掘已经由增量客户挖掘转变为存量客户挖掘,如何从存量客户行为中挖掘有用的价值线索成了公司用户运营的关键。
2、由于大公司往往有大量的客户,在某些行业龙头中,这类数量甚至过亿,随着数字化时代的到来,这些公司都建立了各类数据中台,里面会存储用户生命周期的各类行为数据,这些数据往往会有如下特征:数据量大、信息密度低,所以一般不会储存在高性能数据库中,针对这类场景,hive数据仓库显而易见是一种非常好的选择。
3、hive虽然解决了传统关系型数据库在大数据处理上的瓶颈问题,但其数据处理效率低下,且由于mapruduce机制问题,对于一个批次处理的大数据,比如全局排序order by,hive往往会把数据放在一个reducetask进行处理,如果数据量达到千万级,性能会大大降低,且极容易出现数据倾斜的问题。
4、基于这种技术,就要求在hive数据仓库中挖掘存量客户有用信息的同时
...【技术保护点】
1.一种基于hive的客户线索得分排序方法,包括:
2.根据权利要求1所述的方法,其特征在于:在所述将待处理数据进行排序,得到最终排名数据的步骤之中,还包括对待处理数据中的每个数据进行扩大预设倍数,并对每个数据的整数部分进行排序。
3.根据权利要求1所述的方法,其特征在于:在所述将待处理数据进行排序,得到最终排名数据的步骤之中,包括:
4.根据权利要求3所述的方法,其特征在于:相邻的两个分区数据之间呈递进关系。
5.根据权利要求1所述的方法,其特征在于:在所述将待处理数据进行排序,得到最终排名数据的步骤之中,还包括对排序
...【技术特征摘要】
1.一种基于hive的客户线索得分排序方法,包括:
2.根据权利要求1所述的方法,其特征在于:在所述将待处理数据进行排序,得到最终排名数据的步骤之中,还包括对待处理数据中的每个数据进行扩大预设倍数,并对每个数据的整数部分进行排序。
3.根据权利要求1所述的方法,其特征在于:在所述将待处理数据进行排序,得到最终排名数据的步骤之中,包括:
4.根据权利要求3所述的方法,其特征在于:相邻的两个分区数据之间呈递进关系。
5.根据权利要求1所述的方法,其特征在于:在所述将待处理数据进行排序,得到最终排名数据的步骤之中,还包括对排序结果进行验证,若验证通过...
【专利技术属性】
技术研发人员:余佳丽,李凯,
申请(专利权)人:中国平安人寿保险股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。