【技术实现步骤摘要】
标签更新方法、装置、集群及存储介质
本专利技术实施例涉及基于标签更新技术,尤其涉及一种标签更新方法、装置、集群及存储介质。
技术介绍
在大数据时代,要迅速从海量的数据中挖掘出数据的价值是一件很有挑战的事情,越来越多的企业会通过离线处理的方式对数据进行处理,通过数据特征以及对数据聚合统计等方式打上各种各样的标签,从而方便算法模型去支撑上层应用实现精准营销等功能。现有的打标签通常通过编写MapReduce程序对数据进行处理以输出结果文件,新标签打标过程需要改动标签计算程序来适应新标签的打标处理,开发维护成本较大。
技术实现思路
本专利技术提供一种标签更新方法、装置、集群及存储介质,以实现每次标签更新都需要针对标签更新规则改动标签更新程序,降低标签更新的程序开发和维护成本。第一方面,本专利技术实施例提供了一种标签更新方法,包括:接收服务器发送的第一打标规则;读取待处理数据和对应的第二标签,所述第二标签为所述待处理数据基于第二打标规则定义的第二标签;根据所述第一打标规则对所述待处理 ...
【技术保护点】
1.一种标签更新方法,其特征在于,包括:/n接收服务器发送的第一打标规则;/n读取待处理数据和对应的第二标签,所述第二标签为所述待处理数据基于第二打标规则定义的第二标签;/n根据所述第一打标规则对所述待处理数据进行打标,以获得所述待处理数据基于所述第一打标规则定义的第一标签;/n合并所述待处理数据对应的所述第一标签和所述第二标签以获得目标标签。/n
【技术特征摘要】 【专利技术属性】
1.一种标签更新方法,其特征在于,包括:
接收服务器发送的第一打标规则;
读取待处理数据和对应的第二标签,所述第二标签为所述待处理数据基于第二打标规则定义的第二标签;
根据所述第一打标规则对所述待处理数据进行打标,以获得所述待处理数据基于所述第一打标规则定义的第一标签;
合并所述待处理数据对应的所述第一标签和所述第二标签以获得目标标签。
2.根据权利要求1所述的标签更新方法,其特征在于,所述合并所述待处理数据对应的所述第一标签和所述第二标签以获得目标标签还包括:
比较待处理数据对应的所述第一标签和所述第二标签以获得所述第一标签的第一差异标签和所述第二标签的第二差异标签,所述第一差异标签与所述第二差异标签完全不同;
将所述第一差异标签写入所述第二标签中并删除所述第二标签中的所述第二差异标签以获得所述目标标签。
3.根据权利要求1所述的标签更新方法,其特征在于,所述接收服务器发送的目标打标规则之前,还包括:
接收所述服务器发送的标签计算程序;
根据所述标签计算程序进行配置。
4.根据权利要求3所述的标签更新方法,其特征在于,所述接收所述服务器通过发送的标签计算程序还包括:
接收所述服务器通过LivySession发送的标签计算程序。
5.根据权利要求3所述的标签更新方法,其特征在于,所述根据所述标签计算程序进行配置包括:
根据所述标签计算程序启用Sparkjob;
技术研发人员:李科,
申请(专利权)人:深圳市前海随手数据服务有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。