本发明专利技术公开了基于烟酒销售的数据标签实现方法及系统，属于大数据处理技术领域，本发明专利技术要解决的技术问题为如何对数据进行快速准确的打标签，解放人力，提高生产力，采用的技术方案为：该方法是通过烟酒销售行业的业务主体中特征的分类，使用不同的处理方式，完成数据特征的预处理，从而支持数据标签的快速展示；具体如下：定义特征规则：定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；线性特征处理引擎：对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；汇聚型标签引擎；定义标签规则；定义标签组；画像：通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。完成画像展示。完成画像展示。
【技术实现步骤摘要】
基于烟酒销售的数据标签实现方法及系统
[0001]本专利技术涉及大数据处理
，具体地说是一种基于烟酒销售的数据标签实现方法及系统。
技术介绍
[0002]近几年，随着大数据技术的发展，数据爆炸式增长，基于大数据的画像、标签系统成为一种比较热门的话题。
[0003]对主体业务对象进行打标签，当前比较流行的方式是纯手动编写sql的方式进行数据分析，完成数据打标签。工作任务繁杂、重复、且不能快速响应。故如何对数据进行快速准确的打标签成为当前解放人力，提高生产力的一个亟待解决的问题。
技术实现思路
[0004]本专利技术的技术任务是提供一种基于烟酒销售的数据标签实现方法及系统，来解决如何对数据进行快速准确的打标签，解放人力，提高生产力的问题。
[0005]本专利技术的技术任务是按以下方式实现的，一种基于烟酒销售的数据标签实现方法，该方法是通过烟酒销售行业的业务主体中特征的分类，使用不同的处理方式，完成数据特征的预处理，从而支持数据标签的快速展示；具体如下：
[0006]定义特征规则：定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；
[0007]线性特征处理引擎：对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；
[0008]汇聚型标签引擎：针对每一个汇聚型标签，单独执行一个spark计算任务，通过sum、count及avg聚合函数计算每个经销商一年的销售额及每天的销量对应的特征值，写入特征库；
[0009]定义标签规则：根据已经定义的特征值，配置标签所对应的特征值范围和各个特征之前的关系，定义一个标签；用户自定义，比如定义一年能销售额大于1kw元且每天销售量大于1k件定义为优质经销商；支持用户在页面中定义标签的名称和标签的限定条件；
[0010]定义标签组：通过标签的组合定义一个标签组，通过标签组或标签来圈选出一组业务主体；
[0011]画像：通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。其中，经销商、烟酒(其特征有度数、销量等，标签有热销产品、冷门产品、高度白酒、低度白酒等)、中小企业(其特征有规模、注册资金，标签可以有小企业、资金紧张企业、风险高企业等)。
[0012]作为优选，所述线性特征是指数据关系为单表或者关联关系为一对一关系的特征类型；所述汇聚型特征是指关联关系为一对多、多对一或者为汇聚函数型特征。
[0013]更优地，计算规则定义时，包括如下情况：
[0014]①
、线性特征需要指定数据表、数据表的关联关系和特征字段；
[0015]②
、汇聚型特征需要编写sql,以计算出对应的特征数据；其中，编写sql(sparksql)时，基于特定的业务场景的数据，定义对应的sql,每个sql查询结果，对应一个特征；
[0016]针对每个经销商的一年内的销量，编写的sql具体为：select${经销商id},sum(${每单销量})from订单表where${一年内时间}。
[0017]作为优选，线性特征处理引擎具体如下：
[0018]针对每一个线性特征，通过数据抽取程序单元抽取指定的业务主体表，分析标签规则，抽取相关的关联表中的数据,并对抽取的关联表中的数据，标记上主体对象的标识，发送到特征分析引擎；
[0019]由特征分析计算出对应的特征值，写入特征库,即elasticsearch中；其中，特征库是一张大宽表，主键为业务对象主体标识，依次为各特征列，每一列特征记录该对象的一个特征值。
[0020]更优地，特征分析引擎是指具体运行线性特征中定义规则的一个引擎，用于对实时抽取的数据逐条分析，根据定义的特征规则，转换成对应的特征，发送到特征库进行存储；
[0021]其中，存储到特征具体实现方法如下：
[0022]对于每条数据与定义的所有特征进行一次扫描，判断是否复合对应特征：
[0023]若符合，则对应特征的拼装成<id,特征>的形式存储的特征库；
[0024]若不符合，则不处理。
[0025]更优地，数据抽取程序单元是读取业务库的数据，发送到线性特征引擎的一个程序；数据抽过去程序单元用于在线性特征处理引擎启动时，读取特征规则定义涉及表的全部数据，并监听业务库中对应表的数据变化，对有变化的数据进行抽取；
[0026]数据抽取程序单元工作过程具体如下：
[0027]线性特征处理引擎启动时，全表读取数据，数据变化时：对于有监听器的业务库设置监听器，监听到数据变化进行发送，对于没有监听器的规定数据的任何的增删改，增加一条日志，使用flume组件监听到日志变化时，抽取消息内容为数据，发送到线性特征处理引擎。
[0028]一种基于烟酒销售的数据标签系统，该系统包括，
[0029]特征规则定义单元，用于定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；
[0030]线性特征处理引擎单元，用于对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；
[0031]汇聚型标签引擎单元，用于针对每一个汇聚型标签，单独执行一个spark计算任务，通过sum、count及avg聚合函数计算每个经销商一年的销售额及每天的销量对应的特征值，写入特征库；
[0032]标签规则定义单元，用于根据已经定义的特征值，配置标签所对应的特征值范围和各个特征之前的关系，定义一个标签；用户自定义，比如定义一年能销售额大于1kw元且每天销售量大于1k件定义为优质经销商；支持用户在页面中定义标签的名称和标签的限定条件；
[0033]标签组定义单元，用于通过标签的组合定义一个标签组，通过标签组或标签来圈选出一组业务主体；
[0034]画像单元，用于通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。其中，经销商、烟酒(其特征有度数、销量等，标签有热销产品、冷门产品、高度白酒、低度白酒等)、中小企业(其特征有规模、注册资金，标签可以有小企业、资金紧张企业、风险高企业等)。
[0035]作为优选，线性特征处理引擎工作过程具体如下：
[0036](1)、针对每一个线性特征，通过数据抽取程序单元抽取指定的业务主体表，分析标签规则，抽取相关的关联表中的数据,并对抽取的关联表中的数据，标记上主体对象的标识，发送到特征分析引擎；
[0037](2)、由特征分析计算出对应的特征值，写入特征库,即elasticsearch中；其中，特征库是一张大宽表，主键为业务对象主体标识，依次为各特征列，每一列特征记录该对象的一个特征值。
[0038]一种电子设备，包括：存储器和至少一个处理器；
[0039]其中，所述存储器上存储有计算机程序；
[0040]所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于烟酒销售的数据标签实现方法。
[0041]一种计本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于烟酒销售的数据标签实现方法，其特征在于，该方法是通过烟酒销售行业的业务主体中特征的分类，使用不同的处理方式，完成数据特征的预处理，从而支持数据标签的快速展示；具体如下：定义特征规则：定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；线性特征处理引擎：对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；汇聚型标签引擎：针对每一个汇聚型标签，单独执行一个spark计算任务，通过sum、count及avg聚合函数计算每个经销商一年的销售额及每天的销量对应的特征值，写入特征库；定义标签规则：根据已经定义的特征值，配置标签所对应的特征值范围和各个特征之前的关系，定义一个标签；定义标签组：通过标签的组合定义一个标签组，通过标签组或标签来圈选出一组业务主体；画像：通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。2.根据权利要求1所述的基于烟酒销售的数据标签实现方法，其特征在于，所述线性特征是指数据关系为单表或者关联关系为一对一关系的特征类型；所述汇聚型特征是指关联关系为一对多、多对一或者为汇聚函数型特征。3.根据权利要求1或2所述的基于烟酒销售的数据标签实现方法，其特征在于，计算规则定义时，包括如下情况：
①
、线性特征需要指定数据表、数据表的关联关系和特征字段；
②
、汇聚型特征需要编写sql,以计算出对应的特征数据；其中，编写sql时，基于特定的业务场景的数据，定义对应的sql,每个sql查询结果，对应一个特征；针对每个经销商的一年内的销量，编写的sql具体为：select${经销商id},sum(${每单销量})from订单表where${一年内时间}。4.根据权利要求1所述的基于烟酒销售的数据标签实现方法，其特征在于，线性特征处理引擎具体如下：针对每一个线性特征，通过数据抽取程序单元抽取指定的业务主体表，分析标签规则，抽取相关的关联表中的数据,并对抽取的关联表中的数据，标记上主体对象的标识，发送到特征分析引擎；由特征分析计算出对应的特征值，写入特征库,即elasticsearch中；其中，特征库是一张大宽表，主键为业务对象主体标识，依次为各特征列，每一列特征记录该对象的一个特征值。5.根据权利要求4所述的基于烟酒销售的数据标签实现方法，其特征在于，特征分析引擎是指具体运行线性特征中定义规则的一个引擎，用于对实时抽取的数据逐条分析，根据定义的特征规则，转换成对应的特征，发送到特征库进行存储；其中，存储到特征具体实现方法如下：对于每条数据与定义的所有特征进行一次扫描，判断是否复合对应特征：若符合，则对...
【专利技术属性】
技术研发人员：王玉伟，单震，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。