一种用户标签系统及基于用户标签系统的数据推送系统技术方案

本发明专利技术实施例公开了一种用户标签系统及基于用户标签系统的数据推送系统，解决了目前的数据挖掘的方式虽然有多种，但却无法将挖掘出来的数据对外进行精准的推送，导致的数据挖掘效率低下的技术问题。本发明专利技术实施例用户标签系统包括：统一查询引擎、用户标签管理后台、Redis集群和Index/Solr分布式集群；统一查询引擎与用户标签管理后台通信连接，统一查询引擎与用户标签管理后台均与Index/Solr分布式集群通信连接，统一查询引擎与Redis集群通信连接；其中，Index/Solr分布式集群，用于结合用户标签管理后台预置的用户标签规则，对HIVE数据平台进行标签数据的扫描，将标签数据发送至Redis集群进行缓存。

【技术实现步骤摘要】
一种用户标签系统及基于用户标签系统的数据推送系统
本专利技术涉及大数据
，尤其涉及一种用户标签系统及基于用户标签系统的数据推送系统。
技术介绍
大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。数据挖掘(英语：Datamining)，又译为资料探勘、数据采矿。它是数据库知识发现(英语：Knowledge-DiscoveryinDatabases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。目前的数据挖掘的方式有多种，但却无法将挖掘出来的数据对外进行精准的推送，导致了数据挖掘效率低下的技术问题。
技术实现思路
本专利技术实施例提供的一种用户标签系统及基于用户标签系统的数据推送系统，解决了目前的数据挖掘的方式虽然有多种，但却无法将挖掘出来的数据对外进行精准的推送，导致的数据挖掘效率低下的技术问题。本专利技术实施例提供的一种用户标签系统，包括：统一查询引擎、用户标签管理后台、Redis集群和Index/Solr分布式集群；所述统一查询引擎与所述用户标签管理后台通信连接，所述统一查询引擎与所述用户标签管理后台均与所述Index/Solr分布式集群通信连接，所述统一查询引擎与所述Redis集群通信连接；其中，所述Index/Solr分布式集群，用于结合用户标签管理后台预置的用户标签规则，对HIVE数据平台进行标签数据的扫描，将所述标签数据发送至所述Redis集群进行缓存。优选地，所述的用户标签系统还包括：业务应用平台，与所述统一查询引擎通信连接，用于将业务需求功能指令发送至所述统一查询引擎。优选地，所述统一查询引擎具体包括：标签查询单元和标签规则查询单元；所述标签查询单元，用于通过所述Redis集群提取缓存的所述标签数据，并发送至所述业务应用平台进行推送；所述标签规则查询单元，用于通过所述用户标签管理后台进行标签规则查询。优选地，所述Index/Solr分布式集群具体包括：搜索用户数据单元、存储用户数据单元、建立索引单元、增量更新索引单元；所述增量更新索引单元，用于根据预置的标签任务或标签运算或用户群运算，通过所述HIVE数据平台的标签数据进行增量新增和增量删除的更新处理。优选地，所述用户标签管理后台具体包括：标签规则定义单元、标签生命周期单元、同一权限管理单元和调度任务管理单元；所述标签规则定义单元、所述标签生命周期单元、所述同一权限管理单元均与所述调度任务管理单元通信连接。优选地，所述标签任务为将建立标签运算任务表，对所述标签运算任务表进行第一预置扫描时间的扫描，将变化标签数据写入至所述标签运算任务表，生成待处理的对应的标签任务SQL语句。优选地，所述标签运算为对所述标签运算任务表进行第二预置扫描时间的扫描，与所述HIVE数据平台进行链接，确定所述标签运算任务表的所述标签任务SQL语句的变化，并进行对应的增量新增和增量删除处理。优选地，所述用户群运算为根据处理后的所述标签运算任务表生成与用户群对应的用户数据。本专利技术实施例提供的一种基于用户标签系统的数据推送系统，包括：HIVE数据平台，以及本专利技术实施例中提及的任意一种所述的用户标签系统；所述HIVE数据平台与所述用户标签系统建立有通信连接关系；所述HIVE数据平台包括：数据收集单元、数据建模单元和数据清洗单元；所述HIVE数据平台，用于通过所述数据收集单元、所述数据建模单元进行数据收集、建模处理，根据所述用户标签系统发送的标签数据提取指令提供给所述用户标签系统。优选地，所述HIVE数据平台，还用于将用户基本信息同步至所述用户标签系统的Redis集群中缓存。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例提供的一种用户标签系统及基于用户标签系统的数据推送系统，其中，用户标签系统包括：统一查询引擎、用户标签管理后台、Redis集群和Index/Solr分布式集群；统一查询引擎与用户标签管理后台通信连接，统一查询引擎与用户标签管理后台均与Index/Solr分布式集群通信连接，统一查询引擎与Redis集群通信连接；其中，Index/Solr分布式集群，用于结合用户标签管理后台预置的用户标签规则，对HIVE数据平台进行标签数据的扫描，将标签数据发送至Redis集群进行缓存。本实施例中，通过Index/Solr分布式集群，用于结合用户标签管理后台预置的用户标签规则，对HIVE数据平台进行标签数据的扫描，将标签数据发送至Redis集群进行缓存，解决了目前的数据挖掘的方式虽然有多种，但却无法将挖掘出来的数据对外进行精准的推送，导致的数据挖掘效率低下的技术问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术实施例提供的一种用户标签系统的一个实施例的结构示意图；图2为本专利技术实施例提供的一种基于用户标签系统的数据推送系统的一个实施例的结构示意图；图3为图2实施例的整体架构示意图；图4为数据流的示意图；图5为业务运营示意图。具体实施方式本专利技术实施例提供的一种用户标签系统及基于用户标签系统的数据推送系统，解决了目前的数据挖掘的方式虽然有多种，但却无法将挖掘出来的数据对外进行精准的推送，导致的数据挖掘效率低下的技术问题。为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术实施例提供的一种用户标签系统的一个实施例包括：统一查询引擎11、用户标签管理后台12、Redis集群13和Index/Solr分布式集群14；统一查询引擎11与用户标签管理后台12通信连接，统一查询引擎11与用户标签管理后台12均与Index/Solr分布式集群14通信连接，统一查询引擎11与Redis集群13通信连接；其中，Index/Solr分布式集群14，用于结合用户标签管理后台12预置的用户标签规则，对HIVE数据平台进行标签数据的扫描，将标签数据发送至Redis集群13进行缓存。进一步地，的用户标签系统还包括：业务应用平台15，与统一查询引擎11通信连接，用于将业务需求功能指令发送至统一查询引擎11。进一步地，统一查询引擎11具体包括：标签查询单元111和标签规则查询单元112；标签查询单元111，用于通过Redis集群13提取缓存的标签数据，并发送至业务应用平台15进行推送；标签规则查询单元112，用于通过用户标签本文档来自技高网...

【技术保护点】
一种用户标签系统，其特征在于，包括：统一查询引擎、用户标签管理后台、Redis集群和Index/Solr分布式集群；所述统一查询引擎与所述用户标签管理后台通信连接，所述统一查询引擎与所述用户标签管理后台均与所述Index/Solr分布式集群通信连接，所述统一查询引擎与所述Redis集群通信连接；其中，所述Index/Solr分布式集群，用于结合用户标签管理后台预置的用户标签规则，对HIVE数据平台进行标签数据的扫描，将所述标签数据发送至所述Redis集群进行缓存。

【技术特征摘要】
1.一种用户标签系统，其特征在于，包括：统一查询引擎、用户标签管理后台、Redis集群和Index/Solr分布式集群；所述统一查询引擎与所述用户标签管理后台通信连接，所述统一查询引擎与所述用户标签管理后台均与所述Index/Solr分布式集群通信连接，所述统一查询引擎与所述Redis集群通信连接；其中，所述Index/Solr分布式集群，用于结合用户标签管理后台预置的用户标签规则，对HIVE数据平台进行标签数据的扫描，将所述标签数据发送至所述Redis集群进行缓存；所述的用户标签系统还包括：业务应用平台，与所述统一查询引擎通信连接，用于将业务需求功能指令发送至所述统一查询引擎；所述统一查询引擎具体包括：标签查询单元和标签规则查询单元；所述标签查询单元，用于通过所述Redis集群提取缓存的所述标签数据，并发送至所述业务应用平台进行推送；所述标签规则查询单元，用于通过所述用户标签管理后台进行标签规则查询；所述Index/Solr分布式集群具体包括：搜索用户数据单元、存储用户数据单元、建立索引单元、增量更新索引单元；所述增量更新索引单元，用于根据预置的标签任务或标签运算或用户群运算，通过所述HIVE数据平台的标签数据进行增量新增和增量删除的更新处理；所述用户标签管理后台具体包括：标签规则定义单元、标签生...

【专利技术属性】
技术研发人员：黄永标，申志刚，林海棠，钟威，文斌，郭泽波，
申请(专利权)人：广州品唯软件有限公司，
类型：发明
国别省市：广东;44