一种基于人群标签数据的精准广告分析方法技术

本发明专利技术提供了一种基于人群标签数据的精准广告分析方法，包括以下步骤：系统采用nginx反向代理服务器进行广告数据的负载均衡，同时使用flume监控nginx日志目录实时采集广告数据，并将数据传输到分布式消息系统kafka中；系统将各个渠道采集到的人群数据进行合并，最终结果导入高性能数据库redis中；系统采用spark streaming实时读取kafka中的广告数据，同时读取redis中的人群数据，将这两部分数据合并为广告、人群标签数据，并将结果存入分布式存储系统；系统通过多维度可视化分析工具读取步骤三中存储的数据，进行广告、人群标签数据分析工作。本发明专利技术实时采集广告数据，采集数据量大，实时性高。

【技术实现步骤摘要】
一种基于人群标签数据的精准广告分析方法
本专利技术涉及多媒体
，尤其涉及一种基于人群标签数据的精准广告分析方法。
技术介绍
作为精准广告投放的一个分支，人群行业定向的精准广告投放技术是广告投放中人群自然属性精准广告投放的一部分。在实时广告竞价系统中可以通过对接各个网络及媒体收集大量与广告相关的数据如:广告位、尺寸、网站、频道、地域等信息。但是由于网络、媒体提供的人群标签数据有限，只能通过第三方合作及其它方式进一步完善人群标签数据。广告数据需要通过投放广告的形式实时采集至系统中，而人群标签数据需要结合实时、离线两种方式采集至系统中，同时需要进行数据的清洗、转化、合并等操作。采集方式的不同导致两种数据相对独立，进而无法同时进行分析，导致不能及时发现潜在人群的投放价值。要解决上述问题，需要将人群标签数据放入存储系统中，在实时采集广告数据时将人群标签数据与广告数据进行合并，进而达到实时采集广告数据与人群标签数据到相同系统的目的。由于一般的存储系统不支持实时高并发请求，导致实时采集广告数据时读取存储系统会出现异常情况，为了确保系统稳定性引入高性能key-value数据库redis来存储人群标签数据，同时支持高并发实时读取请求。
技术实现思路
本专利技术是为了克服现有技术的不足，提供了一种基于人群标签数据的精准广告分析方法。为解决上述技术问题，本专利技术通过下述技术方案来解决：一种基于人群标签数据的精准广告分析方法，包括以下步骤：步骤一，系统采用nginx反向代理服务器进行广告数据的负载均衡，同时使用flume监控nginx日志目录实时采集广告数据，并将数据传输到分布式消息系统kafka中，供后续实时读取使用；步骤二，系统将各个渠道采集到的人群数据进行合并，最终结果导入高性能数据库redis中，供后续实时读取使用；步骤三，系统采用sparkstreaming实时读取步骤一kafka中的广告数据，同时读取步骤二中redis中的人群数据，将这两部分数据合并为广告、人群标签数据，并将结果存入分布式存储系统，供后续在线分析使用；步骤四，系统通过多维度可视化分析工具读取步骤三中存储的数据，进行广告、人群标签数据的分析工作。本专利技术相比现有技术具有以下优点及有益效果：本专利技术使用高并发负载均衡系统实时采集广告数据，采集数据量大，实时性高；且通过高效的ETL技术对实时及离线数据进行清洗、转化、合并操作，最终生成人群标签数据，分析维度丰富，支持多维度交叉分析；系统稳定性好，维护成本低；具有操作简单方便，快速分析人群的特点。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1是本专利技术中基于人群标签数据的精准广告分析方法的流程图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。如图1所示，一种基于人群标签数据的精准广告分析方法，包括以下步骤：步骤一，系统采用nginx反向代理服务器进行广告数据的负载均衡，同时使用flume监控nginx日志目录实时采集广告数据，并将数据传输到分布式消息系统kafka中，供后续实时读取使用；步骤二，系统将各个渠道采集到的人群数据进行合并，最终结果导入高性能数据库redis中，供后续实时读取使用；步骤三，系统采用sparkstreaming实时读取步骤一kafka中的广告数据，同时读取步骤二中redis中的人群数据，将这两部分数据合并为广告、人群标签数据，并将结果存入分布式存储系统，供后续在线分析使用；步骤四，系统通过多维度可视化分析工具读取步骤三中存储的数据，进行广告、人群标签数据的分析工作。受上述实施例的限制，其他的任何未背离本专利技术的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于人群标签数据的精准广告分析方法，其特征在于，包括以下步骤：步骤一，系统采用nginx反向代理服务器进行广告数据的负载均衡，同时使用flume监控nginx日志目录实时采集广告数据，并将数据传输到分布式消息系统kafka中，供后续实时读取使用；步骤二，系统将各个渠道采集到的人群数据进行合并，最终结果导入高性能数据库redis中，供后续实时读取使用；步骤三，系统采用spark streaming实时读取步骤一kafka中的广告数据，同时读取步骤二中redis中的人群数据，将这两部分数据合并为广告、人群标签数据，并将结果存入分布式存储系统，供后续在线分析使用；步骤四，系统通过多维度可视化分析工具读取步骤三中存储的数据，进行广告、人群标签数据的分析工作。

【技术特征摘要】
1.一种基于人群标签数据的精准广告分析方法，其特征在于，包括以下步骤：步骤一，系统采用nginx反向代理服务器进行广告数据的负载均衡，同时使用flume监控nginx日志目录实时采集广告数据，并将数据传输到分布式消息系统kafka中，供后续实时读取使用；步骤二，系统将各个渠道采集到的人群数据进行合并，最终结果导入高性能数据库red...

【专利技术属性】
技术研发人员：卢勇，吕林朋，刘吉林，
申请(专利权)人：上海新数网络科技股份有限公司，
类型：发明
国别省市：上海,31