基于大数据内容智能营销系统技术方案

本发明专利技术公开了一种基于大数据内容智能营销系统，包括引入了Event Time与WaterMark；通过Flink引擎做数据处理与预计算，整合多个应用平台的底层自有数据资产；根据业务场景自定义数据处理实际延迟时间、数据解析失败量、外部服务调用耗时等指标；进行资源的调优，对实时数据流中的数据的元数据化；搭建中间件关联多个数据源进行实时数据混算。本发明专利技术属于计算引擎技术领域，具体是提供了一种基于常见的实时计算引擎，为解决计算数据的分布异构问题，搭建中间件，它位于平台(硬件和操作系统)和应用之间，为双方或者多方提供通用服务，具有标准的程序接口和协议的基于大数据内容智能营销系统。销系统。销系统。

【技术实现步骤摘要】
基于大数据内容智能营销系统


[0001]本专利技术属于计算引擎
，具体是指一种基于大数据内容智能营销系统。

技术介绍

[0002]现有技术基于用户画像识别的智能营销计算，包括数据清洗、数据计算、IDMapping、数据查询引擎；具体技术采用分析指标计算、数据聚合和输出数据、数据分析、标签管理，主要功能基于多来源与多格式数据下基于用户画像识别的智能营销计算；基于实时计算引擎解决数据处理，包括：检测是否有新的数据处理规则输入；通过实时计算引擎获取最新数据处理规则并对其进行解析；根据解析后的所述最新数据处理规则进行数据处理得到结果数据。
[0003]现有基于大数据内容智能营销系统的缺点，如下所示：
[0004]1)基于规则创建计算标签体系，数据量级较大时无法实时进行数据处理、计算引擎需耗费极高的物理资源；
[0005]2)传统的中间件设计都把注意力集中在中间件透明性上，而不用去关心分布性等问题，只是适用于特定种类的上层应用，没有与营销技术相结合，无法适应当前的移动计算环境；
[0006]3)需要有完善的数据中心，底座系统复杂且功能较重，适用的企业或客户寥寥，无法轻量级满足大部分中小型企业。

技术实现思路

[0007]针对上述情况，为克服现有技术的缺陷，本专利技术提供了一种基于常见的Spark、Flink实时计算引擎，流数据源主要都是用Kafka，计算平台底层集群使用YARN做资源调度，流计算的输出要覆盖线上业务所有需要的存储分析引擎，比如Elastic Search、Kafka、Hbase等等，为解决计算数据的分布异构问题，搭建中间件，它位于平台(硬件和操作系统)和应用之间，为双方或者多方提供通用服务，具有标准的程序接口和协议的基于大数据内容智能营销系统。
[0008]本专利技术采取的技术方案如下：本专利技术一种基于大数据内容智能营销系统，包括计算引擎，所述计算引擎的营销计算包括以下步骤：
[0009]步骤一：所述计算引擎包括基础中间件；
[0010]步骤二：Flink提供了Exactly
‑
Once一致性语义，并且具有非常完善的多种窗口机制，引入了Event Time与WaterMark，提供丰富状态的状态访问；
[0011]步骤三：实时计算的能力其实可以把它总结成一个数据通道的能力，实时计算可能不会完全满足我们的实时分析的需求，可以通过Flink引擎做数据处理与预计算，最终都会落到一个对应存储分析引擎，整合多个应用平台的底层自有数据资产，或实时采集的日志、行为数据等；
[0012]步骤四：在Flink的metrics基础上，根据业务场景自定义数据处理实际延迟时间、
数据解析失败量、外部服务调用耗时等指标；所有的指标通过自定义的Reporter上报到Kafka，再通过一个实时的ETL，把指标结构化后输出到ES和Druid里，避免出现数据丢失或延迟产生，进行实时告警和预处理；
[0013]步骤五：在这些底层基础之上，首要是实时任务的管理管控，包括平台上所有Flink或者Spark任务，进行资源的调优，对实时数据流中的数据的元数据化；
[0014]步骤六：搭建中间件关联多个数据源进行实时数据混算，提供跨源T+0查询，完成报表数据计算引擎，弥补报表工具本身计算能力不足，开放的计算能力分布在涉及计算的各个阶段。
[0015]进一步地，所述计算引擎可对有限数据流和无限数据流进行有状态计算，可部署在各种集群环境，对各种大小的数据规模进行快速计算，可同时进行批处理、交互式计算、流式计算。
[0016]进一步地，在所述计算引擎之上的应用包括指标分析、实时特征、安全风控、ETL、实时推荐等等。
[0017]进一步地，所述基础中间件包括路由与web服务器、RPC框架、消息中间件、缓存服务、配置中心、分布式事务、任务调度和数据库层，所述路由与web服务器用于处理和转发其他服务器通信数据的服务器，所述RPC框架为微服务时代的远程服务调用框架；所述消息中间件支持在分布式系统之间发送和接收消息的软件，所述缓存服务用于分布式的高速数据存储层，一般是内存存储，所述配置中心为用来统一管理各个项目中所有配置的系统，所述分布式事务包括事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上，用于数据库扩展性，所述任务调度：分布式环境下提供定时、任务编排、分布式跑批等功能的系统；所述数据库层用于支持弹性扩容和分库分表的TDDL，数据库连接池Driud，Binlog同步的Canal等。
[0018]采用上述方案一种基于大数据内容智能营销系统，取得的有益效果如下：
[0019]1、Flink计算引擎基于流计算来模拟批计算，在技术上有更好的扩展性，从长远来看计算效率会更高更快、所耗费资源相对会降低；
[0020]2、提高计算引擎的简易性和灵活性，满足多个应用需要进行数据整合的需求；
[0021]3、解决业务层的逻辑与数据耦合过紧问题，轻量级中间件技能，可脱离底层服务逻辑的具体实现方法，只需用中简介结果进行对接多个应用。
附图说明
[0022]图1为本专利技术一种基于大数据内容智能营销系统的数据通道图。
[0023]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例；基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]如图1所示，本专利技术一种基于大数据内容智能营销系统，包括计算引擎，所述计算引擎的营销计算包括以下步骤：
[0026]步骤一：所述计算引擎包括基础中间件；
[0027]步骤二：Flink提供了Exactly
‑
Once一致性语义，并且具有非常完善的多种窗口机制，引入了Event Time与WaterMark，提供丰富状态的状态访问；
[0028]步骤三：实时计算的能力其实可以把它总结成一个数据通道的能力，实时计算可能不会完全满足我们的实时分析的需求，可以通过Flink引擎做数据处理与预计算，最终都会落到一个对应存储分析引擎，整合多个应用平台的底层自有数据资产，或实时采集的日志、行为数据等；
[0029]步骤四：在Flink的metrics基础上，根据业务场景自定义数据处理实际延迟时间、数据解析失败量、外部服务调用耗时等指标；所有的指标通过自定义的Reporter上报到Kafka，再通过一个实时的ETL，把指标结构化后输出到ES和Druid里，避免出现数据丢失或延迟产生，进行实时告警和预处理；
[0030]步骤五：在这些底层基础之上，首要是实时任务的管理管控，包括平台上所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据内容智能营销系统，其特征在于，包括计算引擎，所述计算引擎的营销计算包括以下步骤：步骤一：所述计算引擎包括基础中间件；步骤二：Flink提供了Exactly
‑
Once一致性语义，并且具有非常完善的多种窗口机制，引入了Event Time与WaterMark，提供丰富状态的状态访问；步骤三：实时计算的能力其实可以把它总结成一个数据通道的能力，实时计算可能不会完全满足我们的实时分析的需求，可以通过Flink引擎做数据处理与预计算，最终都会落到一个对应存储分析引擎，整合多个应用平台的底层自有数据资产，或实时采集的日志、行为数据等；步骤四：在Flink的metrics基础上，根据业务场景自定义数据处理实际延迟时间、数据解析失败量、外部服务调用耗时等指标；所有的指标通过自定义的Reporter上报到Kafka，再通过一个实时的ETL，把指标结构化后输出到ES和Druid里，避免出现数据丢失或延迟产生，进行实时告警和预处理；步骤五：在这些底层基础之上，首要是实时任务的管理管控，包括平台上所有Flink或者Spark任务，进行资源的调优，对实时数据流中的数据的元数据化；步骤六：搭建中间件关联多个数据源进行实时数据混算，提供跨源T+0查询，完成报表数据计算引擎，弥补报表工具本身计算能力不足，开放的计算能力分布在...

【专利技术属性】
技术研发人员：孟艳冬，
申请(专利权)人：赛诺数据科技南京有限公司，
类型：发明
国别省市：