【技术实现步骤摘要】
本专利技术属于数据中台架构和缓存，具体涉及到一种基于newsql的数字广告中台系统与实现方法。
技术介绍
1、数据中台是企业级业务和数据的沉淀，不少企业已经建立起了各种大数据平台，打通了各个业务域的数据孤岛，丰富的数据产品线也提供了较为全面的数据服务。电商场景下用户产生的庞大行为数据被应用于各种大数据计算平台以产出类似广告推荐、商品联系等多种新鲜的电商玩法。目前数字广告领域的中台系统面临多种异构多源数据，汇总数据需要经过多层数据查询语句，系统计算压力大、存储效率低，如何降本增效是业界关注的重点。
2、解决数据利用链路缓慢复杂的通俗手段是利用类似redis这样的kv存储系统，由于redis基于缓存进行存储，数据获取并应用的过程速度明显升高。但缓存存储天然不如持久化存储稳定，算法的可解释性变弱，数据利用的历史性分析无法有效进行。而在秒杀系统等场景下，动用mysql这样的关系型数据库又没有必要：用户无需定义复杂的数据库表结构，构造关系模型，往往只需要存储某些键值对并应用其产生推荐结果即可。如何在持久化与缓存之间进行选型是亟待解决的问题。
3、newsql基于缓存与持久化存储之间，核心思想是基于redis协议和 ssd 磁盘实现一套分布式的存储系统，在 ssd 磁盘上实现了 redis 的数据结构，对外通过 proxy 屏蔽内部细节，同时具有持久化、高压缩、高性能、大容量、分布式的优点，目前数字广告领域的中台系统面临多种异构多源数据，汇总数据需要经过多层数据查询语句，系统计算压力大、存储效率低，如何降本增效是业界
技术实现思路
1、针对上述问题，本专利技术的主要目的在于设计一种基于newsql的数字广告中台系统与实现方法,解决目前数字广告领域的中台系统面临多种异构多源数据，因存储技术选型不适带来的汇总数据需要经过多层数据查询语句，系统计算压力大、效率低、成本高昂的问题。
2、为了实现上述目的本专利技术采用如下技术方案：
3、一种基于newsql的数字广告中台系统，该系统按照分层架构模式，依次分为：服务网关层、业务层、数据计算层和数据存储四个层级；
4、服务网关层，对下层业务层提供流量服务；
5、业务层，筛选服务网关层传入的数据质量并做好流量分发，实现业务处理逻辑并供下层的数据计算层使用，所述业务层的处理结果以接口形式由上层服务网关层透出供用户调用；
6、数据计算层，完成业务层传入的数据计算任务，包括实时计算和离线计算两种模式，提供基于newsql存储模块的缓存存储；
7、数据存储，为存储后端，包括mysql和mq消息队列的多源数据。
8、作为本专利技术的进一步描述，所述的服务网关层包括网关模块，网关模块对多下层业务层提供的流量服务包括：
9、控制api可见性、安全性的服务；
10、提供ip白名单、黑名单；
11、基于认证鉴权实现防重放攻击；
12、基于流量异常识别和实时监控，对api接手请求进行熔断、降级。
13、作为本专利技术的进一步描述，所述的业务层实现业务处理逻辑，向用户提供的数据服务包括：
14、api总线模块，用于api mock，包括多重缓存，流量监控，服务分发，权限控制；
15、业务功能模块，设置为插件式编写，即插即用；提供的服务包括：用户管理，组织管理，渠道管理，数据看板，统计报表；
16、数据访问控制，用于对下层数据计算出的数据结果实时采集、分析。
17、作为本专利技术的进一步描述，所述的流量监控包括通过预测器实现的流量预测阶段与通过检测器实现的流量检测阶段；
18、所述的流量预测阶段为克服异常流量的影响，对流量进行精准的预测，得到预测值；
19、所述的流量检测阶段为计算真实值与预测值的差异，并输出检测结果。
20、作为本专利技术的进一步描述，所述的数据计算层用于打通多源数据之间的数据壁垒，产生用户广告推荐的计算结果，具体包括：
21、实时计算模块，用于缓存失效时，针对上层业务层产生计算任务；
22、离线计算模块，通过延时任务进行数据定时刷新、定时计算、离线计算；
23、规则配置模块，用于数据计算、数据导出的配置规则；
24、任务调度模块，结合云计算，通过在离线任务混合部署算法、机器学习预测在离线任务需求量动态部署云服务器资源，分配给各个任务单元；
25、较大规模数据计算模块，包括流式计算处理框架flink、druid；
26、newsql存储模块，作为持久化缓存用于数据计算层与数据存储之间。
27、作为本专利技术的进一步描述，所述的newsql存储模块持久化缓存包括：
28、实现基于redis协议的持久化、高压缩、高性能、大容量、分布式缓存；
29、实现离线计算模块导入数据的数据链路，以单机每秒数百兆字节的速度导入到newsql集群。
30、作为本专利技术的进一步描述，所述的数据存储包括mysql存储业务数据，mq消息存储系统流转过程的事件。
31、一种基于newsql数据广告中台系统的实现方法，该方法基于系统中各层模块之间的工作流程，具体为：
32、前端请求数据发送至服务网关层，下发至具体节点的业务层后由api总线模块对前端请求进行解释、并签名，若命中缓存，直接返回结果到前端；
33、若api总线模块缓存失效，则分配到业务功能模块，业务功能模块从缓存中去除数据，返回到前端。
34、作为本专利技术的进一步描述，任务调度模块定时机型数据计算，刷新缓存数据，供业务功能模块访问使用；若api总线模块缓存失效，则从数据存储读取数据，刷新缓存任务；若数据存储无数据，则业务功能模块生成计算任务，任务调度模块分配计算单元继续数据计算，将计算结果写入数据存储和缓存。
35、相对于现有技术，本专利技术的技术效果为：
36、本专利技术提供了一种基于newsql的数字广告中台系统与实现方法，通过提供持久化分布式的kv存储，利用redis协议的高效查询，使得数据系统更加可靠、稳定同时提升效率，降本增效；另外，快速便捷的大数据注入系统，自动同步大数据平台数据存储到newsql的数据存储，用户无感知迁移newsql平台；同时，基于服务网关层和api总线模块的流量质量控制机制，提升数据计算的准确性，更好地赋能上层业务需求。
本文档来自技高网...【技术保护点】
1.一种基于NewSQL的数字广告中台系统，其特征在于：该系统按照分层架构模式，依次分为：服务网关层、业务层、数据计算层和数据存储四个层级；
2.根据权利要求1所述的一种基于NewSQL的数字广告中台系统，其特征在于：所述的服务网关层包括网关模块，网关模块对多下层业务层提供的流量服务包括：
3.根据权利要求1所述的一种基于NewSQL的数字广告中台系统，其特征在于：所述的业务层实现业务处理逻辑，向用户提供的数据服务包括：
4.根据权利要求3所述的一种基于NewSQL的数字广告中台系统，其特征在于：所述的流量监控包括通过预测器实现的流量预测阶段与通过检测器实现的流量检测阶段；
5.根据权利要求1所述的一种基于NewSQL的数字广告中台系统，其特征在于：所述的数据计算层用于打通多源数据之间的数据壁垒，产生用户广告推荐的计算结果，具体包括：
6.根据权利要求1所述的一种基于NewSQL的数字广告中台系统，其特征在于：所述的NewSQL存储模块持久化缓存包括：
7.根据权利要求1所述的一种基于NewSQL的数字广告中
8.一种基于NewSQL数据广告中台系统的实现方法，其特征在于：该方法基于系统中各层模块之间的工作流程，具体为：
9.根据权利要求8所述的一种基于NewSQL数据广告中台系统的实现方法，其特征在于：
...【技术特征摘要】
1.一种基于newsql的数字广告中台系统，其特征在于：该系统按照分层架构模式，依次分为：服务网关层、业务层、数据计算层和数据存储四个层级；
2.根据权利要求1所述的一种基于newsql的数字广告中台系统，其特征在于：所述的服务网关层包括网关模块，网关模块对多下层业务层提供的流量服务包括：
3.根据权利要求1所述的一种基于newsql的数字广告中台系统，其特征在于：所述的业务层实现业务处理逻辑，向用户提供的数据服务包括：
4.根据权利要求3所述的一种基于newsql的数字广告中台系统，其特征在于：所述的流量监控包括通过预测器实现的流量预测阶段与通过检测器实现的流量检测阶段；
5.根据权利要求1所述的一...
【专利技术属性】
技术研发人员：孙圣力，宋涛，李硕，吴琛，李青山，
申请(专利权)人：南京国信云服科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。