【技术实现步骤摘要】
一种基于事件处理的流式数据多路分发构架
[0001]本专利技术涉及一种大数据传输清洗领域的基于事件处理的分发构架，特别是指一种基于事件处理的流式数据多路分发构架。
技术介绍
[0002]随着互联网技术和数据技术的蓬勃发展，目前各大互联网公司已经拥有PB级数据存量，百TB级数据日增量，数据作为数据服务产品的原材料，是各大公司的重要资产，保障数据稳定性及可用性是数据运营的一项核心工作。计算能力和数据存储设备读写速度的大幅度提升，使得更多的业务场景对数据处理速度、清洗效率提出新的要求，在这种大背景下，提出了流式处理这一解决方案。
[0003]针对多种数据不同清洗规则的处理方法，目前主流是分别进行业务逻辑编写，这种方法的弊端是维护成本较高，且随着业务类型的增长，代码逻辑复杂性呈现倍速增长。且针对不同协议的传输目标，需要重复提交，冗余性较高。
[0004]当前主流的流式数据处理技术是Hadoop架构下的Storm，要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的...
【技术保护点】
【技术特征摘要】
1.一种基于事件处理的流式数据多路分发构架，其特征在于，包括数据处理模块，以开源apache FTP server为基础，进行定制开发，程序启动时加载zookeeper中的各类数据配置，监听用户上传事件，用户上传事件产生时，保持原有文件存盘逻辑不变，将数据存放到本地磁盘，获取上传的文件路径，和zookeeper中各类数据配置的typeRule进行正则匹配，识别出数据类型，并进行相应处理；系统控制模块，根据运营人员通过运营可视化模块录入的内容，生成任务编排调度指令和任务执行所需配置信息，下发至数据处理模块，并监测数据处理任务的运行状态。当任务执行结束，采集接收任务运行结果和汇总统计指标反馈至运营可视化模块，通知运营人员。运营可视化模块，用于给运营经理和运营工程师提供统一的监控、工作界面，提高运营效率，降低运营和运维复...
【专利技术属性】
技术研发人员：王峰，高兆庆，林志生，路国平，张宸瑞，
申请(专利权)人：北京智数时空科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。