The invention discloses a large online and offline data system based on dual processing, including data collection module and data processing module, the data collection module and data processing module. Through the publish / subscribe module data connection; the data collection module includes online real-time collection module, periodic batch collecting module and static data collection module; the data processing module includes online processing module and off-line processing module; the invention of big data system on-line and off-line double processing based on the cooperation of the offline processing module and online processing module, so it can work online and offline at the same time, improve processing efficiency, avoid the response is not timely.
【技术实现步骤摘要】
基于在线与离线双处理的大数据系统
本专利技术涉及大数据领域,尤其涉及一种基于在线与离线双处理的大数据系统。
技术介绍
大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产,大数据存储和大数据统计是海量用户产品不可或缺的技术,现在一般的大数据均是之间在线上进行存储与处理,其可能出现处理不及时或者对网络的需求度过高的问题。
技术实现思路
本专利技术的目的就在于为了解决上述问题而提供及一种基于在线与离线双处理的大数据系统。本专利技术通过以下技术方案来实现上述目的:一种基于在线与离线双处理的大数据系统,包括数据收集模块和数据处理模块,所述数据收集模块和啊数据处理模块通过发布订阅模块数据连接;所述数据收集模块包括线上实时收集模块、定期批量收集模块和静态数据收集模块;所述数据处理模块包括在线处理模块和离线处理模块;所述线上实时数据收集模块和所述定期批量收集模块的数据输出端均与所述发布订阅模块的数据输入端连接,所述发布订阅模块的数据输出端分别与所述在线处理模块和所述离线处理模块的数据输入端连接,所述静态数据收集模块的数据输出端与所述离线处理模块的数据输入端连接。所述在线处理模块包括在线计算模块、在线存储模块和线上服务器,所述在线计算模块的数据输入端与所述发布订阅模块的数据输出端连接,所述在线计算模块的数据端与所述在线存储模的数据端双向连接,所述在线计算模块的输出端和所述在线存储模块的输出端均与所述线上服务器的输入端连接;所述离线处理模块包括离线存储模块、离线 ...
【技术保护点】
一种基于在线与离线双处理的大数据系统,其特征在于:包括数据收集模块和数据处理模块,所述数据收集模块和啊数据处理模块通过发布订阅模块数据连接;所述数据收集模块包括线上实时收集模块、定期批量收集模块和静态数据收集模块;所述数据处理模块包括在线处理模块和离线处理模块;所述线上实时数据收集模块和所述定期批量收集模块的数据输出端均与所述发布订阅模块的数据输入端连接,所述发布订阅模块的数据输出端分别与所述在线处理模块和所述离线处理模块的数据输入端连接,所述静态数据收集模块的数据输出端与所述离线处理模块的数据输入端连接。
【技术特征摘要】
1.一种基于在线与离线双处理的大数据系统,其特征在于:包括数据收集模块和数据处理模块,所述数据收集模块和啊数据处理模块通过发布订阅模块数据连接;所述数据收集模块包括线上实时收集模块、定期批量收集模块和静态数据收集模块;所述数据处理模块包括在线处理模块和离线处理模块;所述线上实时数据收集模块和所述定期批量收集模块的数据输出端均与所述发布订阅模块的数据输入端连接,所述发布订阅模块的数据输出端分别与所述在线处理模块和所述离线处理模块的数据输入端连接,所述静态数据收集模块的数据输出端与所述离线处理模块的数据输入端连接。2.根据权利要求1所述的基于在线与离线双处理的大数据系统,其特征在于:所述在线处理模块包括在线计算模块、在线...
【专利技术属性】
技术研发人员:苗苗,石峰,温宁,张逊桥,
申请(专利权)人:成都享之道网络科技有限公司,
类型:发明
国别省市:四川,51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。