一种快数据和大数据结合的数据处理方法及其系统技术方案

本发明专利技术公开了一种快数据和大数据结合的数据处理方法，按如下步骤进行：（1）接收不同的数据源的数据输入，并按照“快数据”和“大数据”进行分类和传输；（2）“快数据”进入了实时交易模块，实时交易模块利用分布式内存对“快数据”进行实时的运算和查询；（3）全文检索模块对“快数据”的结果进行全文检索；（4）“大数据”进入海量历史数据分析模块，存储后进行完整的查询和统计分析；（5）应用模块接收步骤（2）、步骤（3）和步骤（4）中处理后的数据，根据需要进行终端展示。同时，本发明专利技术还提供一种快数据和大数据结合的数据处理系统。本发明专利技术成本低廉，资源按需分配，性能线性扩展并方便维护。

【技术实现步骤摘要】

【技术保护点】
一种快数据和大数据结合的数据处理方法，其特征在于，按如下步骤进行：（1）接收不同的数据源的数据输入，并按照“快数据”和“大数据”进行分类，然后，将“快数据”传输到实时交易模块，将“大数据”传输到海量历史数据分析模块；（2）?“快数据”进入了实时交易模块，实时交易模块利用分布式内存对“快数据”进行实时的运算和查询，并将运算或查询结果输出到应用模块和全文检索模块；（3）全文检索模块对实时交易阶段处理后的“快数据”的结果进行全文检索，并将全文检索后的数据输出到应用模块；?（4）“大数据”进入海量历史数据分析模块，首先利用分布式文件系统存储；然后，使用基于MapReduce并行计算模型的NoSQL分布...

【技术特征摘要】

【专利技术属性】
技术研发人员：刘峰，陈一飞，杨冬，郭鑫，刘云程，
申请(专利权)人：刘峰，
类型：发明
国别省市：