一种云计算平台的数据持久化分布方法技术

本发明专利技术公开了一种云计算平台的数据持久化分布方法，包括如下步骤：步骤1，通过分布式信息队列，获取目标端数据存储要求；步骤2，所述分布式信息队列将信息传输至流处理模块和批处理模块进行处理；步骤3，将处理后的待分布数据发送至分布式文件系统；步骤4，利用SQL语义查询系统完成存储在所述分布式文件系统上的运算结果的查询。与传统的流式计算与全量计算共存的系统相比，本发明专利技术只需要实现一份流式计算代码，降低了开发维护成本；再者，本发明专利技术采用多个数据流的流失数据处理来实现多表数据处理，实现了对不同数据结构、不同数据源的数据的分析、处理、存储；另外，本发明专利技术可以实现高效的数据查询管理。

【技术实现步骤摘要】
一种云计算平台的数据持久化分布方法
本专利技术涉及分布式数据库领域，尤其涉及一种云计算平台的数据持久化分布方法。
技术介绍
在互联网的快速发展的今天，进一步提升互联网价值，充分利用其优势发展科技，从而出现了物联网。所谓物联网可以看做是对互联网在使用上的深入性、扩展性发挥。并且，创新的概念逐渐深入企业，从创新1.0升级为创新2.0，是信息时代、知识社会的创新形态。其推动了科技创新主体由“产学研”转向“政产学研用”，并进一步转向“政用产学研”。它的应用可以让人了解目前由于信息通讯技术(ITC)发展给社会带来的深刻变革而引发的科技创新模式的改变。从专业科技人员实验室研发出科技创新成果后用户被动使用到技术创新成果的最终用户直接或通过共同创新平台参与技术创新成果的研发和推广应用全过程。而物联网技术飞速发展，对大数据处理技术提出了更严格的要求。物联网时代的大数据处理系统应对的挑战主要为以下几个方面：1.需要处理的数据量更大、生成频率更快；2.对数据处理、传输速率要求更高；物联网时代数据更多样化。为满足为满足低时延、高容错、易扩展等大数据处理系统关键特性，传统的大数据处理系统基于Lambda架构设本文档来自技高网...

【技术保护点】
1.一种云计算平台的数据持久化分布方法，其特征在于，包括如下步骤：步骤1，通过分布式信息队列，获取目标端数据存储要求；步骤2，所述分布式信息队列将数据传输至流处理模块和批处理模块进行处理；步骤3，将处理后的待分布数据发送至分布式文件系统；步骤4，利用SQL语义查询系统完成存储在所述分布式文件系统上的运算结果的查询。

【技术特征摘要】
1.一种云计算平台的数据持久化分布方法，其特征在于，包括如下步骤：步骤1，通过分布式信息队列，获取目标端数据存储要求；步骤2，所述分布式信息队列将数据传输至流处理模块和批处理模块进行处理；步骤3，将处理后的待分布数据发送至分布式文件系统；步骤4，利用SQL语义查询系统完成存储在所述分布式文件系统上的运算结果的查询。2.根据权利要求1所述的一种云计算平台的数据持久化分布方法，其特征在于，所述存储要求包括表的数据属性。3.根据权利要求1所述的一种云计算平台的数据持久化分布方法，其特征在于，所述分布式信息队列将数据传输至流处理模块和批处理模块进行处理过程具体包括：所述分布式信息队列中的数据利用哈希分区算法的计算结果，将信息发布到指定话题中分区里面，分布式队列集群接收到信息后，一方面将流式数据输出至流处理模块，另一方面根据保留数据配置时长，将消息持久化到磁盘中，输出至批处理模块进行全量计算。4.根据权...

【专利技术属性】
技术研发人员：郑向阳，钟送来，
申请(专利权)人：广州市闲愉凡生信息科技有限公司，
类型：发明
国别省市：广东,44