大数据的存储访问系统及方法技术方案

大数据存储访问系统及方法，所述系统包括：实时数据服务节点、历史数据服务节点和分布式协调服务器；所述实时数据服务节点适于存储消息队列中实时到达的实时数据，在收到来自所述分布式协调服务器的实时数据超过服务期限的通知时，转存所述实时数据至所述历史数据服务节点；所述历史数据服务节点包括分布式文件系统，适于将来自所述实时数据服务节点的超过服务期限的实时数据作为历史数据存储；所述分布式协调服务器，适于管理所述实时数据服务节点与所述历史数据服务节点中的原数据信息，监控所述实时数据服务节点和所述历史数据服务节点，以及在所述实时数据超过服务期限通知所述实时数据服务节点。上述方案可提高大数据访问的实时性。

【技术实现步骤摘要】

本专利技术涉及大数据
，特别是涉及一种。
技术介绍
随着物联网的发展，物联网终端设备不断增长，随之产生的数据量也呈爆炸性增长。传统的关系型数据库如果不能提出水平扩展的功能，已经不能满足日益增长的数据存储、检索、计算的需求。现有技术中的计算框架可以针对性地解决很多的数据存储和分析需求，但是，现有的计算框架在海量数据上的查询和分析方面，存在实时性较低的问题。
技术实现思路
本专利技术要解决的技术问题是提供一种大数据存储访问系统及方法，提高大数据访问的实时性。为解决上述技术问题，本专利技术实施例提供一种大数据存储访问系统，所述系统包括:实时数据服务节点、历史数据服务节点和分布式协调服务器；所述实时数据服务节点，适于存储消息队列中实时到达的实时数据，在收到来自所述分布式协调服务器的所述实时数据超过服务期限的通知时，转存所述实时数据至所述历史数据服务节点；所述历史数据服务节点，包括分布式文件系统，所述分布式文件系统适于将来自所述实时数据服务节点的超过服务期限的所述实时数据作为历史数据存储；所述分布式协调服务器，适于管理所述实时数据服务节点与所述历史数据服务节点中的原数据信息，监控所述实时数据服务节点和所述历史数据服务节点，以及在所述实时数据超过服务期限通知所述实时数据服务节点。可选地，所述实时数据服务节点，适于读取存储消息队列中实时到达的实时数据，根据来自所述分布式协调服务器的数据表的配置信息对所述实时数据进行解析以及构建索引，按照预定义的时间粒度组织成数据块进行存储。可选地，所述实时数据服务节点适于通过写入接口存储所述数据块于所述实时数据服务节点的内存中，在数据表所占内存达到阈值或数据表条目超过设定数目时，将所述实时数据转存至所述实时数据服务节点的磁盘中，并将所述数据块的状态改变通知所述分布式协调服务器。可选地，所述分布式协调服务器适于记录所述实时数据的服务时间，当所述实时数据的服务时间达到所述服务期限时，通知所述实时数据服务节点将所述实时数据写入所述历史数据服务节点的分布式文件系统中。可选地，所述历史数据服务节点还包括缓存，适于按照LRU存储最近的时间段内被检索到的查询结果。可选地，所述分布式文件系统根据元数据表中存储介质配置信息设置对应的存储介质，所述存储介质包括SSD、DISK和ARCHIVE。可选地，所述实时数据服务节点和所述历史数据服务节点中的数据为列式表达的数据。可选地，所述大数据存储访问系统，还包括:数据服务节点:所述数据服务节点，适于接收客户端的访问请求，根据所述访问请求中涉及数据片的产生时间，将所述访问请求拆分成实时数据的访问请求和历史数据的访问请求，调度所述实时数据的访问请求至所述实时数据服务节点计算第一中间结果，调度所述历史数据的访问请求至所述历史数据服务节点计算第二中间结果，合并所述第一中间结果和所述第二中间结果得到最终结果，并返回所述最终结果至所述客户端。可选地，所述实时数据服务节点还适于接收实时数据的访问请求，计算所述实时数据的访问请求得到所述第一中间结果，并返回所述第一中间结果至所述数据服务节点。可选地，所述历史数据服务节点还适于接收所述历史数据的访问请求，计算所述历史数据的访问请求得到所述第二中间结果，并返回所述第二中间结果至所述数据服务节点。本专利技术实施例还提供一种大数据存储访问方法，采用上述的大数据存储访问系统，所述方法包括:将消息队列中实时达到的实时数据存储于所述实时数据服务节点，并由所述分布式协调服务器记录实时数据片的存储位置；在收到来自所述分布式协调服务器的所述实时数据超过服务期限的通知时，转存所述实时数据至所述历史数据服务节点。可选地，所述将消息队列中实时达到的实时数据存储于所述实时数据服务节点，包括:读取存储消息队列中实时到达的实时数据，根据来自所述分布式协调服务器的数据表的配置信息对所述实时数据进行解析以及构建索引，按照预定义的时间粒度组织成数据块进行存储。可选地，所述将消息队列中实时达到的实时数据存储于所述实时数据服务节点，包括:实时数据服务节点通过写入接口存储所述数据块于所述实时数据服务节点的内存中；在数据表所占内存达到阈值或数据表条目超过设定数目时，将所述实时数据转存至所述实时数据服务节点的磁盘中，并将所述数据块的状态改变通知所述分布式协调服务器。可选地，所述大数据存储访问方法还包括:所述数据服务节点接收客户端的访问请求；根据所述访问请求中涉及数据片的产生时间，将所述访问请求拆分成实时数据的访问请求和历史数据的访问请求；调度所述实时数据的访问请求至所述实时数据服务节点计算第一中间结果，调度所述历史数据的访问请求至所述历史数据服务节点计算第二中间结果，合并所述第一中间结果和所述第二中间结果得到最终结果；返回所述最终结果至所述客户端。与现有技术相比，本专利技术实施例的技术方案具有以下有益效果:本专利技术实施例的技术方案设置实时数据服务节点、历史数据服务节点和分布式协调服务器，由实时数据服务节点存储实时数据，并在所述分布式协调服务器通知实时数据服务期限到达时，转存所述实时数据至所述历史服务节点，由所述历史服务节点存储超过服务期限的实时数据，并且有所述分布式协调服务器管理所述实时服务节点与所述历史服务节点，在所述实时数据的服务期限到达时同时所述实时服务节点将实施数据写入所述历史服务节点，从而可以在系统接收到数据访问的请求时，由相应的数据服务节点提供实时数据或历史数据，从而提升了系统访问实时数据的效率，从而提高大数据访问的实时性。进一步地，通过设置数据服务节点，将来自客户端的访问请求根据所述访问请求中涉及数据片的产生时间，将所述访问请求拆分成实时数据的访问请求和历史数据的访问请求，再调度所述实时数据的访问请求和所述历史数据的访问请求至相应的数据服务节点计算中间结果返回给所述数据服务节点，由所述数据服务节点来合并中间结果得到最终结果至所述客户端，从而可以提升系统处理访问请求的效率，提升系统访问数据的实时性。进一步地，通过在所述历史数据服务节点中设置缓存，在历史数据服务节点设置本地缓存以存储中间结果，可以借助LRU算法加快热点查询的效率。进一步地，将所述实时数据服务节点和所述历史数据服务节点中的行式数据转换为列式表达，可以通过更有效的压缩技术降低存储开销，并且提供对列数据更快速的访问。【附图说明】图1是本专利技术实施例中的一种大数据存储访问系统的结构示意图；图2是本专利技术实施例中的一种大数据存储访问系统的结构示意图；图3是本专利技术实施例中的一种大数据存储访问的方法的流程图；图4是本专利技术实施例中的一种大数据存储访问方法的流程图。【具体实施方式】如前所述，现有技术中的计算框架可以针对性地解决很多的数据存储和分析需求，现有的计算框架在海量数据上的查询和分析还存在实时性较低的问题。本专利技术实施例的技术方案设置实时数据服务节点、历史数据服务节点和分布式协调服务器，由实时数据服务节点存储实时数据，并在所述分布式协调服务器通知实时数据服务期限到达时，转存所述实时数据至所述历史服务节点，由所述历史服务节点存储超过服务期限的实时数据，并且有所述分布当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种大数据存储访问系统，其特征在于，包括：实时数据服务节点、历史数据服务节点和分布式协调服务器；所述实时数据服务节点，适于存储消息队列中实时到达的实时数据，在收到来自所述分布式协调服务器的所述实时数据超过服务期限的通知时，转存所述实时数据至所述历史数据服务节点；所述历史数据服务节点，包括分布式文件系统，所述分布式文件系统适于将来自所述实时数据服务节点的超过服务期限的所述实时数据作为历史数据存储；所述分布式协调服务器，适于管理所述实时数据服务节点与所述历史数据服务节点中的原数据信息，监控所述实时数据服务节点和所述历史数据服务节点，以及在所述实时数据超过服务期限通知所述实时数据服务节点。

【技术特征摘要】

【专利技术属性】
技术研发人员：汤奇峰，姜冰，
申请(专利权)人：上海晶赞科技发展有限公司，
类型：发明
国别省市：上海;31