基于内存计算的大数据分布式数据交互系统的实现方法技术方案

本发明专利技术提供了一种基于内存计算的大数据分布式数据交互系统的实现方法，该实现方法包括：交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；交互子节点接收查询客户端发送的查询请求，底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。本发明专利技术的有益效果是：本发明专利技术是基于内存、数据访问为中心设计发明专利技术的数据交互系统，它介于存储系统和计算系统之间，既可以部署在传统的架构下，也可以部署在大数据平台下，不管是在大数据生态圈，还是传统的IT界，都有独特的地位。

Implementation method of large data distributed data interaction system based on memory computing

The present invention provides a method for realizing data memory based on distributed computing data interaction system, the implementation method comprises the following steps: main control system receives the interactive query data sent by the client request, and the main controller interaction system first queries the internal metadata, if there is a need for data information in the metadata, going through the main controller interaction in the system index to interactive child nodes, or inform the client query to query node interaction; interactive query sub node receives query request sent by the client, the underlying storage system receives the query query request sent by the client, directly transfer the data to the client query. The invention has the advantages that the invention is based on data access data memory, interactive system design center of invention, it is between the storage system and the computing system, which can be deployed in the traditional architecture, also deployed in large data platform, whether it is in the big data ecosystem, or traditional IT community has a unique status.

【技术实现步骤摘要】
基于内存计算的大数据分布式数据交互系统的实现方法
本专利技术涉及数据处理
，尤其涉及一种基于内存计算的大数据分布式数据交互系统的实现方法。
技术介绍
大数据时代，数据的快速生成，快速交易，传统的数据交换体系在快速处理数据时往往显得力不从心。传统的数据交换体系主要依赖与传统的存储系统，传统存储系统最大的瓶颈就是I\O，多而频繁的交互，导致传统存储系统性能直线下降；传统的存储系统，虽然可以通过并行，虚拟化等方式来规避瓶颈，但是其成本也是异常的昂贵；传统的数据交换体系，最大的问题在于不同文件系统间的数据无法进行直接交互，必须要通过其他繁琐的方式来进行交互。
技术实现思路
本专利技术提供了一种基于内存计算的大数据分布式数据交互系统的实现方法，包括如下步骤：A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；B.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；C.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。作为本专利技术的进一步改进，所述交互子节点为多个。作为本专利技术的进一步改进，所述交互子节点的存储器包括内存、SSD或硬盘。作为本专利技术的进一步改进，所述交互系统主控器包括索引数据。作为本专利技术的进一步改进，所述交互系统主控器包括心跳检测数据。本专利技术还提供了一种基于内存计算的大数据分布式数据交互系统，包括：交互系统主控器，用于接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；交互子节点，用于接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；底层存储系统，用于接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。作为本专利技术的进一步改进，所述交互子节点为多个。作为本专利技术的进一步改进，所述交互子节点的存储器包括内存、SSD或硬盘。作为本专利技术的进一步改进，所述交互系统主控器包括索引数据。作为本专利技术的进一步改进，所述交互系统主控器包括心跳检测数据。本专利技术的有益效果是：本专利技术是基于内存、数据访问为中心设计专利技术的数据交互系统，它介于存储系统和计算系统之间，既可以部署在传统的架构下，也可以部署在大数据平台下，不管是在大数据生态圈，还是传统的IT界，都有独特的地位。附图说明图1是本专利技术的数据交互系统的原理框图。具体实施方式本专利技术公开了一种基于内存计算的大数据分布式数据交互系统的实现方法，包括如下步骤：A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；B.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；C.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。所述交互子节点为多个，所述交互子节点的存储器包括内存、SSD或硬盘，所述交互系统主控器包括索引数据，所述交互系统主控器包括心跳检测数据。工作时，具体为：1.查询客户端对数据交互系统发起数据请求；2.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；3.查询客户端接收到交互系统主控制器传回的数据时，反馈给上层应用；当查询客户端接收交互系统主控制器传回的访问交互子节点时，自动向交互子节点发出查询请求；4.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；5.查询客户端接收到交互子节点传回的数据时，反馈给上层应用；当查询客户端接收交互子节点传回的访问底层存储系统时，自动向底层存储系统发出查询请求；6.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端；7.查询客户端接收到底层存储系统的数据反馈给上层应用。如图1所示，本专利技术还公开了一种基于内存计算的大数据分布式数据交互系统，包括：交互系统主控器，用于接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；交互子节点，用于接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；底层存储系统，用于接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。在数据交互系统中，所述交互子节点为多个，所述交互子节点的存储器包括内存、SSD或硬盘，所述交互系统主控器包括索引数据，所述交互系统主控器包括心跳检测数据。本专利技术的基于内存计算的大数据分布式数据交互系统简称为Nash-Center。Nash-Center是基于内存、数据访问为中心设计专利技术的数据交互系统，它介于存储系统和计算系统之间，既可以部署在传统的架构下，也可以部署在大数据平台下，不管是在大数据生态圈，还是传统的IT界，都有独特的地位。就用户应用和计算框架而言，无论用户的应用与计算框架是否运行在相同的计算引擎下，Nash-Center都可以从底层来支持数据的访问、快速存储、数据的快速交互，以及多任务的数据共享和本地化。Nash-Center为底层的存储与大数据应用建立了通道，并且重新定义了一组面向数据使用的工作负载程序，因此，Nash-Center为大数据应用提供了重量级的数据加速，同时还对其他程序提供了通用的数据访问接口。Nash-Center屏蔽了底层存储系统的整合细节，所以，任何底层存储系统都可以支撑运行在Nash-Center之上的应用和框架，同时，Nash-Center可以挂载多种底层的存储系统，所以Nash-Center还可以为任意数量的不同数据源提供服务。本专利技术的核心技术是在Nash-Center上对数据进行快速交互。其优点有三：1.数据交互在分布式内存中进行，规避IO瓶颈，不同热度的数据存放在交互子节点的不同介质上。（极速处理、合理存放）2.交互子节点可以将自己资源（本地内存、SSD或者硬盘）分配给Nash-Center来使用，在Nash-Center中，可以采用大量廉价的设备来提高运算效率（成本低，效率高）。3.Nash-Center为应用提供文件系统的API，查询客户端通过发起与交互系统主控器来执行元数据的操作，并通过与交互子节点的通信来对N本文档来自技高网...

【技术保护点】
一种基于内存计算的大数据分布式数据交互系统的实现方法，其特征在于，包括如下步骤：A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；B.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；C.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。

【技术特征摘要】
2016.12.30 CN 20161126192761.一种基于内存计算的大数据分布式数据交互系统的实现方法，其特征在于，包括如下步骤：A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；B.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；C.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。2.根据权利要求1所述的实现方法，其特征在于，所述交互子节点为多个。3.根据权利要求1所述的实现方法，其特征在于，所述交互子节点的存储器包括内存、SSD或硬盘。4.根据权利要求1所述的实现方法，其特征在于，所述交互系统主控器包括索引数据。5.根据权利要求1所述的实现方法，其特征在于，所述交互系统主控器包括心跳检测数据。...

【专利技术属性】
技术研发人员：吕骏，
申请(专利权)人：吕骏，
类型：发明
国别省市：广东,44