巨量数据存取方法以及使用该方法的系统技术方案

本发明专利技术提出一种巨量数据存取方法以及使用该方法的系统。该存取方法包含以下步骤：接收从不同类型的多个数据库前端模块中之一者传送的请求；以及使用相应的应用程序界面来操作不同类型的多个云端文件系统中之一者，用以完成请求的数据存取作业。

【技术实现步骤摘要】

本专利技术关于一种数据存取技术，特别是一种巨量数据存取方法以及使用该方法的 系统。
技术介绍
越来越多企业建置云端运算（cloud computing)以及巨量数据（big data)储存 环境。然而，因为数据量过于庞大且复杂，使得现有的数据库管理工具或传统的数据处理应 用程序都难以处理。因此，需要一种巨量数据存取方法以及使用该方法的系统，用以提高扩 充性。
技术实现思路
本专利技术的实施例提出一种巨量数据存取方法，包含以下步骤：接收从不同类型的 多个数据库前端模块中之一者传送的请求；以及使用相应的应用程序界面来操作不同类型 的多个云端文件系统中之一者，用以完成请求的数据存取作业。 本专利技术的实施例提出一种巨量数据存取系统，包含安全检验哈希模块，耦接于不 同类型的多个数据库前端模块以及不同类型的多个云端文件系统之间，用以接收从数据库 前端模块中之一者传送的一请求；以及使用相应的应用程序界面来操作云端文件系统中之 一者，用以完成请求的数据存取作业。【附图说明】 图1是依据本专利技术实施例的巨量数据存取系统的系统架构图。 图2是依据本专利技术实施例的计算机装置的系统架构图。 图3是依据本专利技术实施例的巨量数据储存节点的方块图。 图4是依据本专利技术实施例的Apache? Hadoop云端运算架构的示意图。 图5是依据本专利技术实施例的Apache? Storm云端运算架构的示意图。 图6是依据本专利技术实施例的巨量数据储存节点的方块图。 图7是依据本专利技术实施例的文件结构示意图。 图8是依据本专利技术实施例的执行处理单元210的数据读取方法流程图。 其中，附图标记说明如下： 110 客户端； 120_1、120_2、…、120_i巨量数据储存子系统； 130接待模块； 140虚拟服务器； 150_1、150_2、…、150_i 代理模块； 160_1、160_2、…、160_i 数据库前端模块； 170_1、170_2、…、170_i巨量数据储存节点； 210处理单元； 220显示单元； 230输入装置； 240储存装置； 250 存储器； 260通讯界面； 310联合巨量数据集文件系统； 320内部数据库； 331文件导向数据库； 333格状文件系统； 351分散式批次数据库； 353分散式文件系统； 371分散式即时数据库； 373分散式文件系统； 410主服务器； 430、440、450 从服务器； 460储存服务器； 510水龙头服务器； 520、530、540、550 闪电服务器； 560储存服务器； 611、613、615联合巨量数据集文件系统； 630纠删编码模块； 650安全检验哈希模块； 700 文件； 710_1 ~710_k 区块； 730_1 ~730_m 数据区段； 750_1~750_n同位元区段； 770_1 ~770_m+n 元标签； S811~S875方法步骤。【具体实施方式】 以下说明为完成专利技术的较佳实现方式，其目的在于描述本专利技术的基本精神，但并 不用以限定本专利技术。实际的
技术实现思路
必须参考之后的权利要求范围。 必须了解的是，使用于本说明书中的"包含"、"包括"等词，是用以表示存在特定的 技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特 征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。 于权利要求中使用如"第一"、〃第二〃、〃第三〃等词是用来修饰权利要求中的元 件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者 是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。 图1是依据本专利技术实施例的巨量数据存取系统的系统架构图，包含客户端110及i 个巨量数据储存子系统120_1至120_i，其中，i为正整数。虽然本专利技术实施例只描述一个客 户端的行为，本领域技术人员可轻易将以下所述的
技术实现思路
应用在多个客户端的环境，本 专利技术并不因此受限。巨量数据储存子系统120_1中包含接待模块（reception module) 130， 用以从客户端Iio接收各种数据库应用程序界面（DB API, Database Application Programming Interface)的请求，并转送给虚拟服务器140。DB API可为结构化查询语言 (SQL, Structural Query Language)API、C0B0L API 等，用以实施第四层（layer 4)或第七 层（layer 7)数据库命令。需要注意的是，巨量数据储存子系统120_1至120」只存在一 个接待模块，作为所有客户端的单一窗口。接待模块130定期向其他巨量数据储存子系统 120_2至120_i的相应模块发送心跳信号（heartbeat signal)，用以通知接待模块130还 活着。当接待模块130失效过一段时间而无法发送心跳信号，其他相应模块会协商出由巨 量数据储存子系统120_2至120」中之一者来当作客户端的新单一窗口。虚拟服务器140 执行平衡负载机制（load-balancing mechanism),用以将客户端110的请求分派到工作量 (workload)较轻的代理模块。虚拟服务器140可藉由监看每一个代理模块与客户端间的 连线数目来决定每一个巨量数据储存子系统的工作量，连线数目较多代表工作量较重。被 分派的代理模块150_1、150_2或150_i与客户端间建立一个连线以处理客户端110后续 的DB API请求。换句话说，接待模块130只处理客户端110传送的包含DB API请求的第 一个封包，而分派的代理模块会直接与客户端110建立连线，处理包含DB API请求的后续 封包。于每一个巨量数据储存子系统中，代理模块连接一个数据库前端模块，而此数据库前 端模块连接于一个巨量数据储存节点。例如，代理模块150_1传递由客户端110传送的DB API请求给数据库前端模块160_1，数据库前端模块160_1解译（interpret) DB API请求并 据以操作巨量数据储存节点170_1，用以取得客户端110所需的信息并回复给客户端110。 客户端所请求的信息可以是任何的统计分析或演算法结果，例如，商品间的关联性、事件因 果分析等等。 接待模块130、虚拟服务器140、代理模块150_1及数据库前端模块160_1可整合 于一部计算机装置中，也可分散在不同的计算机装置。类似地，成对的代理模块150_2及数 据库前端模块160_2,或者，成对的代理模块150」及数据库前端模块160」可整合于一部 计算机装置中，也可分散在不同的计算机装置。巨量数据储存节点170_1、170_2至170」中 的任一者中包含多部的计算机装置，用以完成巨量数据的存取与运算。图2是依据本专利技术 实施例的计算机装置的系统架构图。处理单元210可使用多种方式实施，例如以专用硬件 电路或通用硬件（例如，单一处理器、具平行处理能力的多处理器、图形处理器或当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种巨量数据存取方法，其特征在于，包含：接收从不同类型的多个数据库前端模块中之一者传送的一数据存取请求；以及使用一相应的应用程序界面来操作不同类型的多个云端文件系统中之一者，用以完成上述数据存取请求的数据存取作业。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：陈志明，
申请(专利权)人：纬创资通股份有限公司，
类型：发明
国别省市：中国台湾;71