大数据库一体机制造技术

本实用新型专利技术公开了大数据库一体机，属于数据处理技术领域。本实用新型专利技术提供的大数据库一体机，包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机；若干个SSD磁盘阵列均与SAN交换机连接，若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。本实用新型专利技术采用SSD磁盘阵列作为共享存储设备提高读写速度，实现多节点负载均衡，通过并行数据库技术提高响应时间，可按需扩展系统，保证系统性能的稳定。为保障大数据库一体机持续稳定运行,SAN交换机采用两台，用于双备份。本实用新型专利技术采用JobKeeper分布式调度引擎，使大数据库一体机达到负载均衡、集群性能更优。

【技术实现步骤摘要】
【专利摘要】本技术公开了大数据库一体机，属于数据处理
。本技术提供的大数据库一体机，包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机；若干个SSD磁盘阵列均与SAN交换机连接，若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。本技术采用SSD磁盘阵列作为共享存储设备提高读写速度，实现多节点负载均衡，通过并行数据库技术提高响应时间，可按需扩展系统，保证系统性能的稳定。为保障大数据库一体机持续稳定运行,SAN交换机采用两台，用于双备份。本技术采用JobKeeper分布式调度引擎，使大数据库一体机达到负载均衡、集群性能更优。【专利说明】大数据库一体机
本技术涉一种大数据库一体机，具体讲是一种处理速度快且性能稳定的大数据库一体机，属于数据处理
。
技术介绍
随着计算机技术的飞速发展，各行各领域数据的呈几何级快速增长。这些数据来自各方面，从搜集天气情况的感测器、数码图片、在线的视频资料，到网络购物的交易记录、手机的全球定位系统信号等应有尽有。伴随数据规模的急剧膨胀，各行业累积的数据量越来越巨大，数据类型也越来越多、数据结构越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，传统的串行数据库系统已经难以适应这种飞速增长的应用需求，在生产实践中表现出明显的能力不足，无法满足大数据时代的数据处理需求。
技术实现思路
本技术所要解决的技术问题在于克服现有技术缺陷，提供一种处理速度快、操作效率高能适应大数据处理的大数据库一体机。 为了解决上述技术问题，本技术提供的大数据库一体机，包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机；若干个SSD磁盘阵列均与SAN交换机连接，若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。 本技术的有益效果在于:本技术采用SSD磁盘阵列作为共享存储设备提高读写速度，实现多节点负载均衡，通过并行数据库技术提高响应时间，可按需扩展系统，保证系统性能的稳定；本技术可使EB级数据能够秒级处理，极大极高了用户执行查询操作后的使用效率，其不仅在查询和检索数据时具有非常高的性能优势，还可以支持数据仓库存储、数据深度挖掘和商业智能分析等。 为保障大数据库一体机持续稳定运行，所述SAN交换机为两台，用于双备份。 本大数据库一体机采用JobKeeper分布式调度引擎，使达到大数据库一体机负载均衡、集群性能更优。 【专利附图】【附图说明】 图1为本技术大数据库一体机结构图； 图2为本技术大数据库一体机内部连接示意图； 图3为JobKeeper分布式调度引擎系统架构图。 【具体实施方式】 下面结合附图对本技术作详细说明。 如图1所示，本技术大数据库一体机包括由下而上依次安装标准机架I内的SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3、SAN交换机1、SAN交换机2、数据库处理单元1、数据库处理单元2、数据库处理单元3和光纤交换机，所有设备通过机架电源统一供电运行。 如图2所示，SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3分别与SAN交换机1、SAN交换机2相互连接通信，SAN交换机1、SAN交换机2同时分别与数据库处理单元1、数据库处理单元2、数据库处理单元3连接，实现SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3与数据库处理单元1、数据库处理单元2、数据库处理单元3之间数据传输；数据库处理单元1、数据库处理单元2、数据库处理单元3均连接光纤交换机，光纤交换机提供对外服务网络接口，连接对外服务网络，实现数据网络间传输。 本技术中每个数据库处理单元设置2块HBA卡，用于连接SAN交换机，共享磁盘阵列。每个数据库处理单元安装统一关系型数据库，上层应用为通用的数据库平台，系统根据负载情况自动切换访问独立节点的数据库。SSD磁盘阵列采用闪存作为存储介质，读写速度相对机械硬盘更快，功耗比传统硬盘低，实现低能耗高效率的数据存储。SAN交换机用于数据库处理单元共享磁盘阵列，通过2台SAN交换机实现备份，保证了大数据库一体机的持续稳定运行。 本实例中大数据库一体机采用3个SSD磁盘阵列和3个数据库处理单元，在实际工作过程中，SSD磁盘阵列和数据库处理单元的数量可根据需要进行增减，以实现不同级别的数据处理需求。 本技术中每个数据处理单元独立装载关系型数据库系统，共用阵列存储，形成组群模式。用户向JobKeeper分布式调度引擎提交数据库操作请求。JobKeeper分布式调度引擎根据各个数据处理单元的实际运行负载情况，将此操作请求下达到适合处理的数据处理单元之上，此处理单元独立完成操作后反馈给用户请求结果。以此模式达到利用SSD盘阵的高效1PS和JobKeeper分布式调度引擎的负载均衡的优势，使得数据库操作的效率显著提高。通过引入索引模块、并行执行架构以及读取本地磁盘的方式，使EB级数据能够秒级处理。 如图3所示，本技术大数据库一体机采用JobKeeper分布式调度引擎，JobKeeper是一种处理任务的超高性能分布式调度平台，JobKeeper可不间断接受从各台计算机提交的任务，再按照当前集群中所有机器的压力，智能进行分配任务，进而达到集群负载均衡，使得整个集群的性能始终保持最优。通过JobKe印er还可以对当前分布式集群的所有机器的状况进行监控，对集群中所有的任务进行停止、删除等功能。JobKeeper分布式调度引擎包括应用层、业务层、数据处理层、存储层、虚拟化资源层和调度平台，其中: 应用层:用于管理和结果反馈的显示组件，是整个系统面向用户和开发人员的基础承载。 业务层:对于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行规则化划分，形成统一的处理化模式。 数据处理层:独立的数据处理程序，是对不同需求数据的统一处理方案，由JobKeeper调度平台进行统一的配置管理。 存储层:存储数据的处理结果集或其他中间结果集的单元。 虚拟化资源层:将机器进行虚拟化，形成更大范围的服务集群。 JobKeeper分布式调度引擎具有如下优势: I)、高可靠性:采用“多主多备，负载均衡”的管理节点设计模式，和“处理实时跟踪”的处理节点设计模式，从而保证无论管理节点还是处理节点都不存在任何单点故障问题。 2)、低依赖性:采用模块化设计思想，通过统一化配置和API接口的方式向用户提供服务。无论用户应用是用何种语言开发，何种处理方式，都可以交由平台进行统一的调度管理。 3)、低干预性:采用基于事件化的统一管理模式。无论是动态扩展集群处理系统能力，还是单点故障的任务转移，又或者是任务的实时监控和动态分配，都将在系统无人值守的情况下自动完成。 4)、高实时性:在高效率并行分布式软件的支撑下，可以实现对任务的实时分配，实时调度，实时处理。在机器性能允许的范围内，计算任务不会出现堆积的显现，所有任务的控制工作基本都在秒级完成，具有前所未有的高效性。 以上所述仅是本技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本技术原理的前提下还可以本文档来自技高网...

【技术保护点】
一种大数据库一体机，其特征在于：所述大数据库一体机包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机；所述若干个SSD磁盘阵列均与SAN交换机连接，若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。

【技术特征摘要】

【专利技术属性】
技术研发人员：张真，王胤然，吴亚洲，谭崇刚，江健，
申请(专利权)人：南京云创存储科技有限公司，
类型：新型
国别省市：江苏;32