一种税务大数据存储及分析平台制造技术

本发明专利技术公开了一种税务大数据存储及分析平台，属于税务数据技术领域。本发明专利技术的税务大数据存储及分析平台，包括Ambari、Kudu集群和Impala集群，Ambari提供可视化操作界面；Kudu集群包括至少两个管理节点和若干数据存储节点，两个管理节点分别作为主备节点；Impala集群包括Impala Daemon、Impala Catalog、Impala Statestore，Impala Daemon与Kudu集群的数据存储节点部署在相同的节点上。该发明专利技术的税务大数据存储及分析平台能够为税务大数据的存储和分析计算提供简单、快速、准确的数据处理分析能力，具有很好的推广应用价值。

A big data storage and analysis platform for tax

【技术实现步骤摘要】
一种税务大数据存储及分析平台
本专利技术涉及税务数据
，具体提供一种税务大数据存储及分析平台。
技术介绍
税务机构合并后，亟需通过大数据手段全面聚合相关涉税数据，发挥大数据的先进技术能力，驱动税务业务整合、开展工作。税务系统积累了多年的各类历史数据，但传统的存储设备已无法长期维持税务大数据发展的存储需求，另外由于技术架构以及服务器计算资源的制约，当数据量达到TB级别时，系统性能骤降，响应速度慢，可靠性和安全性较差，数据加工分析效率较低。传统的解决方案有基于Oracle等关系型数据库构建的分布式集群，以及基于Hdfs作为底层存储的Hbase和Hive分布式集群。使用传统数据库构建的分布式集群存在跨区读取数据缓慢、大数据量的分析计算效率低下等问题。Hbase作为列式存储数据库，虽然它在数据存储和快速查询上效率较快，但其使用行键进行查询条件有限，且不支持SQL操作。Hive作为一种数据仓库，主要是用于离线数据分析，通常是进行耗时长、数据量大的计算分析，不适用于实时快速的数据读写。相较之下Kudu作为底层的数据存储，在支持高并发低本文档来自技高网...

【技术保护点】
1.一种税务大数据存储及分析平台，其特征在于：包括Ambari、Kudu集群和Impala集群，Ambari提供可视化操作界面，直接关联Kudu集群和Impala集群；Kudu集群包括至少两个管理节点和若干数据存储节点，两个管理节点分别作为主备节点；Impala集群包括ImpalaDaemon、Impala Catalog、Impala Statestore，Impala Daemon与Kudu集群的数据存储节点部署在相同的节点上。/n

【技术特征摘要】
1.一种税务大数据存储及分析平台，其特征在于：包括Ambari、Kudu集群和Impala集群，Ambari提供可视化操作界面，直接关联Kudu集群和Impala集群；Kudu集群包括至少两个管理节点和若干数据存储节点，两个管理节点分别作为主备节点；Impala集群包括ImpalaDaemon、ImpalaCatalog、ImpalaStatestore，ImpalaDaemon与Kudu集群的数据存储节点部署在相同的节点上。


2.根据权利要求1所述的税务大数据存储及分析平台，其特征在于：Kudu集群的所有数据存储在数据存储节点中，数据存储节点中每张表设有对应的表结构、主键及分区，数据按照主键有序存储。


3.根据权利要求2所述的税务大数据存储及分析平台，其特征在于：数据存储节点中的数据被分成片段表，一个片段表把相邻的数据放在一起，数据存储节点完成片段表的读写操作。


4.根据权利要求3所述的税务大数据存储及分析平台，其特征在于：管理节点存储所有的元数据，在同一时刻仅有一个管理节点作为主节点。

【专利技术属性】
技术研发人员：王国强，程林，杨培强，
申请(专利权)人：山东浪潮商用系统有限公司，
类型：发明
国别省市：山东;37