一种采集数据的分布式存储系统及方法技术方案

本发明专利技术公开一种采集数据的分布式存储系统及方法，包括应用服务器、数据库服务器和大数据集群服务器，所述应用服务器连接至数据库服务器，所述大数据集群服务器连接至应用服务器；应用服务器，用于放置应用程序；数据库服务器，用于储存数据库；数据库服务器返回请求数据至应用服务器，与大数据集群服务器进行计算交互，为大数据集群提供计算数据或者存储大数据集群的计算结果；大数据集群服务器，用于分布式计算大数据集群；大数据集群和数据库服务器进行数据交互，读取分析数据源或者将数据的计算分析结果写入数据库服务器。本发明专利技术能够实现大批量并发数据的有效处理、分配和存储，提高了存储效率，提升存储系统的性能和扩展性。

A distributed storage system and method for data acquisition

The invention discloses a distributed storage system and method for collecting data, including an application server, a database server and a large data set cluster server. The application server is connected to a database server, and the large data set cluster server is connected to an application server, and the application server is used for placing an application program. The database server is used to store the database; the database server returns the request data to the application server and interacts with the large data set cluster server to provide the calculation data for the large data set cluster or store the calculation results of the large data set cluster; the large data set cluster server is used to compute the large data set cluster distributed; Data clusters interact with database servers to read and analyze data sources or write the results of data analysis to the database server. The invention can effectively process, distribute and store a large number of concurrent data, improve the storage efficiency, and enhance the performance and expansibility of the storage system.

【技术实现步骤摘要】
一种采集数据的分布式存储系统及方法
本专利技术属于数据存储
，特别是涉及一种采集数据的分布式存储系统及方法。
技术介绍
随着社会和科技的发展，地域规模和人口数量的不断提高，各种数据量呈喷发式的增长，对于数据存储的压力也越来越大。尤其是，面对具有较大数据存储数量的职业能力分析大数据服务平台等系统来说，具有数据量巨大、需要并发处理大量数据等特点，需要具有能够进行有效应对这种情况的存储系统。但是，现有的存储系统多以集中式存储方式对数据进行存储，无法应和大批量并发的数据的处理、分配和存储；在这种情况下，现有的储存系统储存效率低、性能差、且无法实现可扩展功能。
技术实现思路
为了解决上述问题，本专利技术提出了一种采集数据的分布式存储系统及方法，能够实现大批量并发数据的有效处理、分配和存储，提高了存储效率，提升存储系统的性能和扩展性。为达到上述目的，本专利技术采用的技术方案是：一种采集数据的分布式存储系统，包括应用服务器、数据库服务器和大数据集群服务器，所述应用服务器连接至数据库服务器，所述大数据集群服务器连接至应用服务器；所述应用服务器，用于放置应用程序；所述数据库服务器，用于储存数据库；数本文档来自技高网...

【技术保护点】
1.一种采集数据的分布式存储系统，其特征在于，包括应用服务器、数据库服务器和大数据集群服务器，所述应用服务器连接至数据库服务器，所述大数据集群服务器连接至应用服务器；所述应用服务器，用于放置应用程序；所述数据库服务器，用于储存数据库；数据库服务器返回请求数据至应用服务器，与大数据集群服务器进行计算交互，为大数据集群提供计算数据或者存储大数据集群的计算结果；所述大数据集群服务器，用于分布式计算大数据集群；大数据集群和数据库服务器进行数据交互，读取分析数据源或者将数据的计算分析结果写入数据库服务器。

【技术特征摘要】
1.一种采集数据的分布式存储系统，其特征在于，包括应用服务器、数据库服务器和大数据集群服务器，所述应用服务器连接至数据库服务器，所述大数据集群服务器连接至应用服务器；所述应用服务器，用于放置应用程序；所述数据库服务器，用于储存数据库；数据库服务器返回请求数据至应用服务器，与大数据集群服务器进行计算交互，为大数据集群提供计算数据或者存储大数据集群的计算结果；所述大数据集群服务器，用于分布式计算大数据集群；大数据集群和数据库服务器进行数据交互，读取分析数据源或者将数据的计算分析结果写入数据库服务器。2.根据权利要求1所述的一种采集数据的分布式存储系统，其特征在于，所述数据库服务器为库表散列结构，将数据库中的数据进行分散存储；所述数据库服务器对关键数据进行数据库镜像处理。3.根据权利要求2所述的一种采集数据的分布式存储系统，其特征在于，所述数据库服务器为读写分离结构，采用1主多从或双主多从的读写策略，将读和写进行分离；所述数据库服务器以不同的时间段作为分区依据，实现读写过程。4.根据权利要求3所述的一种采集数据的分布式存储系统，其特征在于，所述分布式存储系统包括至少两台所述数据库服务器构成数据库集群，数据库集群构成了一个虚拟单一数据库逻辑映像。5.根据权利要求1所述的一种采集数据的分布式存储系统，其特征在于，还包括数据库备份服务器，所述数据库备份服务器与数据库服务器并列连接。6.根据权利要求5所述的一...

【专利技术属性】
技术研发人员：周士凯，蔡茜，王强，惠兴海，
申请(专利权)人：重庆工商职业学院，四川华迪信息技术有限公司，
类型：发明
国别省市：重庆,50