【技术实现步骤摘要】
本专利技术属于大数据领域，涉及数据处理技术，具体是一种解决大数据平台数据冲击的系统和方法。
技术介绍
1、大数据平台是用于处理和管理大规模数据的技术和基础设施的集合，提供了一种集中式的、可扩展的环境，用于存储、处理、分析和可视化大量的结构化和非结构化数据。
2、随着互联网的快速发展，大数据的产生和积累呈指数级增长，传统的串行计算处理速度慢，易导致海量数据堆积，引起数据冲击。
3、因此本专利技术提出一种解决大数据平台数据冲击的系统和方法。
技术实现思路
1、本申请的目的是提供一种解决大数据平台数据冲击的系统和方法，解决了现有技术中大数据平台处理速度慢，易导致海量数据堆积，引起数据冲击的问题。
2、为实现上述目的，本申请提供了一种解决大数据平台数据冲击的系统和方法，包括：客户端、数据处理模块、存储优化模块；
3、所述客户端用于发送数据集请求至大数据平台；
4、所述大数据平台用于对接收的数据集请求进行处理，产生对应的数据集响应，并反馈至客户端；
5、所述大数据平台包括数据处理模块、存储优化模块；
6、所述数据处理模块用于对大数据平台接收的数据集进行处理
7、所述存储优化模块用于存储数据集请求和对应的数据集响应。
8、进一步地，大数据平台设置缓存区和处理区，处理区包括结构化数据区、半结构化数据区、非结构化数据区，且处理区的处理容量限定，并平均分配给每个数据区。
9、进一步
10、步骤s1：对数据集进行清洗和预处理；通过编写数据清洗和预处理算法，对接收的数据集进行去重、缺失值处理、异常值处理等操作，处理后进入步骤s1；
11、步骤s2：将处理后的数据集按照数据类型进行划分，包括结构化数据、半结构化数据、非结构化数据；并将每类数据集按照接收的时间先后顺序分别存入在结构化数据区、半结构化数据区、非结构化数据区；
12、步骤s3：利用分布式计算方法处理数据区的数据集。
13、进一步地，当处理区达到处理容量时，则不再往里存入数据；剩下未存入处理区的数据放置在缓存区进行等待；当处理区出现空余容量，缓存区的数据依次进入。
14、进一步地，利用分布式计算方法将数据集分成多个小数据块进行并行处理，并分发到不同的计算节点上，每个节点负责处理自己所拥有的数据块，节点之间可以通过消息传递或共享存储进行通信和同步；每个节点完成任务后，将结果进行汇总，可以通过将结果写入共享存储，或者通过消息传递将结果传回到主节点并反馈至客户端。
15、进一步地，所述存储优化模块用于存储数据集请求和对应的数据集响应，并通过压缩技术进行压缩，减少空间的占用，提高运行速度。
16、进一步地，客户端发送的数据集请求与所述存储优化模块中的数据集请求进行比较，若一致，则直接发送对应的数据集响应，若不一致，则发送至数据处理模块进行处理。
17、其中，一种解决大数据平台数据冲击的方法，包括以下步骤：
18、步骤一：设置大数据平台的一次性处理容量，并均匀地划分为三个数据区；
19、步骤二：将数据集请求按照数据类型放置在不同数据区，将数据区的数据集采用分布式计算方式进行处理，产生数据集响应；
20、步骤三：产生的数据集响应和对应数据集请求存入存储优化模块，并进行压缩。
21、与现有技术相比，本专利技术的有益效果是：
22、本专利技术的所述客户端用于发送数据集请求至大数据平台，所述大数据平台用于对接收的数据集请求进行处理，并将产生对应的数据集响应反馈至客户端，所述数据处理模块用于对大数据平台接收的数据集进行处理，通过设定合适的数据处容量，使数据依次进入处理区，利用分布式计算方法将数据集划分为若干个数据块，并分布到各节点上进行处理，并将各节点处理后的结果，汇总到主节点，产生数据集响应发送至客户端和存储优化模块，所述存储优化模块用于存储客户端的数据集请求和对应的数据集响应；通过一次性处理容量的限定和数据集的分块处理方式，提高数据的处理效率，避免当数据集请求过大时，导致处理速度变慢，甚至超过大数据平台的处理能力，引起数据冲击。
本文档来自技高网...【技术保护点】
1.一种解决大数据平台数据冲击的系统，其特征在于，包括：客户端、数据处理模块、存储优化模块；
2.如权利要求1所述的一种解决大数据平台数据冲击的系统，其特征在于，大数据平台设置缓存区和处理区，处理区包括结构化数据区、半结构化数据区、非结构化数据区，且处理区的处理容量限定，并平均分配给每个数据区。
3.如权利要求1所述的一种解决大数据平台数据冲击的系统，其特征在于，所述数据处理模块用于对大数据平台接收的数据集进行处理，包括以下处理步骤：
4.如权利要求3所述的一种解决大数据平台数据冲击的系统，其特征在于，当处理区达到处理容量时，则不再往里存入数据；剩下未存入处理区的数据放置在缓存区进行等待；当处理区出现空余容量，缓存区的数据依次进入。
5.如权利要求3所述的一种解决大数据平台数据冲击的系统，其特征在于，利用分布式计算方法将数据集分成多个小数据块进行并行处理，并分发到不同的计算节点上，每个节点负责处理自己所拥有的数据块，节点之间可以通过消息传递或共享存储进行通信和同步；每个节点完成任务后，将结果进行汇总，可以通过将结果写入共享存储，或者
6.如权利要求1所述的一种解决大数据平台数据冲击的系统，其特征在于，所述存储优化模块用于存储数据集请求和对应的数据集响应，并通过压缩技术进行压缩，减少空间的占用，提高运行速度。
7.如权利要求1所述的一种解决大数据平台数据冲击的系统，其特征在于，客户端发送的数据集请求与所述存储优化模块中的数据集请求进行比较，若一致，则直接发送对应的数据集响应，若不一致，则发送至数据处理模块进行处理。
8.一种解决大数据平台数据冲击的方法，其特征在于，包括以下步骤：
...【技术特征摘要】
1.一种解决大数据平台数据冲击的系统，其特征在于，包括：客户端、数据处理模块、存储优化模块；
2.如权利要求1所述的一种解决大数据平台数据冲击的系统，其特征在于，大数据平台设置缓存区和处理区，处理区包括结构化数据区、半结构化数据区、非结构化数据区，且处理区的处理容量限定，并平均分配给每个数据区。
3.如权利要求1所述的一种解决大数据平台数据冲击的系统，其特征在于，所述数据处理模块用于对大数据平台接收的数据集进行处理，包括以下处理步骤：
4.如权利要求3所述的一种解决大数据平台数据冲击的系统，其特征在于，当处理区达到处理容量时，则不再往里存入数据；剩下未存入处理区的数据放置在缓存区进行等待；当处理区出现空余容量，缓存区的数据依次进入。
5.如权利要求3所述的一种解决大数据平台数据冲击的系统，其特征在于，利用分布...
【专利技术属性】
技术研发人员：刘送杰，郑灵科，李国仓，康振宇，陈彬，贾傲，姚康，
申请(专利权)人：湖南华菱涟源钢铁有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。