一种云平台数据处理方法技术

本发明专利技术涉及数据处理技术领域，尤其是一种云平台数据处理方法，S1:将设置在云服务器上的数据采集模块和物联网平台进行通讯连接，并将设置在云服务器上的数据处理模块和物联网平台进行通讯连接；S2:数据处理模块上连接有数据分流模块并通过分别分流存储模块存储在本地磁盘上；S3:在保存各块文件的存储位置之后，还对各所述块文件进行预读取，预读取后的数据经过执行模块执行并通过处理模块进行处理；S4:业务处理模块分别与物联网平台和数据处理模块均进行通信连接，数据可通过业务处理模块进行传输，并且提供数据分析的结果。本发明专利技术缓解了现有技术中在对数据进行分析时，成本较高且安全性较低的技术问题，保证了云端计算服务的稳定性。

A Data Processing Method for Cloud Platform

【技术实现步骤摘要】
一种云平台数据处理方法
本专利技术涉及数据处理
，尤其涉及一种云平台数据处理方法。
技术介绍
随着科学技术的发展，云平台的应用范围越来越广泛。云计算是一种能够通过网络以便利的、按需的方式获取计算资源模式，这些资源和来自一个共享的、可配置的资源池，并能够快速获取和释放。它颠覆了传统IT行业的消费模式和服务方式，实现了从以前的购买软硬件产品向购买服务的转变，作用主要体现在虚拟化数据信息处理计算方面，是一种新型的商业模式，越来越多的平台和应用，同时作为生产者和消费者，也使得互联网上的数据量以惊人的速度日益扩增，在很多情况下需要对SDN架构中的应用服务器的计算进行动态调整，应用服务器在访问高峰应用服务器的计算压力大，此时需要更多的计算资源，以增加应用服务器的计算性能，而在访问低谷时，应用服务器的计算压力小，如果应用服务器的计算性能过大，则就会造成计算资源的浪费，但是目前SDN架构的应用服务器计算性能在进行调整时，只能依赖于手动进行应用服务器的增减，调整速度较慢，无法满足应用服务器快速扩展和收缩的要求，数据处理计算因此就成为云计算基础架构的重要一环，针对大规模数据的高效管理已经成为亟需解决的技术问题。为此，我们提出了一种云平台数据处理方法。
技术实现思路
本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种云平台数据处理方法。为了实现上述目的，本专利技术采用了如下技术方案：设计一种云平台数据处理方法，包括如下步骤：S1:将设置在云服务器上的数据采集模块和物联网平台进行通讯连接，并将设置在云服务器上的数据处理模块和物联网平台进行通讯连接，数据处理模块用于获取数据采集模块上采集到的数据并进行分析；S2:数据处理模块上连接有数据分流模块，可以将物联网平台中的数据流分成多个块文件，将云平台中的数据流分成多个等量的块文件，各块文件分别进行存储，设置的分类标记模块可将各块文件进行分类标记，并通过分别分流存储模块存储在本地磁盘上；S3:在保存各块文件的存储位置之后，还对各所述块文件进行预读取，预读取后的数据经过执行模块执行并通过处理模块进行处理；S4:业务处理模块分别与物联网平台和数据处理模块均进行通信连接，数据可通过业务处理模块进行传输，并且提供数据分析的结果，并为客户端提供相关业务服务。优选的，S1中物联网平台上连接有设备管理模块，设置的设备管理模块用于对所述数据采集设备中各个设备的运行状态进行管理，物联网平台上的数据处理模块用于对从所述数据采集设备采集到的数据进行初步处理，并将初步处理之后的数据发送至所述数据处理系统进行分析。优选的，S1中物联网平台上连接有软件管理模块，软件管理模块用于对数据采集设备中各个设备的系统软件进行管理，并通过数据收集模块对数据采集模块进行数据采集的操作进行管理，以及通过设备认证与授权模块对数据采集模块的认证和授权进行管理。优选的，S1中的云服务器上设置有后台服务模块，且后台服务模块中部署不同的基于SDN的服务器软件，同时云服务器上设置有元数据处理模块、数据持久化模块，并在元数据处理模块中部署不同的元数据服务器软件，在数据持久化组件中设置数据库服务和文件服务。优选的，S2中设置有数据清洗模块，对从物联网平台获取到的数据进行清洗操作，并对清洗之后的数据进行分析，得到分析结果，且数据分流模块包括计算单元，用于统计所述数据流的大小，并计算平均分配给各所述块文件中的数据量，数据分流模块还包括分块单元，用于根据所述计算单元的计算结果，将云平台中的数据流分成多个等量的块文件。优选的，S4中业务处理模块包括接入管理模块，接入管理模块上还连接有服务模块，且服务模块上还电性连接有存储模块，存储模块上还电性连接有数据访问模块。优选的，接入管理模块上电性连接有权限管理模块，且权限管理模块上还电性连接有安全控制模块，安全控制模块还和配额管理模块进行电性连接。优选的，服务模块上电性连接有用户服务模块，用户服务模块上还电性连接有设备管理模块，且设备管理模块和系统管理模块电性连接，系统管理模块上电性连接有系统设置模块，系统设置模块和数据报表模块进行电性连接。本专利技术提出的一种云平台数据处理方法，有益效果在于：本专利技术可将云平台中的数据流分成多个块文件，并将各块文件分别进行存储，并保存各块文件的存储位置，根据各块文件的存储位置，读取并执行相应的任务处理，然后，通过数据处理系统对获取到的数据进行数据分析，得到分析结果，最后通过业务处理系统将数据处理系统传输的分析结果进行存储，缓解了现有技术中在对数据进行分析时，成本较高且安全性较低的技术问题，保证了云端计算服务的稳定性。附图说明图1为本专利技术提出的一种云平台数据处理方法的流程示意图。图2为本专利技术提出的一种云平台数据处理方法的数据处理模块的流程示意图。图3为本专利技术提出的一种云平台数据处理方法的业务处理模块流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。参照图1-3，一种云平台数据处理方法，包括如下步骤：S1:将设置在云服务器上的数据采集模块和物联网平台进行通讯连接，并将设置在云服务器上的数据处理模块和物联网平台进行通讯连接，数据处理模块用于获取数据采集模块上采集到的数据并进行分析；S2:数据处理模块上连接有数据分流模块，可以将物联网平台中的数据流分成多个块文件，将云平台中的数据流分成多个等量的块文件，各块文件分别进行存储，设置的分类标记模块可将各块文件进行分类标记，并通过分别分流存储模块存储在本地磁盘上；S3:在保存各块文件的存储位置之后，还对各所述块文件进行预读取，预读取后的数据经过执行模块执行并通过处理模块进行处理；S4:业务处理模块分别与物联网平台和数据处理模块均进行通信连接，数据可通过业务处理模块进行传输，并且提供数据分析的结果，并为客户端提供相关业务服务。优选的，S1中物联网平台上连接有设备管理模块，设置的设备管理模块用于对所述数据采集设备中各个设备的运行状态进行管理，物联网平台上的数据处理模块用于对从所述数据采集设备采集到的数据进行初步处理，并将初步处理之后的数据发送至所述数据处理系统进行分析。S1中物联网平台上连接有软件管理模块，软件管理模块用于对数据采集设备中各个设备的系统软件进行管理，并通过数据收集模块对数据采集模块进行数据采集的操作进行管理，以及通过设备认证与授权模块对数据采集模块的认证和授权进行管理。S1中的云服务器上设置有后台服务模块，且后台服务模块中部署不同的基于SDN的服务器软件，同时云服务器上设置有元数据处理模块、数据持久化模块，并在元数据处理模块中部署不同的元数据服务器软件，在数据持久化组件中设置数据库服务和文件服务。S2中设置有数据清洗模块，对从物联网平台获取到的数据进行清洗操作，并对清洗之后的数据进行分析，得到分析结果，且数据分流模块包括计算单元，用于统计所述数据流的大小，并计算平均分配给各所述块文件中的数据量，数据分流模块还包括分块单元，用于根据所述计算单元的计算结果，将云平台中的数据流分成多个等量的块文件。S4中业务处理模块包括接入管理模块，接入管理模块用于为客户端提供数据连接接口，还用于在客户端接入数据处理系统时本文档来自技高网...

【技术保护点】
1.一种云平台数据处理方法，其特征在于，包括如下步骤：S1:将设置在云服务器上的数据采集模块和物联网平台进行通讯连接，并将设置在云服务器上的数据处理模块和物联网平台进行通讯连接，数据处理模块用于获取数据采集模块上采集到的数据并进行分析；S2:数据处理模块上连接有数据分流模块，可以将物联网平台中的数据流分成多个块文件，将云平台中的数据流分成多个等量的块文件，各块文件分别进行存储，设置的分类标记模块可将各块文件进行分类标记，并通过分别分流存储模块存储在本地磁盘上；S3:在保存各块文件的存储位置之后，还对各所述块文件进行预读取，预读取后的数据经过执行模块执行并通过处理模块进行处理；S4:业务处理模块分别与物联网平台和数据处理模块均进行通信连接，数据可通过业务处理模块进行传输，并且提供数据分析的结果，并为客户端提供相关业务服务。

【技术特征摘要】
1.一种云平台数据处理方法，其特征在于，包括如下步骤：S1:将设置在云服务器上的数据采集模块和物联网平台进行通讯连接，并将设置在云服务器上的数据处理模块和物联网平台进行通讯连接，数据处理模块用于获取数据采集模块上采集到的数据并进行分析；S2:数据处理模块上连接有数据分流模块，可以将物联网平台中的数据流分成多个块文件，将云平台中的数据流分成多个等量的块文件，各块文件分别进行存储，设置的分类标记模块可将各块文件进行分类标记，并通过分别分流存储模块存储在本地磁盘上；S3:在保存各块文件的存储位置之后，还对各所述块文件进行预读取，预读取后的数据经过执行模块执行并通过处理模块进行处理；S4:业务处理模块分别与物联网平台和数据处理模块均进行通信连接，数据可通过业务处理模块进行传输，并且提供数据分析的结果，并为客户端提供相关业务服务。2.根据权利要求1所述的一种信息精准投放的方法，其特征在于，S1中物联网平台上连接有设备管理模块，设置的设备管理模块用于对所述数据采集设备中各个设备的运行状态进行管理，物联网平台上的数据处理模块用于对从所述数据采集设备采集到的数据进行初步处理，并将初步处理之后的数据发送至所述数据处理系统进行分析。3.根据权利要求1所述的一种信息精准投放的方法，其特征在于，S1中物联网平台上连接有软件管理模块，软件管理模块用于对数据采集设备中各个设备的系统软件进行管理，并通过数据收集模块对数据采集模块进行数据采集的操作进行管理，以及通过设备认证与授权模块对数据采集模块的认证和授...

【专利技术属性】
技术研发人员：徐显暑，郑玉洁，林成瑶，李上奏，
申请(专利权)人：浙江中普科技咨询有限公司，
类型：发明
国别省市：浙江,33