一种基于网络云的大数据分析系统及方法技术方案

本发明专利技术实施例提出一种基于网络云的大数据分析系统及方法，涉及计算机技术领域。其特征在于，所述云端包括：云端数据存储单元，用于存储云端的数据信息；云端数据传输单元，用于连接本地端和云端的数据传输；云端数据分析单元，用于对云端存储的数据信息进行大数据分析；所述本低端均包括：本低端数据传输单元，用于存储本地端的数据信息；本低端数据传输单元，用于连接本地端和云端的数据传输；本低端数据分析单元，用于对本地端存储的数据信息进行大数据分析。提升了数据分析的速度和数据采集的精度，提升了数据提取的实时性和降低了系统的复杂度。

【技术实现步骤摘要】
一种基于网络云的大数据分析系统及方法
本专利技术涉及计算机
，具体而言，涉及一种基于网络云的大数据分析系统及方法。
技术介绍
在网络数据规模不断加大的今天，数据的处理分析与提取是决定数据应用的最主要因素之一，在现代信息处理中，经常会在同一个区域部署同构冗余节点，由于实时采集数据的不均一和不均匀性，这种冗余节点是为了弥补实际采集过程中的不均一和不均匀性，因此是有必要存在的。但是又由于这种冗余节点的存在，在实际的数据计算和分析的过程中，CPU的计算量往往会随着冗余节点的增加而成指数增加，严重阻碍了数据采集的精度以及数据分析的速度，对数据的提取存在着滞后效应，这在实际应用中是影响数据分析处理的主要缺陷之一。人们为了保持数据采集的完整性，对于冗余节点的处理来说是不能直接砍掉的，因此为了进一步提高计算处理分析的速度，开发使用了系统级芯片，即SoC来提高计算分析的速度，SoC系统由于系统运行功率低，运算速度快，系统的集成度很高，但是目前的SoC系统采用同构运算结构，导致SoC系统在使用和开发上存在着使用瓶颈，具体包括，设计复杂度增加、Time-to-Market因素和开发成本。
技术实现思路
本专利技术的目的在于提供一种基于网络云的大数据分析系统，提升了数据分析的速度和数据采集的精度，提升了数据提取的实时性和降低了系统的复杂度。本专利技术的另一目的在于提供一种基于网络云的大数据分析方法，具有相应效果。为了实现上述目的，本专利技术实施例采用的技术方案如下：一种基于网络云的大数据分析系统，其特征在于，所述系统包括：云端和若干个本地端；所述云端包括：云端数据存储单元，用于存储云端的数据信息；云端数据传输单元，用于连接本地端和云端的数据传输；云端数据分析单元，用于对云端存储的数据信息进行大数据分析；所述本低端均包括：本低端数据传输单元，用于存储本地端的数据信息；本低端数据传输单元，用于连接本地端和云端的数据传输；本低端数据分析单元，用于对本地端存储的数据信息进行大数据分析；进一步的，所述云端数据分析单元包括：WSN系统、网关、SOC异构系统、ARM系统和结果提取系统；所述WSN系统信号连接于网关；所述网关信号连接于SOC异构系统；所述SOC异构系统分别信号连接于ARM系统和结果提取系统。进一步的，所述WSN系统包括：传感器节点、路由器、数据平滑传感器节点、和父节点；所述传感器节点信号连接于路由器；所述路由器信号连接于数据平滑传感器节点；所述数据平滑传感器节点信号连接于父节点；所述父节点信号连接于所述网关。进一步的，所述SOC异构系统采用虚拟化控制流和细化数据流的方法，以中断控制和片间消息同步等嵌入式的控制流来实现同构数据的异构化处理；所述ARM系统对SOC异构系统中数据流语句的执行顺序进行控制。一种基于网络云的大数据分析方法，其特征在于，所述方法包括：步骤1：传感器节点进行实时数据采集，经路由器将采集到的数据信息发送给数据平滑传感器节点；步骤2：数据平滑传感器节点对接收到的数据信息进行一致性检测和三次指数平滑；获得传感器节点的最优权重i在t时刻的最优估计值Xi(t)，然后把平滑后的数据发送到父节点，采用幂均方算子完成最终的数据融合，将融合后的数据经网关发送给SOC异构系统；各传感器的最优权重i根据传感器节点数据之间的支持程度由支持度函数给出；步骤3：所述ARM系统对该模型的四个芯片,ChipO、Chip1、Chip2和Chip3进行初始化；步骤4：所述SOC异构系统对接收到的数据信息通过分层调用硬件类的成员函数,完成对原NCS算法面向对象的功能分解和逐层求精。进一步的，所述ARM系统对模型的四个芯片进行初始化的方法为：计算NCS算法中的初始化参数，为程序后面的相位计算做准备；运算任务由各芯片计算集群中的协处理器来承担，通过自顶向下逐层调用的方法,实现对系统软件初始化部分的模拟和执行顺序控制。进一步的，所述父节点在进行数据融合时，同时加入补偿因子减少数据叠加和缺失而产生的非正常因素影响，在数据串通时间片与数据融合时间片之间独立设置发送确认时间片，而不选择在数据串通时间片内收到分片包后立即发送确认时间片。采用上述技术方法，本专利技术实现的有益效果是：1、提升了数据分析的速度：本专利技术数据分析加速系统中，采用异构SoC系统的多层调用来实现对融合数据的定量判别和提取处理，以完成对原NCS算法面向对象的功能分解和组成求精，实现数据采集融合和快速分析。能够有效降低数据处理的滞后性和成本，具有很强的实用价值。2、提升了数据分析的精度：本专利技术的数据分析加速系统中，在数据融合过程中，加入补偿因子减少数据叠加和缺失而产生的非正常因素影响，在数据串通时间片与数据融合时间片之间独立设置发送ACK时间片，而不选择在数据串通时间片内收到分片包后立即回发ACK。提升了最终结果的准确性。3、降低了系统的复杂度：利用ARM系统对数据流语句的执行顺序进行控制，降低了SOC系统的复杂度，进一步的降低了系统的成本。。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本专利技术实施例提供的一种基于网络云的大数据分析系统及方法的系统结构示意图。图2示出了本专利技术实施例提供的一种基于网络云的大数据分析系统及方法的WSN系统结构示意图。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。一种基于网络云的大数据分析系统，其特征在于，所述系统包括：云端和若干个本地端；所述云端包括：云端数据存储单元，用于存储云端的数据信息；云端数据传输单元，用于连接本地端和云端的数据传输；云端数据分析单元，用于对云端存储的数据信息进行大数据分析；所述本低端均包括：本低端数据传输单元，用于存储本地端的数据信息；本低端数据传输单元，用于连接本地端和云端的数据传输；本低端数据分析单元，用于对本地端存储的数据信息进行大数据分析；进一步的，所述云端数据分析单元包括：WSN系统、网关、SOC异构系统、ARM系统和结果提取系统；所述WSN系统信号连接于网关；所述网关信号连接于SOC异构系统；所述SOC异构系统分别信号连接于ARM系统和结果提取系统。进一步的，所述WS本文档来自技高网...

【技术保护点】
一种基于网络云的大数据分析系统，其特征在于，所述系统包括：云端和若干个本地端；所述云端包括：云端数据存储单元，用于存储云端的数据信息；云端数据传输单元，用于连接本地端和云端的数据传输；云端数据分析单元，用于对云端存储的数据信息进行大数据分析；所述本低端均包括：本低端数据传输单元，用于存储本地端的数据信息；本低端数据传输单元，用于连接本地端和云端的数据传输；本低端数据分析单元，用于对本地端存储的数据信息进行大数据分析。

【技术特征摘要】
1.一种基于网络云的大数据分析系统，其特征在于，所述系统包括：云端和若干个本地端；所述云端包括：云端数据存储单元，用于存储云端的数据信息；云端数据传输单元，用于连接本地端和云端的数据传输；云端数据分析单元，用于对云端存储的数据信息进行大数据分析；所述本低端均包括：本低端数据传输单元，用于存储本地端的数据信息；本低端数据传输单元，用于连接本地端和云端的数据传输；本低端数据分析单元，用于对本地端存储的数据信息进行大数据分析。2.如权利要求1所述的网络云的大数据分析系统，其特征在于，所述云端数据分析单元包括：WSN系统、网关、SOC异构系统、ARM系统和结果提取系统；所述WSN系统信号连接于网关；所述网关信号连接于SOC异构系统；所述SOC异构系统分别信号连接于ARM系统和结果提取系统。3.如权利要求2所述的网络云的大数据分析系统，其特征在于，所述WSN系统包括：传感器节点、路由器、数据平滑传感器节点、和父节点；所述传感器节点信号连接于路由器；所述路由器信号连接于数据平滑传感器节点；所述数据平滑传感器节点信号连接于父节点；所述父节点信号连接于所述网关。4.如权利要求3所述的网络云的大数据分析系统，其特征在于，所述SOC异构系统采用虚拟化控制流和细化数据流的方法，以中断控制和片间消息同步等嵌入式的控制流来实现同构数据的异构化处理；所述ARM系统对SOC异构系统中数据流语句的执行顺序进行控制。5.一种基于权利要求1至4之一所述的基...

【专利技术属性】
技术研发人员：李南江，
申请(专利权)人：成都网烁信息科技有限公司，
类型：发明
国别省市：四川,51