一种大数据分析的性能评估系统及方法技术方案

本发明专利技术公开了一种大数据分析的性能评估系统及方法，该系统包括数据性能评估模块、传输信道估计模块、数据监测终端、大数据中心和数据转化模块；其中，数据监测终端、传输信道估计模块、数据性能评估模块和数据转化模块依次通过内网连接，大数据中心分别与数据监测终端和数据性能评估模块通过内网连接；利用数据监测模块感知数据源，确定需要采集的数据，利用大数据中心将接收到数据监测终端监测的数据与标准数据存储模块内部存储的数据监测的标准数据进行对比得到远程比对结果，利用传输信道估计模块对传输信道内部的数据进行估算，利用数据性能评估模块将传输信道估计模块传输的数据与数据库内部与预先建立的数据进行关联分析。

【技术实现步骤摘要】
一种大数据分析的性能评估系统及方法
本专利技术涉及大数据领域，具体是一种大数据分析的性能评估系统及方法。
技术介绍
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。对于“大数据”研究机构给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。产品性能是指产品在一定条件下，实现预定目的或者规定用途的能力。任何产品都具有其特定的使用目的或者用途。产品性能包括性质和功能。不同的产品性能所包含的内容是不同的，性能评估是对一个系统进行各项检测。本申请通过在传输数据时通过大数据的分析，对传输数据的性能进行估算，从而能够对数据的传输性能进行估算。
技术实现思路
本专利技术的目的在于提供一种大数据分析的性能评估系统及方法，以解决现有技术中的问题。为实现上述目的，本专利技术提供如下技术方案：一种大数据分析的性能评估系统，该系统包括数据性能评估模块、传输信道估计模块、数据监测终端、大数据中心和数据转化模块；其中，数据监测终端、传输信道估计模块、数据性能评估模块和数据转化模块依次通过内网连接，大数据中心分别与数据监测终端和数据性能评估模块通过内网连接。根据采用上述技术方案：所述数据监测终端用于感知数据源，确定需要采集的数据，数据监测终端包括服务数据监测子模块和应用数据监测子模块，服务数据监测子模块用于采集数据中的服务数据，监测服务数据中数据的安全率和信噪比，应用数据监测子模块用于监测采集数据中的应用数据，监测应用数据中数据的安全率和信噪比，将数据发送给传输信道估计模块和大数据中心。根据采用上述技术方案：所述传输信道估计模块包括吞吐量估算子模块和传输时间估算子模块。吞吐量估算子模块用于对传输信道内部的吞吐量进行估算，传输时间估算子模块用于对传输信道内部的传输时间进行估算，将估算数据发送给数据性能评估模块。根据采用上述技术方案：所述数据性能评估模块包括数据库，数据性能评估模块用于将传输信道估计模块传输的数据与数据库内部与预先建立的数据进行关联分析，对数据进行性能分析，数据库用于存储规范化的传输信道数据信息。根据采用上述技术方案：所述大数据中心用于将接收到数据监测终端监测的数据与标准数据进行对比得到远程比对结果，再将该远程比对结果发送至数据性能评估模块，大数据中心包括标准数据存储模块和人工修改更新通道，标准数据存储模块用于对数据监测的标准数据进行存储，人工修改更新通道用于人工对标准数据存储模块存储的数据参数进行实时修改。根据采用上述技术方案：所述数据转化模块用于读取数据性能评估模块评估的数据并转化为便于显示的格式发送到数据呈现页面。一种大数据分析的性能评估方法，S1：利用数据监测模块感知数据源，确定需要采集的数据，利用服务数据监测子模块采集数据中的服务数据，监测服务数据中数据的安全率和信噪比，应用数据监测子模块监测采集数据中的应用数据，监测应用数据中数据的安全率和信噪比，将数据发送给传输信道估计模块和大数据中心；S2：利用大数据中心将接收到数据监测终端监测的数据与标准数据存储模块内部存储的数据监测的标准数据进行对比得到远程比对结果，将比对结果发送数据性能评估模块；S3：利用传输信道估计模块对传输信道内部的数据进行估算，利用吞吐量估算子模块对传输信道内部的吞吐量进行估算，传输时间估算子模块对传输信道内部的传输时间进行估算，将估算数据发送给数据性能评估模块；S4：利用数据性能评估模块将传输信道估计模块传输的数据与数据库内部与预先建立的数据进行关联分析，对数据进行性能分析，将性能分析的数据发送给数据转化模块；S5：利用数据转化模块读取数据性能评估模块评估的数据并转化为便于显示的格式发送到数据呈现页面。根据采用上述技术方案：所述步骤S3，利用传输信道估计模块对传输信道内部的数据进行估算，利用吞吐量估算子模块对传输信道内部的吞吐量进行估算，传输时间估算子模块对传输信道内部的传输时间进行估算，将估算数据发送给数据性能评估模块：所述将传输信道内部传输的数据分为M个数据段，M个数据段的传输时间分别为T1、T2、T3、…、Tn-1、Tn，设定M个数据段的吞吐量为R总，设定每一段的吞吐量为Rm(1)、Rm(2)、Rm(3)、…、Rm(n-1)、Rm(n)，设定监测到每一段数据中的安全率监测分别为C1、C2、C3、…、Cn-1、Cn，设定监测到每一段数据中心的信噪比率分别为P1、P2、P3、…、Pn-1、Pn，根据公式：Rm(n)＝(1-Cn)*Tn*PnR总＝Rm(1)+Rm(2)+Rm(3)+…+Rm(n-1)+Rm(n)对传输信道内部的总吞吐量R总发送给数据性能评估模块，数据性能评估模块将估算的总吞吐量与标准吞吐量数据进行对比，数据性能评估模块进行性能评估，从而通过数据转化模块读取数据性能评估模块评估的数据并转化为便于显示的格式发送到数据呈现页面。与现有技术相比，本专利技术的有益效果是：1.该装置能够通过数据性能评估模块、传输信道估计模块、数据监测终端、大数据中心和数据转化模块对数据传输的性能进行分析，从而能够估算数据传输信道内部的数据传输的性能，能够更加直观的反馈给用户。2.利用数据监测模块感知数据源，确定需要采集的数据，利用服务数据监测子模块采集数据中的服务数据，监测服务数据中数据的安全率和信噪比，应用数据监测子模块监测采集数据中的应用数据，监测应用数据中数据的安全率和信噪比，将数据发送给传输信道估计模块和大数据中心；3.利用大数据中心将接收到数据监测终端监测的数据与标准数据存储模块内部存储的数据监测的标准数据进行对比得到远程比对结果，将比对结果发送数据性能评估模块；4.利用传输信道估计模块对传输信道内部的数据进行估算，利用吞吐量估算子模块对传输信道内部的吞吐量进行估算，传输时间估算子模块对传输信道内部的传输时间进行估算，将估算数据发送给本文档来自技高网...

【技术保护点】
1.一种大数据分析的性能评估系统，其特征在于：所述该系统包括数据性能评估模块、传输信道估计模块、数据监测终端、大数据中心和数据转化模块；其中，数据监测终端、传输信道估计模块、数据性能评估模块和数据转化模块依次通过内网连接，大数据中心分别与数据监测终端和数据性能评估模块通过内网连接。/n

【技术特征摘要】
1.一种大数据分析的性能评估系统，其特征在于：所述该系统包括数据性能评估模块、传输信道估计模块、数据监测终端、大数据中心和数据转化模块；其中，数据监测终端、传输信道估计模块、数据性能评估模块和数据转化模块依次通过内网连接，大数据中心分别与数据监测终端和数据性能评估模块通过内网连接。


2.根据权利要求1所述的一种大数据分析的性能评估系统，其特征在于：所述数据监测终端用于感知数据源，确定需要采集的数据，数据监测终端包括服务数据监测子模块和应用数据监测子模块，服务数据监测子模块用于采集数据中的服务数据，监测服务数据中数据的安全率和信噪比，应用数据监测子模块用于监测采集数据中的应用数据，监测应用数据中数据的安全率和信噪比，将数据发送给传输信道估计模块和大数据中心。


3.根据权利要求1所述的一种大数据分析的性能评估系统，其特征在于，所述传输信道估计模块包括吞吐量估算子模块和传输时间估算子模块。吞吐量估算子模块用于对传输信道内部的吞吐量进行估算，传输时间估算子模块用于对传输信道内部的传输时间进行估算，将估算数据发送给数据性能评估模块。


4.根据权利要求1所述的一种大数据分析的性能评估系统，其特征在于，所述数据性能评估模块包括数据库，数据性能评估模块用于将传输信道估计模块传输的数据与数据库内部与预先建立的数据进行关联分析，对数据进行性能分析，数据库用于存储规范化的传输信道数据信息。


5.根据权利要求1所述的一种大数据分析的性能评估系统，其特征在于：所述大数据中心用于将接收到数据监测终端监测的数据与标准数据进行对比得到远程比对结果，再将该远程比对结果发送至数据性能评估模块，大数据中心包括标准数据存储模块和人工修改更新通道，标准数据存储模块用于对数据监测的标准数据进行存储，人工修改更新通道用于人工对标准数据存储模块存储的数据参数进行实时修改。


6.根据权利要求1所述的一种大数据分析的性能评估系统，其特征在于：所述数据转化模块用于读取数据性能评估模块评估的数据并转化为便于显示的格式发送到数据呈现页面。


7.一种大数据分析的性能评估方法，其特征在于：
S1：利用数据监...

【专利技术属性】
技术研发人员：李雨轩，
申请(专利权)人：南京悠淼科技有限公司，
类型：发明
国别省市：江苏;32