一种基于大数据的网络实现方法技术

本发明专利技术公开了一种基于大数据的网络实现方法。首先，将分布式网络分割为若干个子网，其中每个子网具有一个或多个分布式数据中心、以及一个云计算管理平台；其次，实现每个子网的网络设置、安全性评估和数据容灾。本发明专利技术的方法结合云计算技术，提高了分布式网络中大数据资源的分析管理和计算效率；同时，更加安全高效地实现了大数据资源的容灾备份，提高了大数据资源的安全性。

【技术实现步骤摘要】
一种基于大数据的网络实现方法
本专利技术涉及大数据和云计算等
，尤其涉及一种大数据的网络实现方法。
技术介绍
大数据、云计算、分布式网络等概念代表了当今互联网信息技术革命的最新热点和发展方向。大数据是继云计算、物联网之后IT行业又一大颠覆性的技术革命。如今我国大数据产业已经具备了良好的发展基础，面临着难得的发展机遇。如今，随着大数据的迅猛发展，大数据网络的规模已经远远超越了现有网络架构和基础设施的承载能力，网络实时性要求也大大超越了现有的计算能力；且大数据网络中存储的数据往往都是PB级别的，对于这种海量数据的运行安全评估和数据容灾也是大数据领域值得关注的重点议题。如何提高大数据并发处理的效率和稳定性；解决网络中大数据海量存储、安全处理，以及数据备份容灾等，都是大数据网络实现所面临的重要内容。随着云计算技术的飞速发展，如何结合通过云计算管理平台实现大数据分析管理，也体现了云计算技术的发展方向。现有技术在网络大数据、云计算和分布式网络在运行效率和数据安全稳定性等多个方面仍有很多值得改进之处。例如，如何利用云计算技术提高网络大数据的分析管理和计算效率，以及如何更安全高效地实现数据容灾都是亟待解决的问题。
技术实现思路
为了解决现有技术中存在的问题，本专利技术的目的在于克服已有技术存在的不足，提出了一种基于大数据的网络实现方法，该方法包括以下步骤：步骤一：将分布式网络分割为若干个子网，其中每个子网具有一个或多个分布式数据中心、以及一个云计算管理平台；步骤二：实现每个子网的网络设置、安全性评估和数据容灾。可选地，所述分布式数据中心基于HDFS实现分布式统一数据存储，支持MongoDB分布式数据库；采用Vert.x全异步服务器架构处理高并发I/O请求，并使用Kafka消息中间件处理大数据。可选地，所述云计算管理平台为支持私有云和公有云的混合云计算管理平台，该平台采用SaaS服务模式，并提供分布式接口服务；所述云计算管理平台使用加密方法通过安全的通讯信道连接当前子网中的分布式数据中心；所述云计算管理平台包括支持OPC或者OPC-UA的通讯协议转换模块，用于对当前子网中的分布式数据中心进行远程控制；所述云计算管理平台通过push或pullandpooling的采集方法收集当前子网中的分布式数据中心的各类数据，用于对当前子网中的分布式数据中心进行远程监测；所述云计算管理平台支持Spark大数据引擎，使用该引擎中的SparkStreaming模型执行大数据实时处理分析；其中，所述大数据实时处理分析包括：聚类分析、预测性分析、数据挖掘、以及可视化分析；所述可视化分析包括：使用基于MVVM的vue.js联合框架，利用webpack工具进行打包，实时显示数据分析结果。可选地，所述步骤二中,实现每个子网的网络设置，包括将每个子网配置为：该子网具有以云存储方式实现的数据容灾备份中心，并且若该子网具有多个分布式数据中心，则以大二层连接方式将该子网中的每个分布式数据中心的经虚拟化的核心交换机互连。可选地，所述步骤二中,实现每个子网的安全性评估包括：所述每个子网的云计算管理平台对该子网中的每个分布式数据中心执行以下步骤：步骤1：分析计算当前分布式数据中心内部各个服务器的故障率指标，进行统计处理；步骤2：计算当前分布式数据中心的故障评估值；步骤3：根据所述故障评估值确定当前分布式数据中心的安全级别。可选地，所述步骤二中,实现每个子网的数据容灾包括：所述每个子网的云计算管理平台对该子网中的每个分布式数据中心执行以下步骤：根据当前分布式数据中心的安全级别，按照对应的数据容灾备份周期，将当前分布式数据中心的数据镜像备份至该子网中的数据容灾备份中心。可选地，所述步骤1包括以下步骤：步骤1.1：所述分析计算当前分布式数据中心内部各个服务器的故障率指标包括：设当前分布式数据中心内部的服务器数量为m，统计时间段的长度为T，第i台服务器的平均故障间隔时间为Δti，则第i台服务器的故障率指标μi为：μi＝1/ln(1+Δti/T)公式(1)其中，i＝1,2…,m；m为自然数；T为预设的固定值；0<Δti<T；步骤1.2：所述进行统计处理包括：统计当前分布式数据中心内部所有服务器的故障率指标中的最小值μmin和最大值μmax。可选地，所述步骤2包括以下步骤：步骤2.1：通过以下公式计算当前分布式数据中心的故障初评值σ：σ＝((μmin+μ1+μ2+…+μm+μmax)/(m+2))1/3公式(2)步骤2.2：设当前子网中所有分布式数据中心的故障初评值σ中的最小值为σmin，最大值为σmax；则当前分布式数据中心的故障评估值ψ计算如下：若σmin≠σmax，则：ψ＝σmin+(σ2-σmin2)1/2/(σmax2–σmin2)1/2公式(3.1)若σmin＝σmax，则：ψ＝σmin公式(3.2)。可选地，在所述步骤3之前，计算得到当前子网中所有分布式数据中心的故障评估值的最小值ψmin，最大值ψmax，以及当前子网中所有分布式数据中心的算数平均值ψavg；令ψ1＝ψmin+(ψavg-ψmin)*1/2；ψ2＝ψavg+(ψmax-ψavg)*2/3；若ψmin＝ψmax，或ψmin＝ψavg，或ψavg＝ψmax，则将当前子网中所有分布式数据中心的安全级别都设置为0级；并且将当前子网中所有分布式数据中心的数据容灾备份周期都设置为T0。可选地，所述步骤3包括：结合当前分布式数据中心的故障评估值ψ的判断，执行以下步骤：若ψmin≤ψ<ψ1，则设置当前分布式数据中心的安全级别为1级、数据容灾备份周期为T1；若ψ1≤ψ<ψavg，则设置当前分布式数据中心的安全级别为2级、数据容灾备份周期为T2；若ψavg≤ψ<ψ2，则设置当前分布式数据中心的安全级别为3级、数据容灾备份周期为T3；若ψ2≤ψ<ψmax，则设置当前分布式数据中心的安全级别为4级、数据容灾备份周期为T4；若ψ＝ψmax，则设置当前分布式数据中心的安全级别为5级、数据容灾备份周期为T5；其中，T0>T1>T2>T3>T4>T5。本专利技术与现有技术相比较，具有显而易见的突出实质性特点和显著优点，具体地：本专利技术结合云计算技术，提高了分布式网络中大数据资源的分析管理和计算效率；同时，更加安全高效地实现了大数据资源的容灾备份，提高了大数据资源的安全性。附图说明图1是根据本专利技术实施例的基于大数据的网络实现方法的流程图。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术的优选实施例详述如下：实施例一：在本实施例中，参见图1，提供一种基于大数据的网络实现方法，该方法包括以下步骤：步骤一：将分布式网络分割为若干个子网，其中每个子网具有一个或多个分布式数据中心、以及一个云计算管理平台；步骤二：实现每个子网的网络设置、安全性评估和数据容灾。一、分布式数据中心的设置具体如下：·分布式数据中心基于HDFS实现分布式统一数据存储，并支持MongoDB分布式数据库。具体地：MongoDB是一个基于分布式文件存储的数据库，可为WEB应本文档来自技高网...

【技术保护点】
1.一种基于大数据的网络实现方法，其特征在于，步骤一：将分布式网络分割为若干个子网，其中每个子网具有一个或多个分布式数据中心、以及一个云计算管理平台；步骤二：实现每个子网的网络设置、安全性评估和数据容灾。

【技术特征摘要】
1.一种基于大数据的网络实现方法，其特征在于，步骤一：将分布式网络分割为若干个子网，其中每个子网具有一个或多个分布式数据中心、以及一个云计算管理平台；步骤二：实现每个子网的网络设置、安全性评估和数据容灾。2.根据权利要求1所述的基于大数据的网络实现方法，其特征在于，所述分布式数据中心基于HDFS实现分布式统一数据存储，支持MongoDB分布式数据库；采用Vert.x全异步服务器架构处理高并发I/O请求，并使用Kafka消息中间件处理大数据。3.根据权利要求2所述的基于大数据的网络实现方法，其特征在于，所述云计算管理平台支持Spark大数据引擎，使用该引擎中的SparkStreaming模型执行大数据实时处理分析；其中，所述大数据实时处理分析包括：聚类分析、预测性分析、数据挖掘、以及可视化分析；所述可视化分析包括：使用基于MVVM的vue.js联合框架，利用webpack工具进行打包，实时显示数据分析结果。4.根据权利要求3所述的基于大数据的网络实现方法，其特征在于，所述步骤二中,实现每个子网的网络设置，包括将每个子网配置为：该子网具有以云存储方式实现的数据容灾备份中心，并且若该子网具有多个分布式数据中心，则以大二层连接方式将该子网中的每个分布式数据中心的经虚拟化的核心交换机互连。5.根据权利要求4所述的基于大数据的网络实现方法，其特征在于，所述步骤二中,实现每个子网的安全性评估包括：所述每个子网的云计算管理平台对该子网中的每个分布式数据中心执行以下步骤：步骤1：分析计算当前分布式数据中心内部各个服务器的故障率指标，进行统计处理；步骤2：计算当前分布式数据中心的故障评估值；步骤3：根据所述故障评估值确定当前分布式数据中心的安全级别。6.根据权利要求5所述的基于大数据的网络实现方法，其特征在于，所述步骤二中,实现每个子网的数据容灾包括：所述每个子网的云计算管理平台对该子网中的每个分布式数据中心执行以下步骤：根据当前分布式数据中心的安全级别，按照对应的数据容灾备份周期，将当前分布式数据中心的数据镜像备份至该子网中的数据容灾备份中心。7.根据权利要求6所述的基于大数据的网络实现方法，其特征在于，所述步骤1包括以下步骤：步骤1.1：所述分析计算当前分布式数据中心内部各个服务器的故障率指标包括：设当前分布式数据中心内部的服务器数量为m，统计时间段的长度为T，第i台服务器的平均故障间隔时间为Δti，则第i台服务器的故障率指...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：广州知弘科技有限公司，
类型：发明
国别省市：广东,44