System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于云计算的大数据云平台管理系统及方法技术方案_技高网

一种基于云计算的大数据云平台管理系统及方法技术方案

技术编号:41008275 阅读:2 留言:0更新日期:2024-04-18 21:43
本发明专利技术涉及数据安全管理技术领域,具体为一种基于云计算的大数据云平台管理系统及方法,包括基于信息特征和存储服务器中的空闲存储空间,对存储服务器进行筛选,对空闲存储空间符合空闲存储条件的存储服务器进行保留;基于标准信道利用率,得出数据信息的发送时段信道对应的预测信道利用率;计算出存储服务器对应的传输第一优先值;计算出存储服务器对应的传输安全值;基于传输安全值和传输第一优先值,计算存储服务器对应的传输优先值;选取传输优先值最高的存储服务器作为作为目标存储服务器,云计算服务器在预先设定好的发送时段内发送数据信息至目标存储服务器,由目标存储服务器对数据信息进行存储。

【技术实现步骤摘要】

本专利技术涉及数据安全管理,具体为一种基于云计算的大数据云平台管理系统及方法


技术介绍

1、云计算属于布式计算,是指通过网络将“云”将巨大的数据计算处理程序进行划分成无数个小程序,通过多种服务器组成的系统进行处理和分析这些小程序并将这些结果传输给用户,云计算在初期的时候只是简单的分布式计算,而如今随着科学技术的不断发展,云计算已经可以在很短的时间内处理数以万计的数据。

2、云平台是指基于硬件和软件资源的服务,可以提供计算、网络和存储能力,云计算平台中含有不同的服务器各个服务器之间负责的功能各不相同,不同服务器之间进行数据传输时,由于传输的服务器较多,数据量较大,容易在传输过程中出现传输效率降低的现象。


技术实现思路

1、本专利技术的目的在于提供一种基于云计算的大数据云平台管理系统及方法,以解决上述
技术介绍
中提出的问题。

2、为了解决上述技术问题,本专利技术提供如下技术方案:一种基于云计算的大数据云平台管理方法,方法包括:

3、步骤s100:对云计算服务器中待传输的数据信息进行获取,提取数据信息对应的信息特征;信息特征包括数据信息的发送时段、数据对应的数据量;获取云平台中各个存储服务器中的空闲存储空间;基于信息特征和存储服务器中的空闲存储空间,对存储服务器进行筛选,对空闲存储空间符合空闲存储条件的存储服务器进行保留;

4、步骤s200:获取云计算服务器与各个存储服务器进行网络传输的信道,提取信道对应的信道数据;信道数据包括信道的历史信道利用率、信道cqi值;对各个时段的历史信道利用率进行筛选,获得信道的标准信道利用率;基于标准信道利用率,得出数据信息的发送时段信道对应的预测信道利用率;基于预测信道利用率和cqi值,计算出存储服务器对应的传输第一优先值;

5、步骤s300:获取各个存储服务器的网络环境;从网络环境中提取各个存储服务器的历史网络带宽和防火墙的最大每秒新建连接数,基于历史网络带宽,计算出数据发送时段对应的预测网络带宽;获取云计算服务器与各个存储服务器之间的节点距离;基于预测网络带宽、最大每秒新建连接数和节点距离,计算出存储服务器对应的传输安全值;基于传输安全值和传输第一优先值,计算存储服务器对应的传输优先值;

6、步骤s400:基于传输安全值和传输第一优先值,计算存储服务器对应的传输优先值;选取传输优先值最高的存储服务器作为作为目标存储服务器,云计算服务器在预先设定好的发送时段内发送数据信息至目标存储服务器,由目标存储服务器对数据信息进行存储。

7、进一步的,步骤s100包括:

8、步骤s101:基于云计算服务器中待传输的数据信息和获取的云计算服务器中各个数据信息传输次序,设置云计算服务器将数据信息传输至存储服务器的传输时段;

9、步骤s102:获取中存储服务器中空闲存储空间大小m,当存储服务器的空闲存储空间符合空闲存储条件:m/(m-ma)≤a时;其中,ma为云计算服务器中待传输的数据信息的数据量;a为空闲存储条件阈值;对存储服务器进行保留,得到存储空间符合空闲存储条件的存储服务器,对空闲存储空间符合空闲存储条件的存储服务器进行保留。

10、进一步的,步骤s200包括:

11、步骤s201:获取存储服务器进行数据传输的传输信道,对传输信道进行数据提取,获得传输信道的历史数据;历史数据包括若干个传输周期内各个时段的信道利用率;获取当前传输周期内初始时段与数据信息的发送时段之间的时间间隔c;对传输周期内距初始时段时间间隔c对应历史发送时段的信道利用率进行记录汇集,得到信道利用率集合t={c1、c2、...、cn};其中,c1、c2、...、cn为第1、2、...、n个传输周期内历史发送时段对应的信道利用率;

12、步骤s202:将信道利用率集合t中与当前传输周期距离时间最近传输周期记为末尾传输周期;当末尾传输周期的历史发送时段对应的信道利用率ca大于集合t中相邻的信道利用率,并且同时集合t中连续存在信道利用率上升次数大于上升次数阈值时,将信道利用率变化趋势记为上升趋势;获取连续信道利用率中相邻两两信道利用率之间最大的上升比例计算当前传输周期内发送时段的预测信道利用率p:

13、

14、其中,ε为预测信道利用率的信道利用率影响因数;

15、步骤s203:当末尾传输周期的历史发送时段对应的信道利用率ca小于集合t相邻的信道利用率,并且同时集合t中连续存在信道利用率下降次数大于下降次数阈值时,将信道利用率变化趋势记为下降趋势;获取各个历史发送时段相邻信道利用率之间下降百分比,对各个下降百分比取平均值,获得下降百分比平均值计算当前传输周期内发送时段的预测信道利用率p:

16、

17、步骤s204:当信道利用率集合t中不存信道利用率存在上升趋势和下降趋势时,获取信道利用率集合t中数值最大的信道利用率co和和数值最小的信道利用率cv;算当前传输周期内发送时段的预测信道利用率p:

18、

19、其中,ci表示第i个传输周期内历史发送时段对应的信道利用率,j为利用率集合中信道利用率的总个数;

20、步骤s205:计算存储服务器对应的传输第一优先值v;

21、

22、其中,g为存储服务器对应的信道cqi值;θ存储服务器对应的传输第一优先值的影响因数;

23、上述步骤使用信道利用率之间的连续上升或者连续下降来作为预测信道利用率的依据是因为在信道利用率是与周围环境之间有关系,使用连续信道利用率中相邻两两信道利用率之间最大的上升比例,值计算预测信道利用率的影响参数是因为对于传输过程中,当这段时间内存在大量数据需要信道进行传输,那么会导致信道的利用率增加,导致信道传输数据出现拥堵的现象从而引发数据传输问题,使用信道cqi值和预测信道利用率倒数去计算传输优先值是因为在预测信道利用率越高那么就会表明在这段时间内数据传输会多,会出现数据层传输拥挤的概率就越大,而信道cqi值对于表示信道传输能力的一项主要指标。

24、进一步的,步骤s300包括:

25、步骤s301:将获取的存储服务器历史网络带宽进行记录汇集,得到历史网络带宽集合x={d1、d2、...、dr};其中,d1、d2、...、dr分别为第1、2、...、r个历史网络带宽值;计算预测网络带宽值de:其中,di表示第i个历史网络带宽值;j为历史网络带宽集合中的历史网络带宽总数;

26、步骤s302:计算出存储服务器对应的传输安全值f;

27、f=k×de×τ×m;

28、其中,k为存储服务器与云计算服务器之间的节点距离;τ为传输安全值的影响因数;m为存储服务器防火墙对应的最大每秒新建连接数。

29、进一步的,步骤s400包括:

30、步骤s401:基于存储服务器对应的传输安全值和传输第一优先值,计算存储服务器对应的传输优先值l;...

【技术保护点】

1.一种基于云计算的大数据云平台管理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于云计算的大数据云平台管理方法,其特征在于,所述步骤S100包括:

3.根据权利要求1所述的一种基于云计算的大数据云平台管理方法,其特征在于,所述步骤S200包括:

4.根据权利要求1所述的一种基于云计算的大数据云平台管理方法,其特征在于,所述步骤S300包括:

5.根据权利要求4所述的一种基于云计算的大数据云平台管理方法,其特征在于,所述步骤S400包括:

6.应用于权利要求1-5中任意一项所述的一种基于云计算的大数据云平台管理方法的大数据云平台管理系统,其特征在于,所述管理系统包括空闲存储模块、传输第一优先值模块、传输优先值模块、传输模块;

7.根据权利要求6所述的大数据云平台管理系统,其特征在于,所述空闲存储模块包括存储服务器获取单元;

8.根据权利要求6所述的大数据云平台管理系统,其特征在于,所述传输第一优先值模块包括预测信道利用率单元、传输第一优先值单元;

9.根据权利要求6所述的大数据云平台管理系统,其特征在于,所述传输优先值模块包括传输安全值单元、传输优先值单元;

10.根据权利要求6所述的大数据云平台管理系统,其特征在于,所述传输模块包括传输单元;

...

【技术特征摘要】

1.一种基于云计算的大数据云平台管理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于云计算的大数据云平台管理方法,其特征在于,所述步骤s100包括:

3.根据权利要求1所述的一种基于云计算的大数据云平台管理方法,其特征在于,所述步骤s200包括:

4.根据权利要求1所述的一种基于云计算的大数据云平台管理方法,其特征在于,所述步骤s300包括:

5.根据权利要求4所述的一种基于云计算的大数据云平台管理方法,其特征在于,所述步骤s400包括:

6.应用于权利要求1-5中任意一项所述的一种基于云计算的大数据云平台管理...

【专利技术属性】
技术研发人员:李智
申请(专利权)人:黑龙江幻峰科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1