一种海量视频副本存放方法技术

本发明专利技术提供一种海量视频副本存放方法，在本地机架中存放备份数据时，根据剩余空间占磁盘总容量的比例进行选择，来减少本地机架上的负载不均衡；在跨机架选择数据节点时，不仅考虑剩余空间存储的因素，也考虑网络开销的影响。有效的解决了负载均衡问题，同时根据Hadoop分布式运算的特点，存放在高带宽、大内存、磁盘利用率高的机器的视频数据可以最大化进行智能视频分析处理。

A storage method of massive video copy

【技术实现步骤摘要】
一种海量视频副本存放方法
本专利技术涉及网络视频
，具体涉及一种网络环境下海量视频副本的存放方法。
技术介绍
HDFS分布式策略在选择存放副本的DataNode时，已经尽可能地选取合适的节点，但是并不是最合适，比如对存储空间的考虑，仅仅只是判断副本是否能够存放到剩余的空间，却忽略了选择剩余空间率最大的数据节点。随机选择数据节点的方式，有很大几率使副本存放在某些空间使用率高的数据节点上，与之相对应的是空间使用率比较低的数据节点上却只有很少的副本。特别是在一个较大的分布式集群已经运行了很久之后，每个数据节点都有比较重的存储负载，此时若有少量的新的空载节点加入，由于系统采用的随机算法，分布式系统有可能继续在有较重存储负担的节点上存储数据，对于新的轻载的数据节点没有有效利用，甚至可能出现重载节点因为耗尽空间而停止服务。经研究表明，在不停向HDFS集群上传数据，当空间使用率超过50％时，负载不均衡现象便会出现。虽然HDFS提供了动态调整集群负载的工具Balancer，然而在利用此工具时，数据迁移占用的网络带宽较大，效率低下，最重要的是需要管理员手动本文档来自技高网...

【技术保护点】
1.一种海量视频副本存放方法，其特征在于：/n(1)在本地机架中存放备份数据时，根据剩余空间占磁盘总容量的比例进行选择，来减少本地机架上的负载不均衡；/n(2)在跨机架选择数据节点时，不仅考虑剩余空间存储的因素，也考虑网络开销的影响，根据以下等式选择节点：/nS(数据节点)＝f(网络开销，剩余存储容量)，/n其中f(网络开销，剩余存储容量)同时考虑了网络开销与剩余存储容量这两个因素。S(数据节点)是f函数开销最小的数据节点；/n同时引入变量ɑ，根据以下公式来衡量网络开销以及剩余存储空间所占的比例：/nS(数据节点)＝ɑN+(1-ɑ)C(0<＝ɑ<＝1)/n其中N表示当前数据节点网络...

【技术特征摘要】
1.一种海量视频副本存放方法，其特征在于：
(1)在本地机架中存放备份数据时，根据剩余空间占磁盘总容量的比例进行选择，来减少本地机架上的负载不均衡；
(2)在跨机架选择数据节点时，不仅考虑剩余空间存储的因素，也考虑网络开销的影响，根据以下等式选择节点：
S(数据节点)＝f(网络开销，剩余存储容量)，
其中f(网络开销，剩余存储容量)同时考虑了网络开销与剩余存储容量这两个因素...

【专利技术属性】
技术研发人员：张超，赵凯，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：北京;11