一种CDN边缘节点文件的存储方法及装置制造方法及图纸

本发明专利技术例提供的CDN边缘节点文件的存储方法及装置，选用支持Nonraid模式的raid卡，得到每个所述硬盘的硬盘名；并通过所述硬盘组与边缘节点服务器相连；对所述硬盘组进行初始化；根据每个所述硬盘的硬盘名和每个所述待存储文件的文件名的哈希值以及预设规则，分别将每个所述待存储文件存储到相应的所述硬盘中。每块硬盘处于独立运行的状态，避免了现有技术中组建raid5需要一块硬盘做冗余盘，提高了边缘节点服务器的最大容量；即使出现两块及两块以上的故障盘，也不会导致整个服务器不可用，且更换故障盘时，只需重新同步该边缘节点服务器属于该故障盘的数据，大幅缩短了故障时间，提高了系统的稳定性。

A storage method and device for CDN edge node file

Storage method and device of the invention provides a CDN edge node file cases, using Nonraid model to support raid card, each of the hard disk drive; and the hard disk group is connected with the server through the edge node; initialization of the hard disk group; according to the hash of each of the hard disk and hard disk each the standby store file name value and default rules, respectively, each of the standby store file stored in the hard disk in the corresponding. Each disk in the independent operation of the state, to avoid the existing technology in the formation of RAID5 need a hard disk redundancy disk, improves the maximum capacity of the edge node server; even if there is two block and two block above the fault, it will not lead to the server is not available, and more for the fault sets, only needs to synchronize the the edge node server belongs to the fault disk data, greatly reduces the failure time, improve the stability of the system.

【技术实现步骤摘要】
一种CDN边缘节点文件的存储方法及装置
本专利技术涉及文件存储
，更具体的，涉及一种CDN边缘节点文件的存储方法及装置。
技术介绍
CDN的全称是ContentDeliveryNetwork，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器，构成在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。CDN由于其优越性被广泛应用于视频存储
，视频CDN主要由中心节点与边缘节点两部分构成。在视频CDN网络中，中心节点主要由全局负载均衡器构成，全局负载均衡器通过预先定义好的策略，将当前最接近用户的边缘节点地址提供给用户。同时，全局负载均衡器还与其他边缘节点保持通信，收集各节点信息，确保不会将用户调度到不可用或不健康的边缘节点。边缘节点是一种离用户最近的高速缓存服务器。通过全局负载均衡器控制，用户的请求被指向离他最近的节点，节点中的高速缓存服务器就像与用户处在同一局域网，能够更快的响应用户的请求。为了更快更全面的响应用户的请求，需要边缘节点服务器容量更大且稳定。目前边缘节点文件存储技术中，分别将所有sata数据盘和ssd数据盘组建一个raid5，数据全部存储在sata盘组建的raid5中；然后将所有ssd数据盘组建一个raid5，数据全部存储在ssd盘组建的raid5中。在以上方法中，存在技术缺陷：使用raid5后，当一块大容量硬盘发生故障，替换故障盘后，rebuild时间长达几天，rebuild期间如果继续发生硬盘故障，整个raid5数据都将丢失，造成故障恢复周期长的问题。
技术实现思路
有鉴于此，本专利技术提供了一种CDN边缘节点文件的存储方法及装置，文件分布式存储在边缘节点中的每个硬盘中，使边缘节点容量最大化，提高边缘节点服务器存在故障盘后的服务能力和故障恢复能力。具体技术方案如下：一种CDN边缘节点文件的存储方法，包括：获取支持Nonraid模式的raid卡，并通过所述raid卡使硬盘组与边缘节点服务器相连；对所述硬盘组进行初始化，得到所述硬盘组中每个硬盘的硬盘名；依据一致性哈希算法计算所述硬盘组中每个硬盘的硬盘名和每个待存储文件的文件名的哈希值，并根据每个所述硬盘的硬盘名和每个所述待存储文件的文件名的哈希值以及预设规则，分别将每个所述待存储文件存储到相应的所述硬盘中。优选的，所述对所述硬盘组进行初始化，得到所述硬盘组中每个硬盘的硬盘名，包括：对所述硬盘组中的各个硬盘进行识别，分别确定各个所述硬盘的设备符名称和类型，所述硬盘类型为sata硬盘或ssd硬盘；分别对各个所述硬盘进行格式化分区；根据所述硬盘组中硬盘的数量，建立硬盘序列；根据对各个所述硬盘的遍历顺序，分别将各个所述硬盘挂载到所述硬盘序列中，并分别将每个所述硬盘的序列值作为相应硬盘的硬盘名。优选的，所述依据一致性哈希算法计算所述硬盘组中每个硬盘的硬盘名和每个待存储文件的文件名的哈希值，并根据每个所述硬盘的硬盘名和每个所述待存储文件的文件名的哈希值以及预设规则，分别将每个所述待存储文件存储到相应的所述硬盘中，包括：依据一致性哈希算法，对各个存储空间未满的所述硬盘的硬盘名进行哈希，计算出每个存储空间未满的所述硬盘的硬盘名的哈希值，根据每个存储空间未满的所述硬盘的硬盘名的哈希值，各个存储空间未满的所述硬盘构成一个哈希环，得到每个存储空间未满的所述硬盘在所述哈希环上的位置；依据一致性哈希算法，对各个所述待存储文件的文件名进行哈希，计算出每个所述待存储文件的文件名的哈希值；根据每个所述待存储文件的文件名与每个所述硬盘的硬盘名的哈希值，将每个待存储文件存储到所述哈希环上的相应硬盘中，使每个所述待存储文件的文件名的哈希值与相应存储硬盘的硬盘名的哈希值的差值最小，且每个所述待存储文件的文件名的哈希值小于对应存储硬盘的硬盘名的哈希值。优选的，所述硬盘组为sata硬盘组，在所述分别将每个所述待存储文件存储到相应的所述硬盘中之后，所述方法还包括：在预设时间段内，确定在sata硬盘组中已存储的文件中的多个热点文件；依据一致性哈希算法计算每个所述热点文件的文件名的哈希值和ssd硬盘组中每个ssd硬盘的硬盘名的哈希值，并根据每个所述热点文件的文件名的哈希值和每个所述ssd硬盘的硬盘名的哈希值以及预设规则，分别将每个所述热点文件转存到相应的所述ssd硬盘中。优选的，所述在预设时间段内，确定在sata硬盘组中已存储的文件中的多个热点文件，包括：在预设时间段内，统计所述sata硬盘组中存储的每个文件的访问频次；按访问频次由高到低对所述sata硬盘组中存储的各个文件进行排序；将所述排序中预设比例的高访问频次的文件确定为热点文件。优选的，所述依据一致性哈希算法计算每个所述热点文件的文件名的哈希值和ssd硬盘组中每个ssd硬盘的硬盘名的哈希值，并根据每个所述热点文件的文件名的哈希值和每个所述ssd硬盘的硬盘名的哈希值以及预设规则，分别将每个所述热点文件转存到相应的所述ssd硬盘中，包括：依据一致性哈希算法，对各个存储空间未满的所述ssd硬盘的硬盘名进行哈希，计算出每个存储空间未满的所述ssd硬盘的硬盘名的哈希值，根据每个存储空间未满的所述ssd硬盘的硬盘名的哈希值，各个存储空间未满的所述ssd硬盘构成一个哈希环，得到每个存储空间未满的所述ssd硬盘在所述哈希环上的位置；依据一致性哈希算法，对各个所述热点文件的文件名进行哈希，计算出每个所述热点文件的文件名的哈希值；根据每个所述热点文件的文件名与每个ssd硬盘的硬盘名的哈希值，将每个所述热点文件转存到所述哈希环上的相应ssd硬盘中，使每个所述热点文件的文件名的哈希值与相应存储ssd硬盘的硬盘名的哈希值的差值最小，且每个所述热点文件的文件名的哈希值小于对应存储ssd硬盘的硬盘名的哈希值。优选的，所述方法还包括：当在相应的哈希环中不存在大于待存储文件的文件名的哈希值或热点文件的文件名的哈希值的硬盘时，将所述待存储文件或所述热点文件存储在相应哈希环中的起始硬盘上。一种CDN边缘节点文件的存储装置，包括：获取单元，用于获取支持Nonraid模式的raid卡，并通过所述raid卡使硬盘组与边缘节点服务器相连；初始化单元，用于对所述硬盘组进行初始化，得到所述硬盘组中每个硬盘的硬盘名；第一存储单元，用于依据一致性哈希算法计算所述硬盘组中每个硬盘的硬盘名和每个待存储文件的文件名的哈希值，并根据每个所述硬盘的硬盘名和每个所述待存储文件的文件名的哈希值以及预设规则，分别将每个所述待存储文件存储到相应的所述硬盘中。优选的，所述初始化单元包括：识别子单元，用于对所述硬盘组中的各个硬盘进行识别，分别确定各个所述硬盘的设备符名称和类型，所述硬盘类型为sata硬盘或ssd硬盘；格式化分区子单元，用于分别对各个所述硬盘进行格式化分区；建立子单元，用于根据所述硬盘组中硬盘的数量，建立硬盘序列；挂载子单元，用于根据对各个所述硬盘的遍历顺序，分别将本文档来自技高网...

【技术保护点】
一种CDN边缘节点文件的存储方法，其特征在于，包括：获取支持Nonraid模式的raid卡，并通过所述raid卡使硬盘组与边缘节点服务器相连；对所述硬盘组进行初始化，得到所述硬盘组中每个硬盘的硬盘名；依据一致性哈希算法计算所述硬盘组中每个硬盘的硬盘名和每个待存储文件的文件名的哈希值，并根据每个所述硬盘的硬盘名和每个所述待存储文件的文件名的哈希值以及预设规则，分别将每个所述待存储文件存储到相应的所述硬盘中。

【技术特征摘要】
1.一种CDN边缘节点文件的存储方法，其特征在于，包括：获取支持Nonraid模式的raid卡，并通过所述raid卡使硬盘组与边缘节点服务器相连；对所述硬盘组进行初始化，得到所述硬盘组中每个硬盘的硬盘名；依据一致性哈希算法计算所述硬盘组中每个硬盘的硬盘名和每个待存储文件的文件名的哈希值，并根据每个所述硬盘的硬盘名和每个所述待存储文件的文件名的哈希值以及预设规则，分别将每个所述待存储文件存储到相应的所述硬盘中。2.根据权利要求1所述的方法，其特征在于，所述对所述硬盘组进行初始化，得到所述硬盘组中每个硬盘的硬盘名，包括：对所述硬盘组中的各个硬盘进行识别，分别确定各个所述硬盘的设备符名称和类型，所述硬盘类型为sata硬盘或ssd硬盘；分别对各个所述硬盘进行格式化分区；根据所述硬盘组中硬盘的数量，建立硬盘序列；根据对各个所述硬盘的遍历顺序，分别将各个所述硬盘挂载到所述所述硬盘序列中，并分别将每个所述硬盘的序列值作为相应硬盘的硬盘名。3.根据权利要求1所述的方法，其特征在于，所述依据一致性哈希算法计算所述硬盘组中每个硬盘的硬盘名和每个待存储文件的文件名的哈希值，并根据每个所述硬盘的硬盘名和每个所述待存储文件的文件名的哈希值以及预设规则，分别将每个所述待存储文件存储到相应的所述硬盘中，包括：依据一致性哈希算法，对各个存储空间未满的所述硬盘的硬盘名进行哈希，计算出每个存储空间未满的所述硬盘的硬盘名的哈希值，根据每个存储空间未满的所述硬盘的硬盘名的哈希值，各个存储空间未满的所述硬盘构成一个哈希环，得到每个存储空间未满的所述硬盘在所述哈希环上的位置；依据一致性哈希算法，对各个所述待存储文件的文件名进行哈希，计算出每个所述待存储文件的文件名的哈希值；根据每个所述待存储文件的文件名与每个所述硬盘的硬盘名的哈希值，将每个待存储文件存储到所述哈希环上的相应硬盘中，使每个所述待存储文件的文件名的哈希值与相应存储硬盘的硬盘名的哈希值的差值最小，且每个所述待存储文件的文件名的哈希值小于对应存储硬盘的硬盘名的哈希值。4.根据权利要求1所述的方法，其特征在于，所述硬盘组为sata硬盘组，在所述分别将每个所述待存储文件存储到相应的所述硬盘中之后，所述方法还包括：在预设时间段内，确定在sata硬盘组中已存储的文件中的多个热点文件；依据一致性哈希算法计算每个所述热点文件的文件名的哈希值和ssd硬盘组中每个ssd硬盘的硬盘名的哈希值，并根据每个所述热点文件的文件名的哈希值和每个所述ssd硬盘的硬盘名的哈希值以及预设规则，分别将每个所述热点文件转存到相应的所述ssd硬盘中。5.根据权利要求4所述的方法，其特征在于，所述在预设时间段内，确定在sata硬盘组中已存储的文件中的多个热点文件，包括：在预设时间段内，统计所述sata硬盘组中存储的每个文件的访问频次；按访问频次由高到低对所述sata硬盘组中存储的各个文件进行排序；将所述排序中预设比例的高访问频次的文件确定为热点文件。6.根据权利要求4所述的方法，其特征在于，所述依据一致性哈希算法计算每个所述热点文件的文件名的哈希值和ssd硬盘组中每个ssd硬盘的硬盘名的哈希值，并根据每个所述热点文件的文件名的哈希值和每个所述ssd硬盘的硬盘名的哈希值以及预设规则，分别将每个所述热点文件转存到相应的所述ssd硬盘中，包括：依据一致性哈希算法，对各个存储空间未满的所述ssd硬盘的硬盘名进行哈希，计算出每个存储空间未满的所述ssd硬盘的硬盘名的哈希值，根据每个存储空间未满的所述ssd硬盘的硬盘名的哈希值，各个存储空间未满的所述ssd硬盘构成一个哈希环，得到每个存储空间未满的所述ssd硬盘在所述哈希环上的位置；依据一致性哈希算法，对各个所述热点文件的文件名进行哈希，计算出每个所述热点文件的文件名的哈希值；根据每个所述热点文件的文件名与每个ssd硬盘的硬盘名的哈希值，将每个所述热点文件转存到所述哈希环上的相应ssd硬盘中，使每个所述热点文件的文件名的哈希值与相应存储ssd硬盘的硬盘名的哈希值的差值最小，且每个所述热点文件的文件名的哈希值小于对应存储ssd硬盘的硬盘名的哈希值。7.根据权利要求3或6所述的方法，其特征在于，所述方法还包括：当在相应的哈希环中不存在大于待...

【专利技术属性】
技术研发人员：吴岩，何广，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11