一种面向云计算内容分发网络的数据副本存储方法技术

本发明专利技术涉及一种面向云计算内容分发网络的数据副本存储方法，针对数据文件副本，综合考虑了数据文件副本从源服务器节点传输至边缘服务器节点的传输代价、数据文件副本在边缘服务器节点上的放置代价和数据文件副本在边缘服务器节点上的存储代价，再结合边缘服务器节点作为服务中心向其余所有边缘服务器节点提供服务时产生的代价，为数据文件副本选取最优的边缘服务器节点进行副本存储，使得数据文件副本在面向云计算内容分发网络中，能够实现高效的数据调用操作。

【技术实现步骤摘要】

本专利技术涉及，属于云计算和数 据副本放置

技术介绍
随着互联网的不断发展，一方面网络上的内容由原来的静态的图片和文字向多媒 体业务发展；另一方面用户持续增多，内容请求频率也随之增加，许多服务普遍存在网络带 宽瓶颈和响应时间较长的问题。在上述问题下，内容分发网络（CDN)从技术上全面解决这 种问题，在国内外越来越广泛的应用。然而现有的CDN架构也有其突出的问题，面对业务量 急剧增加，突出的问题是IT基础设施和存储空间不足的问题。同时当前⑶N模型还不能达 到业务量不断变化的需求，不能满足系统良好扩展性的要求。 云计算技术已经取得了迅速的发展，可实现运算资源，即网络、存储、计算、平台的 全网统一调度和共享。云计算是一个庞大的资源池，可以提供按需服务和弹性调配。因此 云计算成为解决CDN现存问题的有效技术方案之一，云计算的核心技术之一服务器虚拟化 这一技术已经运用到CDN之中，在CDN系统采用虚拟化技术后，可以提升资源配置能力和优 化部署方法，可以根据用户需求快速调整服务器的处理能力和设备数量。云计算的另一重 要技术一一云存储也开始被用到CDN中。云存储可以降低成本存储海量数据，并且提供优 化于普通存储方案的安全性。利用云计算虚拟化，在CDN中心节点和边缘节点引入云存储， 利用中心域和边缘域内所有服务器资源的设备能力实现文件的动态分布存储，并能根据用 户需求和文件访问的热点程度自动进行存储调整。在云存储过程中，一个文件可以被切割 为多个片段，并且在不同存储节点中保存多个副本。 云计算CDN网络中使用数据副本技术，即创建同一数据的多个副本并将其分布在 系统中的若干节点方便用户访问。然而，由于云计算环境中存储的文件很大（MB级或GB 级），受网络带宽和本地机器的存储能力的制约，不可能在所有的节点服务器上复制数据。 因此，需要寻找一些合适的候选位置，使得在这些位置存放数据副本后，各个节点服务器的 用户访问这些数据的代价综合最小。决定副本放置的因素包括：网络带宽、传输延迟、数据 文件请求频率和分布、资源价格等因素，需要综合考虑。 不同的应用场景下，副本放置的问题面临的要求是不同的。云计算CDN网络是用 来把文件提供者提供的数据文件按一定的策略推送到离用户较近的地方。此时的副本放置 问题可定义为在给定一组用于存储内容的边缘服务器，根据用户的访问历史信息，使用一 定的策略来确定将内容副本放置于哪些边缘服务器上。 按照部署架构分，云计算⑶N网络可以分为三层，即中心层、区域层和边缘层。对 应的节点可以分为中心节点、区域节点和边缘节点。中心节点和区域节点称为骨干节点，他 们把内容从内容源分发到边缘节点，边缘服务器节点的主要任务是向用户提供服务，用户 提交访问请求后直接从边缘服务器节点得到响应。从资源拥有的角度来分，可以把节点分 为源服务器节点和边缘服务器节点。源服务器节点存储了全网络的数据文件；边缘服务器 节点管理数据副本和转发数据。边缘服务器的管理功能记录用户的请求信息；转发功能是 收到用户的内容请求信息，如果本地没有被请求的数据内容，边缘服务器节点会向源服务 器节点发出数据请求的消息，待边缘服务器节点收到反馈信息后再转发给请求数据内容的 用户。
技术实现思路
本专利技术所要解决的技术问题是提供一种面向云计算内容分发网络的数据副本存 储方法，综合考虑了选取副本节点过程中所产生的代价，以及副本节点向用户服务时产生 的代价，选取总代价最小的副本节点进行副本放置，能够向用户提供高效的服务。 本专利技术为了解决上述技术问题采用以下技术方案：本专利技术设计了一种面向云计算 内容分发网络的数据副本存储方法，其中，面向云计算内容分发网络包括一个源服务器节 点和至少两个边缘服务器节点，源服务器节点中存储全网数据文件和数据文件副本列表， 数据文件副本列表中存储预设待存储数据文件副本和其对应的数据大小；所述数据副本存 储方法，针对数据文件副本列表中的各个待存储数据文件副本，依次分别按如下步骤进行 数据副本存储； 步骤001.针对面向云计算内容分发网络，按预设段数进行平均划分，获得各段网 络的长度r，进入步骤002 ; 步骤002.选取以源服务器节点为中心，r为半径范围内所有的边缘服务器节点， 构成待部署边缘服务器节点集合，进入步骤003 ; 步骤003.获得数据文件副本列表中的一个待存储数据文件副本a，并针对待部署 边缘服务器节点集合中的各个边缘服务器节点，分别判断边缘服务器节点中是否存在该待 存储数据文件副本a，是则将该边缘服务器节点由待部署边缘服务器节点集合中删除，更新 待部署边缘服务器节点集合，否则不操作；针对待部署边缘服务器节点集合中的各个边缘 服务器节点分别按上述操作执行完成后，进入步骤004 ; 步骤004.获得待部署边缘服务器节点集合中各个边缘服务器节点的剩余存储空 间，同时，根据数据文件副本列表，获得该待存储数据文件副本a的数据大小Size a，并将该 待存储数据文件副本a的数据大小Sizea，分别与待部署边缘服务器节点集合中各个边缘服 务器节点的剩余存储空间进行比较，删除待部署边缘服务器节点集合中，剩余存储空间小 于该待存储数据文件副本a的数据大小Size a的边缘服务器节点，更新待部署边缘服务器 节点集合，并进入步骤005 ; 步骤005.获得待部署边缘服务器节点集合中各个边缘服务器节点分别与源服务 器节点之间的权值，分别作为该各个边缘服务器节点与源服务器节点之间的距离di Sl，其 中，i = U.....I}，I为待部署边缘服务器节点集合中边缘服务器节点的数量，进入步骤 006 ； 步骤006.分别获得待部署边缘服务器节点集合中各个边缘服务器节点所接收用 户请求的次数，以及整个面向云计算内容分发网络所接收用户请求的次数；并且分别将边 缘服务器节点接收用户请求次数占整个面向云计算内容分发网络接收用户请求次数的比 例，作为待部署边缘服务器节点集合中对应各个边缘服务器节点的负载I 1，进入步骤007 ; 步骤007.针对待部署边缘服务器节点集合中的各个边缘服务器节点，根据如下 公式，分别获得该待存储数据文件副本a从源服务器节点，分别传输至各个边缘服务器节 点的传输代价Tr l rast，进入步骤008 ; Tr l cost= size ^dis1 步骤008.针对待部署边缘服务器节点集合中的各个边缘服务器节点，根据如下 公式，分别获得该待存储数据文件副本a在各个边缘服务器节点上的放置代价P l rast，进入 步骤009 ; P l cost= P a*siZea^b1 其中，Pa为该待存储数据文件副本a在放置时所需网络带宽占对应边缘服务器节 点网络带宽的比例，P aG (0, I) ;b i为待部署边缘服务器节点集合中第i个边缘服务器节 点的网络带宽； 步骤009.针对待部署边缘服务器节点集合中的各个边缘服务器节点，根据如下 公式，分别获得该待存储数据文件副本a在各个边缘服务器节点上的存储代价St l rast，进 入步骤010 ; St i cost= (I- a ) ^request a+ a ^li 其中，a为预设平衡因子；request为该待存储数据文件副本a被访问的次数； 步骤010.针本文档来自技高网...

【技术保护点】
一种面向云计算内容分发网络的数据副本存储方法，其中，面向云计算内容分发网络包括一个源服务器节点和至少两个边缘服务器节点，源服务器节点中存储全网数据文件和数据文件副本列表，数据文件副本列表中存储预设待存储数据文件副本和其对应的数据大小；其特征在于，所述数据副本存储方法，针对数据文件副本列表中的各个待存储数据文件副本，依次分别按如下步骤进行数据副本存储；步骤001.针对面向云计算内容分发网络，按预设段数进行平均划分，获得各段网络的长度r，进入步骤002；步骤002.选取以源服务器节点为中心，r为半径范围内所有的边缘服务器节点，构成待部署边缘服务器节点集合，进入步骤003；步骤003.获得数据文件副本列表中的一个待存储数据文件副本a，并针对待部署边缘服务器节点集合中的各个边缘服务器节点，分别判断边缘服务器节点中是否存在该待存储数据文件副本a，是则将该边缘服务器节点由待部署边缘服务器节点集合中删除，更新待部署边缘服务器节点集合，否则不操作；针对待部署边缘服务器节点集合中的各个边缘服务器节点分别按上述操作执行完成后，进入步骤004；步骤004.获得待部署边缘服务器节点集合中各个边缘服务器节点的剩余存储空间，同时，根据数据文件副本列表，获得该待存储数据文件副本a的数据大小sizea，并将该待存储数据文件副本a的数据大小sizea，分别与待部署边缘服务器节点集合中各个边缘服务器节点的剩余存储空间进行比较，删除待部署边缘服务器节点集合中，剩余存储空间小于该待存储数据文件副本a的数据大小sizea的边缘服务器节点，更新待部署边缘服务器节点集合，并进入步骤005；步骤005.获得待部署边缘服务器节点集合中各个边缘服务器节点分别与源服务器节点之间的权值，分别作为该各个边缘服务器节点与源服务器节点之间的距离disi，其中，i＝{1、…、I}，I为待部署边缘服务器节点集合中边缘服务器节点的数量，进入步骤006；步骤006.分别获得待部署边缘服务器节点集合中各个边缘服务器节点所接收用户请求的次数，以及整个面向云计算内容分发网络所接收用户请求的次数；并且分别将边缘服务器节点接收用户请求次数占整个面向云计算内容分发网络接收用户请求次数的比例，作为待部署边缘服务器节点集合中对应各个边缘服务器节点的负载li，进入步骤007；步骤007.针对待部署边缘服务器节点集合中的各个边缘服务器节点，根据如下公式，分别获得该待存储数据文件副本a从源服务器节点，分别传输至各个边缘服务器节点的传输代价Tr_i_cost，进入步骤008；Tr_i_cost＝sizea*disi步骤008.针对待部署边缘服务器节点集合中的各个边缘服务器节点，根据如下公式，分别获得该待存储数据文件副本a在各个边缘服务器节点上的放置代价P_i_cost，进入步骤009；P_i_cost＝βa*sizea*bi其中，βa为该待存储数据文件副本a在放置时所需网络带宽占对应边缘服务器节点网络带宽的比例,βa∈(0,1)；bi为待部署边缘服务器节点集合中第i个边缘服务器节点的网络带宽；步骤009.针对待部署边缘服务器节点集合中的各个边缘服务器节点，根据如下公式，分别获得该待存储数据文件副本a在各个边缘服务器节点上的存储代价St_i_cost，进入步骤010；St_i_cost＝(1‑α)*requesta+α*li其中，α为预设平衡因子；requesta为该待存储数据文件副本a被访问的次数；步骤010.针对待部署边缘服务器节点集合中的各个边缘服务器节点，根据如下公式，分别对其传输代价Tr_i_cost、放置代价P_i_cost、存储代价St_i_cost进行求和，分别获得待部署边缘服务器节点集合中各个边缘服务器节点的传输代价T_i_cost，进入步骤011；T_i_cost＝Tr_i_cost+P_i_cost+St_i_cost步骤011.针对待部署边缘服务器节点集合中的各个边缘服务器节点，根据如下公式，在待部署边缘服务器节点集合中，分别获得各个边缘服务器节点作为服务中心向其余所有边缘服务器节点提供服务时产生的代价S_i_cost，并进入步骤012；S_i_cost＝Ci+Gi其中，Ci为将待部署边缘服务器节点集合中第i个边缘服务器节点建立为服务中心所产生的代价，Gi为在面向云计算内容分发网络中，除第i个边缘服务器节点以外的其余各个边缘服务器节点由作为服务中心的第i个边缘服务器节点处获得服务的代价；步骤012.针对待部署边缘服务器节点集合中的各个边缘服务器节点，根据如下公式：Total_i_cost＝T_i_cost+S_i_cost分别获得各个边缘服务器节点的总代价Total_i_cost，并选取最小总代价所对应的边缘服务器节点，将该待存储数据文件副本a存储在该边缘服务器节点中。...

【技术特征摘要】

【专利技术属性】
技术研发人员：付雄，刘文杰，邓松，程春玲，王俊昌，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32