跨地域云数据中心间社交用户数据分布式存储方法及系统技术方案

本发明专利技术涉及一种跨地域云数据中心间社交用户数据分布式存储方法及系统，为了解决现有技术存在的跨地域访问延迟大、网络通信量大、存储费用高的问题而设计。本发明专利技术所述的方法包括：将各用户u的数据副本分布式放置。找出满足用户v的访问延迟要求且存储单价最低的云数据中心集合Lv，对所有云数据中心集合Lv求交集得到迁移候选目标集合Xu；将存储用户u的数据副本的云数据中心集合Du分别与每一个集合Lv求交集，求得结果的集合再合并求并集，得到迁移候选源集合Yu；计算所有候选迁移方案的迁移费用，选择其中费用最小的迁移方案执行用户u的数据副本的数据迁移。本发明专利技术在满足延迟要求下能够最大限度地降低成本费用。

【技术实现步骤摘要】
跨地域云数据中心间社交用户数据分布式存储方法及系统
本专利技术属于社交网络、大数据副本和分布式存储领域
，具体涉及一种跨地域云数据中心间社交用户数据分布式存储方法及系统。
技术介绍
信息时代互联网技术的不断进步正在影响甚至深刻改变本专利技术的生活，作为时下最热门的互联网应用之一，在线社交网络(OnlineSocialNetworks，简称OSNs)吸引着全球几十亿用户的参与，人们利用社交网络可以结交朋友、发表观点、分享信息和交流感情等。可以说，社交网络不仅已成为现实人类社会在网络虚拟空间的投影，更是融入到人们的日常生活中。随着新用户的不断涌入，社交网络的用户规模急剧增长，著名社交网站Facebook在2017年第二季度的月度活跃用户数达到20亿，这一数字意味着全球每四个人中就有一个人每天在使用Facebook；不仅如此，社交用户的分布也是相当广泛，地域上Facebook的用户遍布五大洲。一方面，面对EB级的大数据副本(BigData)，任何集中存储技术都无法满足如此大规模数据副本的存储需求；另一方面，用户跨地域广泛分布的特点使得单一地域的单个云数据中心存储无法满足用户频繁跨地域访问的需求。近年来，内容分发网络(ContentDeliveryNetwork，简称CDN)技术被广泛应用于社交网络用户的跨地域分布式存储。目前，许多社交网络服务商利用CDN技术来支持跨地域用户的访问，如图1所示，所有数据副本均存储在云数据中心内，近距离用户可直接访问该数据副本中心获取数据副本，对于远距离用来而言，他们的访问请求先到达就近的CDN服务器，CDN服务器会缓存部分数据副本，若缓存命中则直接返回数据副本，否则将请求路由到云数据中心获取访问数据副本，并将数据副本缓存在CDN服务器，以便后续访问使用。如今一些大型社交网络服务商开始在多地建立云数据中心，例如截止2017年Facebook已在全球建立8个云数据中心，以支持世界各地用户的访问。如图2所示，数据副本中心间的数据副本同步主要采用全复制(fullreplication)的策略，即各地云数据中心的数据副本会周期性地汇总到一处，通常为主数据副本中心，然后再由主数据副本中心分发到其他云数据中心。CDN技术用于支持社交网络跨地域用户访问的缺点在于：首先，社交网络的内部交互信息对CDN是透明的，CDN并不了解用户间的交互情况，它仅根据数据副本访问频度来决定缓存哪些用户数据副本，无法对跨地域用户访问提供精准的、可靠的支持；其次，由于缓存准确度不可靠，导致CDN服务器与云数据中心之间频繁通信，耗费大量网络带宽，增加高额的费用支出。在跨地域多数据副本中心环境下，全复制策略虽可以保障访问可靠性，降低访问延迟，但该策略缺点在于：首先，在所有数据副本中心保存所有用户的全部数据副本，存储开销巨大；其次，为了让所有云数据中心的数据副本保持同步，在数据副本中心间进行大量的数据副本交换，同样会产生巨大的网络开销。鉴于上述的缺陷，本设计人积极加以研究创新，以期创设一种跨地域云数据中心间社交用户数据分布式存储方法及系统，使其更具有产业上的利用价值。
技术实现思路
为解决上述技术问题，本专利技术的目的是提供一种降低存储开销和各数据副本中心间通信量，从而减少存储系统运行的成本费用的跨地域云数据中心间社交用户数据分布式存储方法及系统。为达到上述专利技术目的，本专利技术跨地域云数据中心间社交用户数据分布式存储方法，包括：S1构建网络社交模型图G＝(V,E,R,W)，其中，以社交网络中每个用户u作为社交图G中的一个顶点，用户v为与用户u有交互关系的用户，用户u与用户v间的交互关系用交互边euv表示；E为社交用户间交互关系集合，R为任意交互边上读操作频度的集合，W表示任意交互边上写操作频度的集合；用户u与用户v间交互的数据副本操作至少包括两种，即读操作ruv和写操作wuv，ruv∈R，wuv∈W；S2将各用户u的数据副本分布放置于该用户u的至少一个可用云数据中心，其中所述可用云数据中心满足用户u、与该用户有交互关系的用户v对访问延迟的要求，且存储单价最低；S3分别找到迁移候选目标集合Xu和迁移候选源集合Yu，以得到多个候选迁移方案，计算所有候选迁移方案的迁移费用，选择其中费用最小的迁移方案执行用户u的数据副本的数据迁移；其中，找出满足与用户u有交互关系的用户v的访问延迟要求且存储单价最低的云数据中心集合Lv，对所有云数据中心集合Lv求交集得到迁移候选目标集合Xu；将存储用户u的数据副本的云数据中心集合Du分别与每一个集合Lv求交集，求得结果的集合再合并求并集，得到迁移候选源集合Yu。进一步地，所述的S2具体包括：S2.1确定用户u的可用云数据中心，选择所述的可用云数据中心中满足所述用户u访问延迟要求且存储单价最低的云数据中心i存储用户u的数据副本；S2.2判断与用户u有交互关系的各用户v访问存储在云数据中心i的数据副本时的访问延迟是否超出预定阈值，若超出，则将该用户v放入访问超时集合Ωu；依次从集合Ωu中选择一个待处理用户v，从用户u的可用云数据中心里找出能够满足该待处理用户v的访问延迟要求且存储单价最低的云数据中心j，将用户u的数据副本放置在云数据中心j上；若未超出，则不做处理；进一步地，S3中迁移费用的计算方法具体包括：S3.1计算云数据中心间的传输费用，包括读操作费用和写操作费用，用户u的读、写费用分别表示为：其中Nu表示与用户u有交互关系的用户v的集合，ptrans表示传输单价，|Du|表示存储用户u的数据副本的云数据中心数目，表示存储用户u和与用户u有交互关系的用户v的云数据中心是否存在重合，若不存在，则取值为1，若存在，则取值为0；与用户u相关的传输费用表示为πu＝Cu-read+Cu-writeS3.2计算一次迁移导致的传输费用的变化，用π'u表示迁移后与用户u相关的传输费用，则迁移变化表示为：S3.3计算将用户u的数据副本从云数据中心i迁移到j的迁移费用若迁移的目标数据副本中心已存储用户u的副本，即j∈Du，则此次迁移操作等价于删除操作，将u的数据副本从源数据副本中心i删除，费用为进一步地，还包括计算用户u的数据副本的存储费用，具体计算公式如下:其中Du表示所有存储用户u的数据副本的云数据中心构成的集合，sizeu表示u的数据副本大小，pi表示云数据中心i的存储单价。为达到上述专利技术目的，本专利技术跨地域云数据中心间社交用户数据分布式存储系统，包括：社交网络模型图构建单元，用于构建网络社交模型图G＝(V,E,R,W)，其中，以社交网络中每个用户u作为社交图G中的一个顶点，用户v为与用户u有交互关系的用户，用户u与用户v间的交互关系用交互边euv表示；E为社交用户间交互关系集合，R为任意交互边上读操作频度的集合，W表示任意交互边上写操作频度的集合；用户u与用户v间交互的数据副本操作至少包括两种，即读操作ruv和写操作wuv，ruv∈R，wuv∈W；数据副本分布放置单元，用于将各用户u的数据副本分布放置于该用户u的至少一个可用云数据中心，其中所述可用云数据中心满足用户u、与该用户有交互关系的用户v对访问延迟的要求，且存储单价最低；数据副本迁移单元，用于分别找到迁移候选目标集合Xu和迁移候选源集合Yu，以得到多个本文档来自技高网...

【技术保护点】
1.一种跨地域云数据中心间社交用户数据分布式存储方法，其特征在于，包括：S1构建网络社交模型图G＝(V,E,R,W)，其中，以社交网络中每个用户u作为社交图G中的一个顶点，用户v为与用户u有交互关系的用户，用户u与用户v间的交互关系用交互边euv表示；E为社交用户间交互关系集合，R为任意交互边上读操作频度的集合，W表示任意交互边上写操作频度的集合；用户u与用户v间交互的数据副本操作至少包括两种，即读操作ruv和写操作wuv，ruv∈R，wuv∈W；S2将各用户u的数据副本分布放置于该用户u的至少一个可用云数据中心，其中所述可用云数据中心满足用户u、与该用户有交互关系的用户v对访问延迟的要求，且存储单价最低；S3分别找到迁移候选目标集合Xu和迁移候选源集合Yu，以得到多个候选迁移方案，计算所有候选迁移方案的迁移费用，选择其中费用最小的迁移方案执行用户u的数据副本的数据迁移；其中，找出满足与用户u有交互关系的用户v的访问延迟要求且存储单价最低的云数据中心集合Lv，对所有云数据中心集合Lv求交集得到迁移候选目标集合Xu；将存储用户u的数据副本的云数据中心集合Du分别与每一个集合Lv求交集，求得结果的集合再合并求并集，得到迁移候选源集合Yu。...

【技术特征摘要】
1.一种跨地域云数据中心间社交用户数据分布式存储方法，其特征在于，包括：S1构建网络社交模型图G＝(V,E,R,W)，其中，以社交网络中每个用户u作为社交图G中的一个顶点，用户v为与用户u有交互关系的用户，用户u与用户v间的交互关系用交互边euv表示；E为社交用户间交互关系集合，R为任意交互边上读操作频度的集合，W表示任意交互边上写操作频度的集合；用户u与用户v间交互的数据副本操作至少包括两种，即读操作ruv和写操作wuv，ruv∈R，wuv∈W；S2将各用户u的数据副本分布放置于该用户u的至少一个可用云数据中心，其中所述可用云数据中心满足用户u、与该用户有交互关系的用户v对访问延迟的要求，且存储单价最低；S3分别找到迁移候选目标集合Xu和迁移候选源集合Yu，以得到多个候选迁移方案，计算所有候选迁移方案的迁移费用，选择其中费用最小的迁移方案执行用户u的数据副本的数据迁移；其中，找出满足与用户u有交互关系的用户v的访问延迟要求且存储单价最低的云数据中心集合Lv，对所有云数据中心集合Lv求交集得到迁移候选目标集合Xu；将存储用户u的数据副本的云数据中心集合Du分别与每一个集合Lv求交集，求得结果的集合再合并求并集，得到迁移候选源集合Yu。2.根据权利要求1所述的跨地域云数据中心间社交用户数据分布式存储方法，其特征在于，所述的S2具体包括：S2.1确定用户u的可用云数据中心，选择所述的可用云数据中心中满足所述用户u访问延迟要求且存储单价最低的云数据中心i存储用户u的数据副本；S2.2判断与用户u有交互关系的各用户v访问存储在云数据中心i的数据副本时的访问延迟是否超出预定阈值，若超出，则将该用户v放入访问超时集合Ωu；依次从集合Ωu中选择一个待处理用户v，从用户u的可用云数据中心里找出能够满足该待处理用户v的访问延迟要求且存储单价最低的云数据中心j，将用户u的数据副本放置在云数据中心j上；若未超出，则不做处理。3.根据权利要求1所述的跨地域云数据中心间社交用户数据分布式存储方法，其特征在于，S3中的迁移费用的计算方法具体包括：S3.1计算云数据中心间的传输费用，包括读操作费用和写操作费用，用户u的读、写费用分别表示为：其中Nu表示与用户u有交互关系的用户v的集合，ptrans表示传输单价，|Du|表示存储用户u的数据副本的云数据中心数目，表示存储用户u和与用户u有交互关系的用户v的云数据中心是否存在重合，若不存在，则取值为1，若存在，则取值为0；与用户u相关的传输费用表示为πu＝Cu-read+Cu-writeS3.2计算一次迁移导致的传输费用的变化，用π'u表示迁移后与用户u相关的传输费用，则迁移变化表示为：S3.3计算将用户u的数据副本从云数据中心i迁移到j的迁移费用若迁移的目标数据副本中心已存储用户u的副本，即j∈Du，则此次迁移操作等价于删除操作，将u的数据副本从源数据副本中心i删除，费用为4.根据权利要求1所述的跨地域云数据中心间社交用户数据分布式存储方法，其特征在于，还包括计算用户u的数据副本的存储费用，具体计算公式如下:其中Du表示所有存储用户u的数据副本的云数据中心构成的集合，sizeu表示u的数据副本大小，pi表示云数据中心i的存储单价。5.一种跨地域云数据中心间社交用户数据分布式存储系统，其特征在于，包括：社交网络模型图构建单元，用于构建网络社交模型图G＝(V,E,R,W)，其中，以社交网络中每个用户u作为社交图G中的一个顶点，用户v为与用户u有交互关系的用户，用户u与用户v间的交互关系用交互边euv表示；E为社交用户间交互关系集合，R为任意交互边上读操作频度的集合，W表示任意交互边上写操作频度的集合；用户u与用户v间交互的数据副本操作至少包括两种，即读操作ruv和写操作...

【专利技术属性】
技术研发人员：周经亚，高可攀，樊建席，王进，贾俊铖，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32