一种缩放计算机网络服务可靠性的方法技术

本发明专利技术提供了一种缩放分层式计算机网络的服务的可靠性的方法，根据该方法，向服务节点组添加服务节点或从服务节点组中减少服务节点以线性增加/减小网络服务正常运行几率，该分层式计算机网络具有向大量用户提供大量数据的大量参与者节点。还公开了一种激励通用计算机网络中的参与者计算机的所有者持续并可靠地共享其空闲容量和能力的方法，根据该方法，如果没有侦测到参与者计算机的故障事件，则用增加的正常运行几率值来奖励该参与者计算机，或者如果侦测到参与者计算机的故障事件，则用减小的正常运行几率值来惩罚该参与者计算机；以及使该参与者计算机的正常运行几率值对终端用户可见。值对终端用户可见。值对终端用户可见。

【技术实现步骤摘要】
一种缩放计算机网络服务可靠性的方法


[0001]本专利技术涉及分布式和去中心化计算机网路。具体地说，本专利技术涉及一种有效地连接和组织独立的由众多拥有者所拥有的计算机节点构建的分层式计算机网络以达到线性缩放网络服务的可靠性的方法。另外，本专利技术涉及一种鼓励独立计算机节点的拥有者持续并可靠地分享空闲的数据存储空间和计算能力的方法。

技术介绍

[0002]大数据和云计算是当前十分热门的话题。云计算在提供外包IT管理和数据服务方面正获得越来越广泛的认可。设想为世界上的每个人提供5GB的数据存储，需要35EB的存储空间。事实上微软承诺为每个OneDrive帐户提供5GB的免费存储空间。尽管5GB的存储空间并不能存储多少文件，也许5个低解析度的电影，可是把这个承诺推广到全球70亿个潜在用户的时候，意味着微软需要准备35EB的存储空间。35EB的存储空间相当于3千5百万个硬盘，如果每个硬盘的容量是1TB的话。
[0003]对于数据存储的需求正在快速增长，无论在个人层面还是在机构层面。云计算已经成为在线存储的事实上的标准解决方案。云计算基于客户端
‑
服务器架构。云计算的各种服务运行在互联网或者局域网的物理网络基础设施之上。云计算旨在降低IT运营和拥有成本。它通过在应用程序和用户/机构之间虚拟化和共享计算资源来增加IT基础设施的使用，从而降低成本。诸如微软OneDrive，谷歌Drive，亚马逊AWS和Dropbox等公有云服务为全球数以亿计的用户提供在线数据存储。云计算取得的心理突破是，现在将我的数据放在另一个人的计算机上变得可以接受。
[0004]然而，云计算仍然存在一些担忧。可靠性和数据泄露是云计算最突出的问题。Google Docs&Sheets在2021年4月12日的局部停摆是最近的一起可靠性事件。不久以前，Google云还于2020年12月14日发生过一起大规模的停摆。亚马逊AWS于2020年11月25日的停摆让部分互联网停摆。许多商业运行因此而受到影响。如果您在互联网上搜索云服务停摆的消息，结果令人不安。几乎所有云计算服务商都不例外，包括微软，苹果和阿里巴巴。另外，大规模数据泄露也引起了人们的注意。2021年一季度数起大规模数据泄露事故见诸新闻。根据报道，2021年4月4日Facebook发生了一起500万用户数据泄露事件。几天以后，4月8日LinkedIn也放生了一起500万用户数据泄露事件。
[0005]根本的问题在于云服务采取了集中化方式，这违背了互联网最初的目标：去中心化。今天的云服务是由几个大型数据中心提供的，这些数据中心不仅集中大量昂贵的硬件设备(服务器，存储设备，网络设备，供电设备，空调等)，还集中大量的应用程序和数据。根据公开发表的数据，微软在全球范围内运行34个大型数据中心，亚马逊21和谷歌9个。尽管云计算服务商在缓慢地增加数据中心的数量，数以亿计的用户帐户及其个人数据由少数数据中心存储和管理这个趋势没有改变。现代化的大规模数据中心容纳上万乃至十万台高端服务器，以及支持大量服务器正常运行的网络，供电和空调等设备。有了这样的集中程度，单点失败就成为不可避免的了。尽管数据中心内服务器数量巨大，从用户的角度看，绝大部
分服务器是从数据中心以外的用户端看不见的。
[0006]除了可靠性问题之外，当前的云计算还存在一些其它潜在问题和担心，比如区域不平等，延迟，成本和财富过度集中等问题。这些问题和担忧是中心化的固有结果。现在是重新思考云服务技术架构的时候了。
[0007]云计算技术成功地解决了用户数从数万至数亿所带来的系统缩放性瓶颈问题。云技术服务商通过系统向上缩放以应对数据流量和容量的巨大增长。然而，云计算服务的某些方面却未能实现系统缩放，尤其是按照用户的期望和要求实现缩放。今天，如果你要求AWS提供99.999％的服务正常运行几率(Uptime)，他们会告诉你他们正在努力实现这样的可靠性目标。如果你提出只需要99％的服务正常运行几率，并要求服务价格低于那些正常运行几率在99.99％的服务，他们会拒绝你的要求。因为当今的云计算服务的可靠性是不能缩放的。AWS目前号称99.99％的服务正常运行几率。这样的可靠性对于许多行业和机构来说是足够的。但是对于金融行业而言则是不够的。事实上，过去人们过于专注服务器端而轻视客户端是造成系统可靠性不能缩放的根本原因。没有在服务提供端设置服务冗余，也没有给服务使用端装备服务冗余的知识和使用服务冗余的能力，想实现服务可靠性的缩放是困难的，更忽论按照客户的期望和要求实现缩放了。
[0008]过去已有许多努力来分散计算和数据管理，并将大量数据分配给许多主机。Hadoop是一个开源软件框架，用于在商用硬件集群上分散计算和存储大量数据。Apache Hadoop的核心包含一个名为Hadoop分布式文件系统(HDFS)的存储部分，该部分构建在主/从体系架构上。HDFS通过在多个节点上复制数据来实现可靠性。HDFS可以使用商用计算设备而不需要配备RAID存储的高端服务器机器这一点是一个进步。但是，运行HDFS节点的计算设备仍然需要放置在维护良好，连接良好的数据中心环境中。HDFS节点按不同的职责分类。但是它们没有按可靠性排名，整个Hadoop框架没有计算节点对地理位置敏感的概念。
[0009]最近，又提出雾计算和边缘计算的概念来解决对延迟特别敏感的计算问题。这些应用根本无法依赖远程数据中心的数据传输，因为数据传输速度和质量与数据传输距离成反比。数据处理越靠近数据源延迟越小。雾计算是一个无线分布式计算平台，其中复杂的延迟敏感性任务可以通过一组本地的物联网网关级别的共享资源进行处理。雾计算和边缘计算的多层计算网络架构将计算负担扩展到更多的计算设备。雾计算对计算节点的地理位置敏感。但是，在这种架构中，所有计算节点都需要遵循共同的标准。
[0010]可是没有为网络中的计算机节点的可靠性排名和服务能力等级分类方面的讨论。更没有给终端用户提供选择节点的机会，尤其是跟节点的价格，成本，服务质量和可靠性，以及鼓励节点的拥有者参与网络的奖惩制度有关方面。
[0011]本专利技术提供了一个方法和计算机网络，不仅可以根据数据流量和容量的增长实现缩放，而且可以根据用户对于服务正常运行几率的具体要求实现线性缩放。在在线存储和内容管理领域，存储空间、服务冗余和可靠性等都与成本有关。存储空间越大成本越高。设置的冗余越多成本越高。同样，可靠性越高成本也越高。今天许多云计算服务商隐藏了这些成本，并不等于这样的商业模式是可持续的。比如Google Photos最近宣布取消免费无限存储，并给每个免费账户设置15GB的上限。本专利技术的一个技术方案让用户来决定他需要什么样等级的服务，毕竟不是所有用户都需要99.99％的服务正常运行几率，而有些用户则要求99.999％的服务正常运行几率。

技术实现思路

[0012]本专利技术的一个方面提供一个管理和运行一个分层式计算机网络的方法。该方法包括(i)提供一个能提供网络服务的分层式计算机网络，该计算机网络由数层服务节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种管理和运行分层式计算机网络的方法，包含：(i)提供一个可提供网络服务的分层式计算机网络，其中该网络包含多个服务节点层级，每个服务节点提供一个节点服务；(ii)将同一层级的一个、两个或更多个服务节点分组为一个服务节点群(即DRU)，其中每个服务节点为同一服务节点群内的服务节点提供冗余；以及(iii)通过(1)将服务节点添加到服务节点群(即DRU)以线性增加网络服务正常运行几率或(2)从服务节点群(即DRU)中减少服务节点以线性减小网络服务的正常运行几率，来缩放该分层式计算机网络的网络服务的正常运行几率。2.根据权利要求1所述的方法，其中用于步骤(ii)的分组和步骤(iii)的缩放的多个层级的服务节点选自中心节点、区域节点、存储节点、控制节点、工作节点、审计节点或其它类型的服务节点。3.根据权利要求1所述的方法，其中如果步骤(ii)是将一个层级的一个服务节点分组到一个服务节点群(即一个DRU)，则该DRU的冗余度定义为1。4.根据权利要求1所述的方法，其中当步骤(ii)是将同一层级的n个服务节点分组到一个服务节点群(即一个DRU)时，则该DRU的冗余度定义为n，n≥2。5.根据权利要求1所述的方法，进一步包含：从同一层级的一个或多个DRU中选择一个服务节点群(即一个DRU),将所选的DRU提供给客户端，以供客户端自动选择和请求由所选DRU内的服务节点提供的节点服务，其中所选DRU内的服务节点根据其正常运行几率、地理临近性、容量或可用性等标准或者两个或更多个标准的组合进行排序，由所选DRU内的被选的服务节点提供所请求的节点服务，以及如果被选的服务节点未能提供所请求的节点服务，则根据所述一个或多个排序标准，挑选低于被选的服务节点的最接近的下一个服务节点以提供所请求的节点服务。6.根据权利要求1所述的方法，其中步骤(ii)的分组包含：使所述分层式计算机网络的终端用户和/或网络管理员能够完成该分组。7.根据权利要求1所述的方法，其中步骤(iii)的缩放包含：通过(1)向DRU添加服务节点以线性增加网络服务正常运行几率或(2)从DRU中减少服务节点以线性减小网络服务正常运行几率，使分层式计算机网络的终端用户和/或网络管理员能够主动和自愿地缩放网络服务正常运行几率。8.根据权利要求7所述的方法，其中所述“向DRU添加服务节点”包含：(A1)提供一个可用的服务节点的列表，并使该列表对终端用户和/或网络管理员可见，(A2)在所述列表中选择一个或多个服务节点，以及(A3)将所选的一个或多个服务节点添加到服务节点群中，以线性增加网络服务的正常运行几率。9.根据权利要求7所述的方法，其中所述“从DRU中减少服务节点”包含：(S1)使DRU中的所有服务节点对终端用户和/或网络管理员可见，(S2)在DRU中选择一个或多个服务节点，以及(S3)从DRU中移除所选的一个或多个服务节点以线性减小网络服务的正常运行几率。10.根据权利要求1所述的方法，进一步包含：
测量分层式计算机网络中的被评估的服务节点的正常运行几率，其中分层式计算机网络中的属于所述被评估服务节点的直接上级并管理所述被评估服务节点的上级服务节点记录每个被评估服务节点的打卡时间、累计停摆时间和注册时间；其中所述被评估服务节点定期地和自动地向所述上级服务节点提出打卡报告，所述上级服务节点根据所述被评估服务节点打卡报告的时间更新该被评估服务节点的打卡时间，并且所述上级服务节点能够侦测到所述被评估服务节点的故障；并且其中当侦测到所述故障时，所述故障致使所述上级服务节点增加所述被评估服务节点的累计停摆时间。11.根据权利要求1所述的方法，其中所述分层式计算机网络包含：一个存储节点，属于该存储节点的直接上级并管理(包含审计)该存储节点的区域节点，以及属于该区域节点的直接上级并管理(包含审计)该区域节点的中心节点。12.根据权利要求1所述的方法，其中所述分层式计算机网络进一步包含审计节点，该审计节点审计中心节点，并处理网络中所有其它节点提交的针对中心节点的投诉。13.根据权利要求1所述的方法，其中DRU服务的正常运行几率的计算公式如下：DRU服务的正常运行几率＝1
–
(1
–
RU1)(1
–
RU2)...(1
–
RU
n

【专利技术属性】
技术研发人员：何晓鹏，
申请(专利权)人：三S国际有限公司，
类型：发明
国别省市：