负荷控制装置及其方法制造方法及图纸

限制已向服务器（４）发送完毕但是未从服务器（４）返回应答的应答等待请求的数目。为进行该限制，如果应答等待请求数达到了阈值，则在缓冲器中临时存储接收到的请求，在应答等待请求数降低到低于阈值前使来自缓冲器的请求的发送等待。另外，监视服务器（４）的执行状况，在对于服务器（４）的请求的应答时间在允许范围内时使所述阈值增大，在该应答时间超过允许范围的场合，使所述阈值减小。进而，集约负荷控制装置（３）和客户机（１－１、…、１－ｎ）之间的ＴＣＰ连接，以使服务器（４）和负荷控制装置（３）之间的连接的同时连接数成为应答等待请求数的阈值以下。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术用于一种装置，该装置，被配置在客户机和服务器之间，从客户机接收请求向服务器传送，向客户机传送对于该请求从服务器返回的应答。特别是，涉及请求的调度。另外，在本说明书中，将着眼于Web服务器进行说明，但是不一定限制本专利技术的对于其他服务器的应用。
技术介绍
伴随因特网的普及，已经能够通过网络利用各种服务。邮件、主页的阅览、检索、在线交易、IP电话、点播视频等，是这些服务的例子。这些网络服务能够以各种形态提供，但是近年来，作为与客户机的接口，Web服务器的利用成为主流。使用Web服务器的服务(Web服务)的基本的结构如下。首先，客户机对于Web服务器发送赋予了识别希望取得的内容的URL(统一资源定位器)的请求。当Web服务器接收到请求时，把与请求中的URL对应的内容作为应答向客户机回送。通过该请求—应答的重复，提供Web服务。作为传送请求—应答的通信协议，使用HTTP(超文本传输协议)。在本说明书中，把进行Web服务的服务器系统全体称为Web服务器，把在Web服务器上处理HTTP协议的功能称为HTTP服务器，把生成与请求对应的内容的功能称为Web应用。另外，作为通过Web服务提供的内容现在广泛使用视频和声音的流。流的基本的结构如下。首先，客户机的Web浏览器从Web服务器取得流内容的元文件。在元文件中，记述流内容的URL。同时，Web浏览器起动与元文件的扩展符关联的播放器(流再生用程序)。然后，根据在从Web服务器取得的元文件中表示的URL，播放器对于流服务器请求流内容的发送。最后，流服务器对于播放器发送流数据。-->在流中服务器一般在流内容的再生控制中使用RTSP(实时流协议)协议。RTSP协议是以HTTP协议为基础的协议，在客户机和服务器之间，通过收发请求和对于请求的应答，再生控制流内容。作为RTSP的请求能够使用的主要的方法，有初始设定(SETUP)、再生(PLAY)、停止(TEARDOWN)等。在RTSP中，因为同时控制多个流，所以有对话的概念。亦即在RTSP中，把从播放器发送SETUP请求到发送TEARDOWN请求、流结束视作为一次对话。于是，当流服务器从播放器接收SETUP请求时，发行唯一的对话ID。把对话ID赋予应答，通知客户机。通过把通知播放器的对话ID赋予后续的请求，能够识别在流服务器中成为控制对象的对话。随着Web服务的普及，为舒适地利用服务的课题也日益变得明确起来。作为该课题之一，可以举出服务利用集中时的对过剩通信的应对。作为服务利用集中的例子，有由于人气高的名牌的股票或者票据的买卖而引起的请求集中、或者灾害发生时的慰问电话等。另外，也有由有恶意的客户机大量发送F5攻击等的无意义的请求的场合。由于这些原因，当向服务器过剩地发送请求时，服务器的请求处理性能会降低。请求过剩时服务器的请求处理性能降低的原因如下。亦即，第一，伴随服务器处理不完的请求的接收的，诸如中断、TCP/IP处理这样的输入输出开销增加。第二，处理请求的线程或者进程数增大，作为线程或者进程的切换处理所需要的开销的上下文切换开销表面化。第三，因为向客户机返回应答的应答时间增加，所以等待不来应答的客户机会中途撤消请求。这些结果，就会产生服务器越是拥挤，服务器的处理性能越是降低这样的问题。图1是表示由于请求过剩引起的Web服务器的处理性能降低的实验结果。横轴表示输入请求率，纵轴表示通过量。在图1中，对于某Web服务器，变化输入请求率即每单位时间的请求数(rps)来发送请求。然后，测量通过量，即Web服务器每单位时间能够完成的请求数(rps)。如图1所示，如果输入请求率在一定范围内，则通过量对于输入率成比例(图1直线(a))。但是，当达到Web服务器的最大通过量时，通过量转而降低(图1直线(c))。所以，即使在接收超过Web服务器的最大性能的请求的场合，可以说也需要能够沿-->图1虚线(b)、维持Web服务器的最大性能的技术。为参考起见，图2表示出理想的通过量的举动。为防止由于过剩的通信量引起服务器性能降低，提出了预先限制向服务器发送的请求量的方法。作为限制请求量的指标，使用(a)TCP连接数、(b)服务器负荷状态、(c)带宽、(d)并列度等。(a)在使用TCP连接数的场合，通过决定可同时连接的TCP连接数的上限，试图避免服务器的过负荷。在Apache等的通用的HTTP服务器、负荷分散系统等中使用。但是，由于请求的种类、客户机的线路速度等，对于每一TCP连接其负荷有很大的不同。因此，会出现在达到TCP连接数的上限前，服务器已经成为过负荷，或者反之服务器资源即使有余，由于TCP连接数已经达到上限，所以不能建立新的TCP连接这样的问题。(b)在使用服务器的负荷状态的场合，从CPU占有率、存储器使用量、应答时间等推测服务器的负荷状态，判定是否过负荷，在判定为过负荷的场合，进行新的请求的传送、拒绝等用于使减轻服务器的负荷的通信量控制。但是，因为在判定是过负荷后才开始进行通信量控制，所以不能避免服务器暂时性的降低性能。(c)在使用带宽的场合，使用整形器等的带宽控制功能，限制到达服务器的通信量。但是，带宽不是正确测量服务器的负荷的指标。例如，图像文件的下载，占用大的带宽，但是施加给服务器上的负荷较小。因此，通过带宽限制，不容易充分灵活使用服务器的资源，同时不容易确实避免过负荷。(d)在使用并列度的场合，限制服务器同时执行的线程或者进程数。由此能够削减伴随处理请求的线程或者进程数的增大的上下文切换开销。作为控制并列度的具体例，有扩展HTTP服务器使在页单位上限制并列度的文献(松沼正浩、日比野秀章、佐藤芳树、光来健一、千叶滋著“改善过负荷时的web应用的性能恶化的Session-Level Queue Scheduling”，第二届可靠软件研讨班(DSW’05)，pp.105-114，2005年1月)。但是，即使在服务器上控制并列度，也不能避免作为请求处理性能降低的第一原因的、伴随服务器处理不完的请求的接收的中断、TCP/IP处理等的开销。其结果，和其他的方法同样，会发生过剩通信时的服务器的处理性能降低。另外，因为需要HTTP-->服务器或者Web应用的变更，所以有向已经在运用中的服务的导入障碍高的问题。作为控制并列度的再一例，有流服务器的对话数限制。亦即，一般在流服务器中给能够同时保持的对话数设定上限。由此，避免伴随对话数的增大而产生的服务器的过负荷。但是，对话数的限制，并不是限制通过RTSP进行的控制请求的接收。因此，当RTSP请求向流服务器集中时，会产生对于请求的处理开销表面化，而流服务器的处理性能降低这样的问题。服务器的性能降低，如图3(a)所示，由于通过新请求的接收使中断、输入输出、上下文切换开销等增加而产生。为了消除这样的开销，最大限度地发挥服务器的性能，如图3(b)，在服务器中的处理结束的瞬间下一请求到达是理想的。在该场合，没有由服务器处理不完的请求的接收而引起的开销。另外，在服务器中不产生从处理结束到下一请求到达的空闲的时间。
技术实现思路
本专利技术是在这样的背景下做出的，其目的在于，提供一种负荷控制装置及其方法，其能够避免在接收过剩请求时的服务器的性能降低。本专利技术的负荷控制装置，被配置在客户机和服务器之间，居中本文档来自技高网...

【技术保护点】
一种负荷控制装置（３），其被配置在客户机（１－１、…、１－ｎ）和服务器（４）之间，向所述服务器（４）发送从所述客户机（１－１、…、１－ｎ）接收到的请求，向所述客户机（１－１、…、１－ｎ）发送对于该请求从所述服务器（４）返回的应答，其特征在于，　具有限制已向所述服务器（４）发送完毕但是未从所述服务器（４）返回应答的应答等待请求的数的单元，　该进行限制的单元具有：　若应答等待请求数达到了阈值，则临时存储接收到的请求的缓冲器；和　在应答等待请求数下降到低于阈 值前，使来自所述缓冲器的请求的发送等待的单元。

【技术特征摘要】
【国外来华专利技术】JP 2006-4-26 122196/2006;JP 2006-7-3 183392/2006;J1.一种负荷控制装置(3)，其被配置在客户机(1-1、...、1-n)和服务器(4)之间，向所述服务器(4)发送从所述客户机(1-1、...、1-n)接收到的请求，向所述客户机(1-1、...、1-n)发送对于该请求从所述服务器(4)返回的应答，其特征在于，具有限制已向所述服务器(4)发送完毕但是未从所述服务器(4)返回应答的应答等待请求的数的单元，该进行限制的单元具有：若应答等待请求数达到了阈值，则临时存储接收到的请求的缓冲器；和在应答等待请求数下降到低于阈值前，使来自所述缓冲器的请求的发送等待的单元。2.根据权利要求1所述的负荷控制装置(3)，其中，所述阈值是比1大的值。3.根据权利要求1所述的负荷控制装置(3)，具有以下单元：监视服务器(4)的执行状况的单元；和根据该进行监视的单元的监视结果在对于所述服务器(4)的请求的应答时间在允许范围内时增大所述应答等待请求数的阈值、而在该应答时间超过允许范围的场合减小所述应答等待请求数的阈值的单元。4.根据权利要求1所述的负荷控制装置(3)，具有以下单元：监视服务器(4)的执行状况的单元；根据该进行监视的单元的监视结果对于应答等待请求数的每一阈值测定在每单位时间服务器(4)已处理的请求数的通过量的单元；和在对于现在的阈值的通过量高于对于比现在的阈值小的阈值的通过量的场合增大阈值，而在对于现在的阈值的通过量低于对于比现在的阈值小的阈值的通过量的场合减小阈值的单元。5.根据权利要求3或4所述的负荷控制装置(3)，具有以下单元：判定应答等待请求数是否达到了其阈值的单元；和在达到了阈值的场合判定是否增大或者减小阈值的单元。6.根据权利要求1所述的负荷控制装置(3)，具有下述的单元，亦即，为了使所述服务器(4)和自己(3)之间的TCP连接的同时连接数成为所述应答等待请求数的阈值以下，集约自己(3)和所述客户机(1-1、...、1-n)之间的TCP连接的单元。7.根据权利要求1所述的负荷控制装置(3)，其中，所述缓冲器具有根据发送源客户机(1-1、...、1-n)的识别信息优先控制请求的单元。8.根据权利要求1所述的负荷控制装置(3)，其中，所述缓冲器具有根据是否在请求中的特定的位置或者范围内包含特定的模式来优先控制请求的单元。9.根据权利要求1所述的负荷控制装置(3)，其中，所述缓冲器具有根据请求中的特定的变量是否比预先设定的阈值大来优先控制请求的单元。10.根据权利要求1所述的负荷控制装置(3)，其中，所述缓冲器具有根据请求是否已被加密来优先控制请求的单元。11.根据权利要求1所述的负荷控制装置(3)，其中，所述缓冲器具有对于存储了规定时间以上的请求通知忙消息的单元。12.根据权利要求1所述的负荷控制装置(3)，其中，所述服务器(4)是Web服务器，所述缓冲器具有根据请求的页显示的显示优先级来优先控制请求的单元。13.根据权利要求1所述的负荷控制装置(3)，其中，所述请求通过TCP连接从客户机(1-1、...、1-n)向负荷控制装置(3)发送，所述缓冲器具有下述的单元，亦即，根据在客户机和负荷控制装置之间连接的其他的TCP连接的有无或者TCP连接的数以及该请求是否是TCP连接...

【专利技术属性】
技术研发人员：榑林亮介，石田修，太田聪，林经正，尾花和昭，
申请(专利权)人：日本电信电话株式会社，
类型：发明
国别省市：JP[日本]