一种用于确定流处理请求等级的服务器制造技术

本发明专利技术涉及一种用于确定流处理请求等级的服务器，包括接收端口，分析装置和分配端口。本发明专利技术通过分析流处理执行单元的工作动态评估流处理请求的处理等级，以用于解决如何确定执行所述流处理请求任务的流处理执行单元的技术问题。

A server for determining the level of stream processing requests.

The invention relates to a server for determining the level of stream processing request, including a receiving port, an analysis device and a distribution port. The present invention evaluates the processing level of a flow processing request by analyzing the work dynamic of the flow processing execution unit to solve the technical problem of how to determine the flow processing execution unit that executes the flow processing request task.

【技术实现步骤摘要】
一种用于确定流处理请求等级的服务器
本专利技术属于计算机数据处理领域，尤其涉及一种用于确定流处理请求等级的服务器。
技术介绍
现在，计算机数据处理技术已经在各个领域都得到了深入应用，根据数据处理的特点分为实时处理和流式处理，其中，实时处理对数据处理的时间有严格的要求，需要在极短的时间内完成处理，其处理的数据量通常较小，与实时处理相对应，为流式处理(流处理)，其特点是对处理时间没有严格的要求，其处理的数据量通常非常大，但数据的处理需要相应的处理时间，因此，当接收的数据流速率比处理的数据流速率高时，则会出现，待处理的数据越积越多，会引起数据阻塞。特别是随着互联网的飞速发展，基于网络的音视频传输流量也越来越大，网络音、视频流已深入到了人们的日常生活，例如：音、视频流的编解码服务、格式转化服务等等，这对流处理请求服务能够得到及时响应提出了新的要求。一种常用的避免流处理请求服务阻塞的做法是提高数据流的处理速度，如采用计算性能更好的数据处理单元，因而对硬件的成本要求更高。因此，通常采用另外一种做法，即通过调度的方式将不同的流处理请求分配给多个不同的数据处理单元，从而降低流处理请求服务的延迟。常用的随机调度手段虽然简单，但由于不考虑数据处理单元的运行情况，在实践中，常常会出现系统资源浪费的情况，从而导致整体运行效率降低。所以，如何将流处理请求高效的分配给流数据处理单元是流处理技术中关键技术之一。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出了一种服务器，其用于确定流处理请求等级。本专利技术采用的技术方案如下，包括：接收端口，与网络侧连接，接收来自网络侧网络上的请求方的流处理请求；分析装置，对所述接收的流处理请求按照预先设定的规则进行分析，确定所述流处理请求的处理等级，分配端口，与流处理侧连接，按照所述的处理等级将所述流处理请求发送给位于流处理侧指定的执行服务器，优选的，所述执行服务器至少包括二台独立的流处理执行单元,每个执行单元定期将其工作状态发送给所述分析装置；所述分析装置还包括一数据库，用于保存接收到的各执行单元最新的工作状态。优选的，所述工作状态包括执行单元的运行负载率和存储器的使用率，所述流处理执行单元的工作状态的信息值按照如下步骤确定：1)获取执行单元的运行负载率Pcpu,所述运行负载率为执行单元的处理器的使用率；2)获取执行单元的存储器的使用率Pmem，所述使用率为存储器被使用的空间占总空间的比例；3)计算执行单元工作状态的信息值：Si＝α×(1-Pcpu)+β×(1-Pmem)，其中Si为工作状态的信息值，其中下标i为执行单元的编号，α和β为加权系数，满足α+β≤1。优选的，所述接收端口接收到流处理请求时，根据请求的参数确定所述流处理请求的处理等级，其中，所述请求的参数包括数据流的类型和长度，包括如下步骤：(1)计算执行服务器的空置率Pt，其中，M为执行服务器所包括的执行单元的总数，Si为接收到的执行服务器中的编号为i的执行单元的工作状态的信息值；(2)计算L＝Round(A×Pt+B)，其中，Round为按照四舍五入的方式取整的函数，其中L为所述流处理请求的处理等级,A为与所述数据流的类型相关的类型调整系数，当类型为视频类型时，A＝1,当类型为音频类型时，A＝2，当类型为其他类型是，A＝3；B为与所述数据流的长度相关的长度调整系数，且B＝L/1000,其中，L的单位为兆字节(MB)。优选的，所述α和β为0.6和0.4。优选的，按照所述的处理等级将所述流处理请求发送给位于流处理侧指定的执行服务器包括如下步骤：1)计算所述处理等级与所述执行服务器中的各执行单元处理能力等级的差值的绝对值；2)发送所述流处理请求到所述执行服务器的指定执行单元，所述指定的执行单元的编号为从上述绝对值中的最小值对应的执行单元的编号。本专利技术的有益效果至少包括：基于流处理服务器的负荷情况，动态调整流处理服务器的处理能力等级，避免流处理服务器出现数据处理不及时所引起的数据阻塞现象，且极大提高了流处理服务器群的执行效率。【附图说明】此处所说明的附图是用来提供对本专利技术的进一步理解，构成本申请的一部分，但并不构成对本专利技术的不当限定，在附图中：图1是本专利技术系统所应用的系统结构图。【具体实施方式】下面将结合附图以及具体实施例来详细说明本专利技术，其中的示意性实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定。参见附图1，其示出了本专利技术所述的用于确定流处理请求等级的服务器的结构图。流处理任务分配服务器包括接口端口、分析装置及其数据库和分配端口，接口端口通过通信链路连接到互联网，以接收来自于网络的流处理请求，接收到流处理请求后，将流处理请求的相关参数提交给分析装置，所述参数包括流处理请求的数据类型和长度，分析装置从其连接的数据库中提取执行服务器定期发送并保存在数据库中的各执行单元的最新的工作状态。当分配端口将流处理请求转发给执行服务器中的指定执行单元后，执行单元与发出流处理请求的请求方通过网络建立数据通信，流处理请求方持续地将待处理的数据流发送给所述执行单元，所述执行单元执行流处理任务，将处理完成的数据返回给流处理请求方。为了提高执行单元的使用率，执行单元通常执行多个不同的流处理任务。可见，如果流处理请求被持续分配给一个执行单元，所述执行单元的工作负载将越来越大，最终会出现处理能力不足导致不能正常处理所接收的待处理数据，而引起数据阻塞的情形，因此需要将流处理请求分配给匹配的执行单元。在本实施例中，分析装置利用上述最新的工作状态信息值计算各个执行单元的运行负载率Pcpu和存储器的使用率Pmem，它们分别为各所述执行单元的处理器的使用率和各个所述存储器中被使用的空间占总空间的比例。为了便于理解，本实施例采用了具有4个执行单元的执行服务器，当前的工作状态信息如下表第1-3列所示(为了节省篇幅，表格中直接列出了(1-Pcpu)和(1-Pmem)的计算值)，针对本实施例的视频解压缩处理的应用场景，处理器的处理能力需求高于存储器的容量需求，可设置加权系数α和β分别为0.6和0.4。为了使得执行单元的处理能力保持一定的余量，可设置能力调整系数k为0.8。由这些信息，可计算出各个执行单元的工作状态信息值，如下表第4列所示。执行单元编号1-Pcpu1-PmemSPE00.510.70.5610.30.90.540.4320.20.30.240.1930.80.50.680.54由上述计算得到各个执行单元的工作状态信息值S，进一步得到所述包含4个执行单元的执行服务器的空置率当此时接收端口接收到一流处理器请求，其参数中的要求处理的数据类型为视频数据，长度为2014兆字节(MB)，为单位,则可确定该流处理请求的处理等级L:L＝Round(A×Pt+B)＝Round(1×0.54+2014/1000)＝3计算流处理请求的处理等级与各执行单元的处理能力等级的差值的绝对值，如下表所示。执行单元编号PEABS(PE-L)00.562.4410.432.5720.192.8130.542.46其中编号为0的执行单元的处理能力等级与流处理请求的处理等级的差值绝对值最小，因此，分析装置通过分配端口将所述流处理器请求发送给执行服务器中编号为0的执行单元执行流处本文档来自技高网...

【技术保护点】
1.一种用于确定流处理请求等级的服务器，其特征在于：接收端口，与网络侧连接，接收来自网络侧网络上的请求方的流处理请求；分析装置，对所述接收的流处理请求按照预先设定的规则进行分析，确定所述流处理请求的处理等级，分配端口，与流处理侧连接，按照所述的处理等级将所述流处理请求发送给位于流处理侧指定的执行服务器。

【技术特征摘要】
1.一种用于确定流处理请求等级的服务器，其特征在于：接收端口，与网络侧连接，接收来自网络侧网络上的请求方的流处理请求；分析装置，对所述接收的流处理请求按照预先设定的规则进行分析，确定所述流处理请求的处理等级，分配端口，与流处理侧连接，按照所述的处理等级将所述流处理请求发送给位于流处理侧指定的执行服务器。2.如权利要求1所述的用于确定流处理请求等级的服务器，其特征在于：所述执行服务器包括至少二台独立的流处理执行单元,每个执行单元定期将其工作状态发送给所述分析装置；所述分析装置还包括一数据库，用于接收和保存各执行单元最新的工作状态。3.如权利要求2所述的用于确定流处理请求等级的服务器，其特征在于：所述工作状态包括执行单元的运行负载率和存储器的使用率，所述流处理执行单元的工作状态的信息值按照如下步骤确定：1)获取执行单元的运行负载率Pcpu,所述运行负载率为执行单元的处理器的使用率；2)获取执行单元的存储器的使用率Pmem，所述使用率为存储器被使用的空间占总空间的比例；3)计算执行单元工作状态的信息值和执行单元的处理能力等级：S＝α×(1-Pcpu)+β×(1-Pmem)，PE＝k×S，其中S为工作状态的信息值，α和β为加权系数，且满足α+β≤1，PE为执行单元的处理能力等级，k为能力调整系数，且k小于等于1。4.如权利...

【专利技术属性】
技术研发人员：熊兆，任丽君，黄玉甫，
申请(专利权)人：航天星图科技北京有限公司，
类型：发明
国别省市：北京,11