一种用于应用pod控制的数据处理系统技术方案

本申请提供一种用于应用pod控制的数据处理系统，包括：控制服务器和应用运行服务器，控制服务器与应用运行服务器连接；应用运行服务器内运行有若干应用，每一应用包括若干子应用，每一应用具有唯一的调用端口；控制服务器执行：响应于到达设定时间，从应用运行服务器内的若干子应用中，确定出若干待扩容子应用；获取每一待扩容子应用对应的待扩容数量；若待扩容数量之和Num

【技术实现步骤摘要】
一种用于应用pod控制的数据处理系统


[0001]本申请涉及数据处理领域，尤其涉及一种用于应用pod控制的数据处理系统。

技术介绍

[0002]现今，很多的应用都直接在k8s(kubernetes)系统上进行部署。使得每一应用的子应用可以依托于其单独对应的pod进行运行。但每一个pod都有配置上限，如一个pod一分钟内能够支撑最大调用次数是有上限的。而若在一分钟内，该pod被调用的次数超过了这个上限，则会到这一些调用请求出现请求失败的问题出现。故而，在这种情况下，很多系统会对当前的调用数量过高的子应用进行扩容处理，即增加子应用对应的pod的数量。
[0003]但如果，同一时间内，整体增加的pod的数量过多，则会导致系统出现不稳定的情况，反而会导致系统的整体调用失败率剧增的情况出现。

技术实现思路

[0004]有鉴于此，本申请提供一种用于应用pod控制的数据处理系统，至少部分解决现有技术中存在的问题。
[0005]在本申请的一方面，提供一种用于应用pod控制的数据处理系统，包括：控制服务器和应用运行服务器，所述控制服务器与应用运行服务器连接；所述应用运行服务器内运行有若干应用，每一所述应用包括若干子应用，每一所述应用具有唯一的调用端口；每一子应用具有至少一个与其唯一对应的pod。
[0006]所述控制服务器用于执行以下步骤：
[0007]S100，响应于到达设定时间，从所述应用运行服务器内的若干子应用中，确定出若干待扩容子应用；所述待扩容子应用为需要增加其对应的pod的数量的子应用。
[0008]S200，获取每一待扩容子应用对应的待扩容数量Num1,Num2,...,Num
e
,...,Num
w
，e＝1,2,...,w；其中，w为所述待扩容子应用的数量，Num
e
为第e个待扩容子应用对应的待扩容数量。
[0009]S300，若Num1+Num2+...+Num
e
+...+Num
w
＞Num
max
，则进入步骤S400；Num
max
为预设的扩容数量阈值。
[0010]S400，从w个待扩容子应用中确定出至少一个目标待扩容子应用。至少一个目标待扩容子应用对应的待扩容数量之和小于或等于Num
max
。
[0011]S500，向所述应用运行服务器发送扩容指令，以使所述应用运行服务器为每一所述目标待扩容子应用增加数量为其对应的待扩容数量的pod。
[0012]本申请提供的用于应用pod控制的数据处理系统，通过单独设置的控制服务器，从所述应用运行服务器内的若干子应用中，确定出若干待扩容子应用。并在待扩容子应用对应的待扩容数量只和大于预设的扩容数量阈值时，从w个待扩容子应用中确定出至少一个目标待扩容子应用，以此保证至少一个目标待扩容子应用对应的待扩容数量之和小于或等于Num
max
。这样，即使确定出的待扩容子应用对应的待扩容数量只和大于Num
max
时，也不会直
接进行扩容，从而出现因为整体增加的pod的数量过多，使得系统的整体调用失败率剧增的情况。
附图说明
[0013]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0014]图1为本申请实施例提供的一种用于应用pod控制的数据处理系统中控制服务器执行步骤的流程示意图；
[0015]图2为本申请实施例提供的一种用于应用pod控制的数据处理系统中调用关系图的示意图。
具体实施方式
[0016]下面结合附图对本申请实施例进行详细描述。
[0017]需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0018]需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0019]名词解释：
[0020]pod：在Kubernetes集群中，pod是所有业务类型的基础，也是K8S管理的最小单位级，它是一个或多个容器的组合。
[0021]在本申请的一方面，提供一种用于应用pod控制的数据处理系统，包括：控制服务器和应用运行服务器，所述控制服务器与应用运行服务器连接；所述应用运行服务器内运行有若干应用，每一所述应用包括若干子应用，每一所述应用具有唯一的调用端口。即每一应用仅具有一共提供给外部进行调用的接口。外部设备可以通过向调用端口发送调用请求实现应用中子应用的调用。
[0022]每一子应用具有至少一个与其唯一对应的pod。其中，应用运行服务器可以为Kubernetes集群中的服务器。
[0023]请参考图1所示，所述控制服务器用于执行以下步骤：
[0024]S100，响应于到达设定时间，从所述应用运行服务器内的若干子应用中，确定出若干待扩容子应用；所述待扩容子应用为需要增加其对应的pod的数量的子应用。
[0025]S200，获取每一待扩容子应用对应的待扩容数量Num1,Num2,...,Num
e
,...,Num
w
，e＝1,2,...,w；其中，w为所述待扩容子应用的数量，Num
e
为第e个待扩容子应用对应的待扩
容数量。
[0026]S300，若Num1+Num2+...+Num
e
+...+Num
w
＞Num
max
，则进入步骤S400；Num
max
为预设的扩容数量阈值。
[0027]S400，从w个待扩容子应用中确定出至少一个目标待扩容子应用；至少一个目标待扩容子应用对应的待扩容数量之和小于或等于Num
max
。
[0028]S500，向所述应用运行服务器发送扩容指令，以使所述应用运行服务器为每一所述目标待扩容子应用增加数量为其对应的待扩容数量的pod。
[0029]本实施例提供的用于应用pod控制的数据处理系统，通过单独设置的控制服务器，从所述应用运行服务器内的若干子应用中，确定出若干待扩容子应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于应用pod控制的数据处理系统，其特征在于，包括：控制服务器和应用运行服务器，所述控制服务器与应用运行服务器连接；所述应用运行服务器内运行有若干应用，每一所述应用包括若干子应用，每一所述应用具有唯一的调用端口；每一子应用具有至少一个与其唯一对应的pod；所述控制服务器用于执行以下步骤：S100，响应于到达设定时间，从所述应用运行服务器内的若干子应用中，确定出若干待扩容子应用；所述待扩容子应用为需要增加其对应的pod的数量的子应用；S200，获取每一待扩容子应用对应的待扩容数量Num1,Num2,...,Num
e
,...,Num
w
，e＝1,2,...,w；其中，w为所述待扩容子应用的数量，Num
e
为第e个待扩容子应用对应的待扩容数量；S300，若Num1+Num2+...+Num
e
+...+Num
w
＞Num
max
，则进入步骤S400；Num
max
为预设的扩容数量阈值；S400，从w个待扩容子应用中确定出至少一个目标待扩容子应用；至少一个目标待扩容子应用对应的待扩容数量之和小于或等于Num
max
；S500，向所述应用运行服务器发送扩容指令，以使所述应用运行服务器为每一所述目标待扩容子应用增加数量为其对应的待扩容数量的pod。2.根据权利要求1所述的用于应用pod控制的数据处理系统，其特征在于，所述步骤S400，包括以下步骤：S411，获取每一待扩容子应用预设的优先级参数A1,A2,...,A
e
,...,A
w
；其中，A
e
为第e个待扩容子应用对应的预设的优先级参数；S412，遍历A1,A2,...,A
e
,...,A
w
，若A
e
≥β，则将A
e
对应的待扩容子应用确定为目标待扩容子应用，否则，将A
e
对应的待扩容子应用确定为候选待扩容子应用；β为预设的优先级参数阈值；S413，获取第一目标列表MA＝(MA1,MA2,...,MA
μ
,...,MA
λ
)和第二目标列表MB＝(MB1,MB2,...,MB
g
,...,MB
h
)，μ＝1,2,...,λ，g＝1,2,...,h，λ+h＝w；其中，λ为当前确定出的目标待扩容子应用的数量，h为当前确定出的候选待扩容子应用的数量；MA
μ
为第μ个目标待扩容子应用对应的待扩容数量，MB
g
为第g个候选待扩容子应用对应的待扩容数量；S414，若MA1+MA2+...+MA
μ
+...+MA
λ
＜Num
max
，则进入步骤S420；S420，分别获取MB1,MB2,...,MB
g
,...,MB
h
对应的候选待扩容子应用对应的调用链长度信息DL1,DL2,...,DL
g
,...,DL
h
；其中，DL
g
为MB
g
对应的候选待扩容子应用的调用链长度信息，所述调用链长度信息表示当其对应的候选待扩容子应用被调用时，能够触发被调用的其他子应用的最大数量；S421，对DL1,DL2,...,DL
g
,...,DL
h
进行排序，得到DL
11
,DL
12
,...,DL
1g
,...,DL
1h
；其中，DL
11
＞DL
12
＞...＞DL
1g
＞...＞DL
1h
；S422，确定第一数量s；其中，DL
11
,DL
12
,...,DL
1s
对应的待扩容数量之和大于Num
target
，DL
11
,DL
12
,...,DL
1s
‑1对应的待扩容数量之和小于或等于Num
target
，Num
target
＝Num
max
‑
(MA1+MA2+...+MA
μ
+...+MA
λ
)，s＜h；S423，将DL
11
,DL
12
,...,DL
1s
‑1对应的候选待扩容子应用确定为目标待扩容子应用，并进
入步骤S500。3.根据权利要求2所述的用于应用pod控制的数据处理系统，其特征在于，所述步骤S414，进一步包括：S4141，若MA1+MA2+...+MA
μ
+...+MA
λ
＞Num
max
，则进入步骤S430；S430，获取第三目标列表MC＝(MC1,MC2,...,MC
μ
,...,MC
λ
)；其中，MC
μ
为MA
μ
对应的调整后数量，S431，遍历MA1,MA2,...,MA
μ
,...,MA
λ
，令MA
μ
＝MC
μ
，并进入步骤S500。4.根据权利要求1所述的用于应用pod控制的数据处理系统，其特征在于，所述步骤S400，包括以下步骤：S440，获取每一待扩容子应用的目标参数D1,D2,...,D
e
,...,D
w
；其中，D
e
为第e个待扩容子应用对应的目标参数；D
e
＝(Qps1
e
‑
Qps2
e
)/Δt；Qps1
e
为第e个待扩容子应用在第一子时间窗口内被调用的次数，Qps2
e
为第e个待扩容子应用在第二子时间窗口内被调用的次数，所述第一子时间窗口的结束时间为所述设定时间，所述第二子时间窗口的结束时间为所述第一子时间窗口的开始时间，所述第一子时间窗口和所述第二子时间窗口的长度均为Δt；S441，遍历Num1,Num2,...,Num
e
,...,Num
w
，令Num
e
＝Num
max
*D
e
/(D1+D2+...+D
e
+...,D
w
)；S442，将每一待扩容子应用确定为目标待扩容子应用。5.根据权利要求1所述的用于应用pod控制的数据处理系统，其特征在于，所述步骤S100，包括以下步骤：S110，响应与达到设定时间，获取目标应用在目标时间窗口内的调用...

【专利技术属性】
技术研发人员：高栋，刘春磊，杨毅，佟业新，唐红武，曲新奎，吴启彪，贵福胜，
申请(专利权)人：中航信移动科技有限公司，
类型：发明
国别省市：