System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种BI-Server集群部署方法技术_技高网

一种BI-Server集群部署方法技术

技术编号:40029696 阅读:7 留言:0更新日期:2024-01-16 18:02
本申请涉及一种BI‑Server集群部署方法,根据BI产品的系统架构,利用Docker封装所述系统架构中的各个主体应用,得到若干Docker虚拟机;将所述Docker虚拟机部署于Kubernetes应用上,通过所述Kubernetes,基于负载均衡策略,实现各个所述Docker虚拟机的部署、扩展与维护管理,以此使得BI产品的各个应用独立部署,可以通过Kubernetes对BI系统进行分布式部署和管理,通过Kubernetes架构,即可替代人工,对各个机器进行及时有效地运维、部署处理,进行统一管理,降低主体之间的调度难度,为了方便运维和工作。

【技术实现步骤摘要】

本公开涉及bi,尤其涉及一种bi-server集群部署方法、系统和电子设备。


技术介绍

1、bi(business inteligence)是一种主要由数据仓库、数据分析、查询报表、数据可视化等组成的数据类技术解决方案。如附图1所示的bi产品,主要由应用系统(bi webserver前端、bi backend server后台)、spark计算引擎、minion存储系统和运维系统组成。其中,bi后台(服务器)---bi backend server,通常负责元数据管理、认证权限、任务调度、引擎计算和数据存储,通常采用元数据库mysql、cassandra缓存服务,实现bi数据的计算缓存和数据存储。

2、作为智能商业服务系统,bi产品为了维持正常运转,需要运维和升级。需要bi webserver对接来自前端用户的数据并转发至bi后台;需要bi运维系统负责bi运维。因此,需要合理地架构bi产品的各个服务模块/系统,让架构体系中各个服务模块/系统满足用户对系统的便捷应用。

3、然而,在实际中,为了运维的任务分配和工作性质,系统架构中的各个服务模块/系统,不可能都处于后台维检工作人员的个人管理之下,这是因为:

4、一方面,客户的机器通常有限,而且维检工作人员的能力有限,不可能对各个机器进行及时有效地运维、部署处理;

5、另一方面,为了方便运维和工作,也需要对各个服务模块/系统进行单边部署,但是后续又难以对bi服务系统中的各个应用节点,进行统一管理。但是各个服务模块/系统比较分散,服务模块/系统的应用子功能也比较繁多,主体之间难以调度。

6、因此,需要有一个bi服务管理系统,统一实现对各个服务模块/系统的主体管理和任务调度。


技术实现思路

1、为了解决上述问题,本申请提出一种bi-server集群部署方法、系统和电子设备。

2、本申请一方面,提出一种bi-server集群部署方法,包括如下步骤:

3、根据bi产品的系统架构,利用docker封装所述系统架构中的各个主体应用,得到若干docker虚拟机,包括:bi web server前端、bi backend server后台、spark计算引擎、minion存储系统和运维系统;

4、将所述docker虚拟机部署于kubernetes应用上,通过所述kubernetes,基于负载均衡策略,实现各个所述docker虚拟机的部署、扩展与维护管理。

5、作为本申请的一可选实施方案,可选地,所述kubernetes包含master管理节点和若干node应用节点:

6、所述master管理节点,用于基于负载均衡策略,管理控制各个所述node应用节点的调度工作;

7、所述node应用节点,用于运行所配置的所述docker虚拟机,并向所述master管理节点实时上报各自的运行状态。

8、作为本申请的一可选实施方案,可选地,将所述docker虚拟机部署于kubernetes应用上,通过所述kubernetes,基于负载均衡策略,实现各个所述docker虚拟机的部署、扩展与维护管理,包括:

9、收集所述docker虚拟机的配置信息;

10、将各个所述docker虚拟机的配置信息上报至所述master管理节点;

11、所述master管理节点,读取各个所述docker虚拟机的配置信息,从所述配置信息中识别出各个所述docker虚拟机的应用资源容量;

12、依次记录下各个所述docker虚拟机的所述应用资源容量。

13、作为本申请的一可选实施方案,可选地,将所述docker虚拟机部署于kubernetes应用上,通过所述kubernetes,基于负载均衡策略,实现各个所述docker虚拟机的部署、扩展与维护管理,还包括:

14、所述master管理节点,接收并读取各个所述node应用节点的状态信息;

15、从所述状态信息中的当前容量值,判断出容量可用的所述node应用节点,作为node可用节点:

16、t≥0.3~1t,

17、t为node可用节点的当前容量值,t为额定容量值;

18、所述master管理节点,对所述node应用节点的当前容量值t和各个所述docker虚拟机的所述应用资源容量,基于负载均衡策略进行资源配置,将所述docker虚拟机部署至相应的所述node应用节点。

19、作为本申请的一可选实施方案,可选地,将所述docker虚拟机部署于kubernetes应用上,通过所述kubernetes,基于负载均衡策略,实现各个所述docker虚拟机的部署、扩展与维护管理,还包括:

20、当所述node应用节点被部署有相应的所述docker虚拟机之后:

21、将被部署的所述docker虚拟机的部署信息,随同各自的所述状态信息,上报至所述master管理节点;

22、所述master管理节点根据所述node应用节点随同上报的所述部署信息,记录下各个所述node应用节点中所部署的所述docker虚拟机,并通知管理员。

23、作为本申请的一可选实施方案,可选地,将所述docker虚拟机部署于kubernetes应用上,通过所述kubernetes,基于负载均衡策略,实现各个所述docker虚拟机的部署、扩展与维护管理,还包括:

24、在所述master管理节点进行资源配置之时:

25、将封装所述spark计算引擎的所述docker虚拟机,横向部署至独立的一个所述node应用节点上,与其他主体应用所在的所述docker虚拟机,呈分布式部署结构。

26、本申请另一方面,提出一种实现所述bi-server集群部署方法的系统,包括:

27、docker封装模块,用于根据bi产品的系统架构,利用docker封装所述系统架构中的各个主体应用,得到若干docker虚拟机,包括:bi web server前端、bi backend server后台、spark计算引擎、minion存储系统和运维系统;

28、kubernete管理模块,用于将所述docker虚拟机部署于kubernetes应用上,通过所述kubernetes,基于负载均衡策略,实现各个所述docker虚拟机的部署、扩展与维护管理。

29、本申请另一方面,还提出一种bi-server集群部署方法电子设备,包括:

30、处理器;

31、用于存储处理器可执行指令的存储器;

32、其中,所述处理器被配置为执行所述可执行指令时实现所述的一种bi-server集群部署方法。

33、本专利技术的技术效果:

34、本申请根据bi产品的系统架构,利用docker封装所述系统架构中的各个主体应用,得到若干docker本文档来自技高网...

【技术保护点】

1.一种BI-Server集群部署方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的BI-Server集群部署方法,其特征在于,所述Kubernetes包含master管理节点和若干Node应用节点:

3.根据权利要求2所述的BI-Server集群部署方法,其特征在于,将所述Docker虚拟机部署于Kubernetes应用上,通过所述Kubernetes,基于负载均衡策略,实现各个所述Docker虚拟机的部署、扩展与维护管理,包括:

4.根据权利要求3所述的BI-Server集群部署方法,其特征在于,将所述Docker虚拟机部署于Kubernetes应用上,通过所述Kubernetes,基于负载均衡策略,实现各个所述Docker虚拟机的部署、扩展与维护管理,还包括:

5.根据权利要求4所述的BI-Server集群部署方法,其特征在于,将所述Docker虚拟机部署于Kubernetes应用上,通过所述Kubernetes,基于负载均衡策略,实现各个所述Docker虚拟机的部署、扩展与维护管理,还包括:

6.根据权利要求4所述的BI-Server集群部署方法,其特征在于,将所述Docker虚拟机部署于Kubernetes应用上,通过所述Kubernetes,基于负载均衡策略,实现各个所述Docker虚拟机的部署、扩展与维护管理,还包括:

7.一种实现权利要求1-6中任一项所述BI-Server集群部署方法的系统,其特征在于,包括:

8.一种BI-Server集群部署方法电子设备,其特征在于,包括:

...

【技术特征摘要】

1.一种bi-server集群部署方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的bi-server集群部署方法,其特征在于,所述kubernetes包含master管理节点和若干node应用节点:

3.根据权利要求2所述的bi-server集群部署方法,其特征在于,将所述docker虚拟机部署于kubernetes应用上,通过所述kubernetes,基于负载均衡策略,实现各个所述docker虚拟机的部署、扩展与维护管理,包括:

4.根据权利要求3所述的bi-server集群部署方法,其特征在于,将所述docker虚拟机部署于kubernetes应用上,通过所述kubernetes,基于负载均衡策略,实现各个所述docker虚拟机的部署、扩展与维护...

【专利技术属性】
技术研发人员:赵佳王鼎超史栋赖兴荣
申请(专利权)人:杭州观远数据有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1