一种管理大数据组件配置文件的方法及系统技术方案

本申请公开了一种管理大数据组件配置文件的方法及系统，该方法包括：采用UI方式采集K8S集群中的大数据组件配置信息，根据该配置信息生成配置文件，然后将配置文件与其所匹配的应用程序分离，并实时监控配置文件的状态，当其状态发送变化时，及时通过UI发送升级信息，最后根据该升级信息对K8S集群中的大数据组件进行Pod升级和回退操作。该系统包括：UI模块、配置文件生成模块、配置文件管理模块、配置文件监控模块以及大数据组件管理模块。通过本申请，能够有效提高配置文件的管理效率和配置文件信息的准确性。

【技术实现步骤摘要】
一种管理大数据组件配置文件的方法及系统
本申请涉及大数据管理
，特别是涉及一种管理大数据组件配置文件的方法及系统。
技术介绍
随着大数据技术的发展，各种大数据组件应运而生。对大数据组件的配置文件进行管理，是大数据管理的重要内容。因此，如何管理大数据组件的配置文件，是个重要的技术问题。目前管理大数据组件配置文件的方法，通常是将大数据组件容器化，然后通过Kubernetes，也就是K8S进行编排、部署和运维已然成为大势所趋，但每个服务器部署一个K8S架构，在本地获取大数据，每个服务器上的大数据组件众多，每个组件自身包含的配置文件也比较多，组件之间具有较强的配置依赖，通常修改配置文件后，需要手动重启Pod，实现数据更新。然而，目前管理大数据组件配置文件的方法中，由于每个服务器部署一个K8S架构，对配置文件的管理效率较低。而且，需要配置文件修改后需要手动重启Pod，操作效率较低，工作人员忘记手动重启会导致虽然修改K8SPod，但是并不会升级相应的Pod，客户端收到的并不是更新后的配置文件，导致对配置文件的修改无效，进而导致对配置文件的管理效率较低。
技术实现思路
本申请提供了一种管理大数据组件配置文件的方法及系统，以解决现有技术中的管理方法对配置文件的管理效率较低问题。为了解决上述技术问题，本申请实施例公开了如下技术方案：一种管理大数据组件配置文件的方法，所述方法包括：采用UI(UserInterface，界面设计)方式，采集K8S集群中的大数据组件配置信息；根据所述配置信息生成配置文件；将所述配置文件与其所匹配的应用程序分离；实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，所述升级信息用于升级Pod；根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。可选地，所述采用UI方式，采集K8S集群中的大数据组件配置信息，包括：采用UI方式，获取大数据组件配置信息修改命令；根据所述修改命令，采集K8S集群中相应的大数据组件配置信息；以表单的方式提交所述配置信息。可选地，将所述配置文件与其所匹配的应用程序分离，包括：更新表单中的配置信息到相应的配置文件；根据所述配置文件生成K8SConfigMap资源对象；通过K8S部署大数据组件的容器；将所述K8SConfigMap资源对象挂载到所述容器中。可选地，所述实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，包括：定义配置文件的状态初始值；实时监测所述配置文件的哈希值；当后一时刻的哈希值与前一时刻的哈希值不同时，将配置文件的状态初始值修改为状态监测值；根据所述状态监测值生成升级信息；通过UI发送所述升级信息。可选地，根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作，包括：根据所述升级信息，提交Pod升级和回退操作的命令至K8S集群；获取K8S集群返回的响应结果；如果所述响应结果为合格，根据所述响应结果修改并保存配置文件的状态值；如果所述响应结果为不合格，重新根据所述升级信息，提交升级Pod和回退操作的命令至K8S集群直到响应结果合格为止。一种管理大数据组件配置文件的系统，所述系统包括：UI模块，用于采用UI方式，采集K8S集群中的大数据组件配置信息；配置文件生成模块，用于根据所述配置信息生成配置文件；配置文件管理模块，用于将所述配置文件与其所匹配的应用程序分离；配置文件监控模块，用于实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，所述升级信息用于升级Pod；大数据组件管理模块，用于根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。可选地，所述UI模块包括：命令获取单元，用于采用UI方式，获取大数据组件配置信息修改命令；收集单元，根据所述修改命令，采集K8S集群中相应的大数据组件配置信息；提交单元，用于以表单的方式提交所述配置信息；显示单元，用于查看大数据组件配置信息。可选地，所述配置文件管理模块包括：更新单元，用于更新表单中的配置信息到相应的配置文件；K8SConfigMap资源对象生成单元，用于根据所述配置文件生成K8SConfigMap资源对象；部署单元，用于通过K8S部署大数据组件的容器；挂载单元，用于将所述K8SConfigMap资源对象挂载到所述容器中。可选地，所述配置文件监控模块，包括：状态初始值定义单元，用于定义配置文件的状态初始值；哈希值监测单元，用于实时监测所述配置文件的哈希值；状态修改单元，用于当后一时刻的哈希值与前一时刻的哈希值不同时，将配置文件的状态初始值修改为状态监测值；升级信息生成单元，用于根据所述状态监测值生成升级信息；发送单元，用于通过UI发送所述升级信息。可选地，所述大数据组件管理模块，包括：命令提交单元，用于根据所述升级信息，提交Pod升级和回退操作的命令至K8S集群；响应结果获取单元，用于获取K8S集群返回的响应结果，当所述响应结果为合格时，启动配置文件状态值保存单元，当所述响应结果为不合格时，重新启动命令提交单元，直到响应结果合格为止；所述配置文件状态值保存单元，用于当所述响应结果为合格时，根据所述响应结果修改并保存配置文件的状态值。本申请的实施例提供的技术方案可以包括以下有益效果：本申请提供一种管理大数据组件配置文件的方法，该方法首先采用UI方式采集K8S集群中的大数据组件配置信息，根据该配置信息生成配置文件，然后将配置文件与其所匹配的应用程序分离，并实时监控配置文件的状态，当其状态发送变化时，及时通过UI发送升级信息，最后根据该升级信息对K8S集群中的大数据组件进行Pod升级和回退操作。本实施例采用UI方式采集K8S集群中的大数据组件配置信息，利用界面交互的方式与用户进行交互，通过页面展示供用户查看、修改和收集大数据组件的具体配置信息，这种方式更加直观，有利于提高配置信息采集的准确性和采集效率，从而提高对配置文件管理的效率。本实施例还将配置文件与其所匹配的应用程序进行分离，便于配置文件集中管理，从而实现多个服务器共用一个配置文件，提高配置文件的管理效率。而且由于配置文件与其所匹配的应用程序分离，使得容器化的应用程序可以被移植和复用，有利于进一步提高配置信息管理的灵活性和管理效率。本实施例通过实时监控配置文件的额状态，能够在配置文件状态发生变化时及时通过UI发送升级信息，避免只修改配置文件而未对相应的Pod进行升级的情况，确保对配置文件的修改是有效的，提高配置文件修改的及时性，提高配置文件信息的准确性，从而进一步提高对配置文件管理的效率。本申本文档来自技高网...

【技术保护点】
1.一种管理大数据组件配置文件的方法，其特征在于，所述方法包括：/n采用UI方式，采集K8S集群中的大数据组件配置信息；/n根据所述配置信息生成配置文件；/n将所述配置文件与其所匹配的应用程序分离；/n实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，所述升级信息用于升级Pod；/n根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。/n

【技术特征摘要】
1.一种管理大数据组件配置文件的方法，其特征在于，所述方法包括：
采用UI方式，采集K8S集群中的大数据组件配置信息；
根据所述配置信息生成配置文件；
将所述配置文件与其所匹配的应用程序分离；
实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，所述升级信息用于升级Pod；
根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。


2.根据权利要求1所述的一种管理大数据组件配置文件的方法，其特征在于，所述采用UI方式，采集K8S集群中的大数据组件配置信息，包括：
采用UI方式，获取大数据组件配置信息修改命令；
根据所述修改命令，采集K8S集群中相应的大数据组件配置信息；
以表单的方式提交所述配置信息。


3.根据权利要求2所述的一种管理大数据组件配置文件的方法，其特征在于，将所述配置文件与其所匹配的应用程序分离，包括：
更新表单中的配置信息到相应的配置文件；
根据所述配置文件生成K8SConfigMap资源对象；
通过K8S部署大数据组件的容器；
将所述K8SConfigMap资源对象挂载到所述容器中。


4.根据权利要求1所述的一种管理大数据组件配置文件的方法，其特征在于，所述实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，包括：
定义配置文件的状态初始值；
实时监测所述配置文件的哈希值；
当后一时刻的哈希值与前一时刻的哈希值不同时，将配置文件的状态初始值修改为状态监测值；
根据所述状态监测值生成升级信息；
通过UI发送所述升级信息。


5.根据权利要求1所述的一种管理大数据组件配置文件的方法，其特征在于，根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作，包括：
根据所述升级信息，提交Pod升级和回退操作的命令至K8S集群；
获取K8S集群返回的响应结果；
如果所述响应结果为合格，根据所述响应结果修改并保存配置文件的状态值；
如果所述响应结果为不合格，重新根据所述升级信息，提交升级Pod和回退操作的命令至K8S集群直到响应结果合格为止。


6.一种管理大数据组件配置文件的系统，其特征在于，所述系统包括：
UI模块，用于采用UI方式，采集K8S集群中的大数据组件...

【专利技术属性】
技术研发人员：谭博，崔守佳，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32