HDFS容器化服务系统、方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种HDFS容器化服务系统、方法、装置、设备及存储介质，属于大数据处理技术领域。本申请通过接收容器化的HDFS系统创建指令，调用第一预设配置模板，生成第一配置文件，并将第一配置文件发送至存储集群，以使存储集群根据第一配置文件，在本地存储中分配指定大小的存储空间，并使用对应的存储空间创建容器化的HDFS系统，从而实现根据配置文件动态分配存储空间，并且由于使用了本地存储作为文件存储空间，进而实现提供了一个灵活高效的HDFS的容器存储服务，大大提升用户的体验。大大提升用户的体验。大大提升用户的体验。

【技术实现步骤摘要】
HDFS容器化服务系统、方法、装置、设备及存储介质


[0001]本申请涉及大数据处理
，尤其涉及一种HDFS容器化服务系统、方法、装置、设备及存储介质。

技术介绍

[0002]近年来，随着计算机技术的发展，大数据运用技术在以互联网为代表的行业中得到了广泛的应用，越来越多的研究和应用领域都在大数据处理技术中得到支撑。并且在现在的发展趋势中我们可以看出，未来各行各业中，大数据运用的技术一定会给我们的生活带来革命性的影响。
[0003]而在大数据应用环境下，大数据的存储显得尤为重要，针对于各种不同场景的数据存储需求和大规模数据处理，对于数据存储的高效以及灵活性的需求也越来越大。
[0004]在传统的大数据存储中，是以分布式文件系统做HDFS存储的，而其带来的问题也突显出来，虚拟化和层叠存储系统开销大、性能不足，并且容器的容量受限，而在容器中挂载本地文件系统，又使得存储空间的生命周期的管理复杂且存储空间大小分配不灵活。因此，如何解决容器化存储空间配置不灵活是我们亟待解决的问题。
[0005]上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0006]为解决上述技术问题，本申请提出了一种分布式文件系统(HDFS)容器化服务系统、方法、装置、设备及存储介质。在该方法中，通过基于云原生的HDFS容器管理系统接收容器化的HDFS系统创建指令，调用第一预设配置模板，生成对应的第一配置文件，并将第一配置文件发送给存储集群，从而存储集群根据第一配置文件创建容器化的HDFS系统，这样使得用户可以通过配置文件快速创建容器化的HDFS系统，大大的增加了容器化存储空间配置的灵活性，从而提升了用户体验。
[0007]第一方面，提供一种HDFS容器化服务系统。该系统包括：存储集群、基于云原生的HDFS容器管理系统、容器化的HDFS系统和动态存储分配系统，所述基于云原生的HDFS容器管理系统、所述容器化的HDFS系统和所述动态存储分配系统运行在所述存储集群中，所述基于云原生的HDFS容器管理系统与所述存储集群进行数据交互，所述存储集群与所述动态存储分配系统进行数据交互；所述基于云原生的HDFS容器管理系统，用于：接收所述容器化的HDFS系统创建指令，根据所述容器化的HDFS系统创建指令调用第一预设配置模板，生成所述容器化的HDFS系统创建指令对应的第一配置文件，将所述第一配置文件发送至所述存储集群，和/或，接收所述容器化的HDFS系统修改指令，根据所述容器化的HDFS系统修改指令调用第二预设配置模板，生成所述容器化的HDFS系统修改指令对应的第二配置文件，将所述第二配置文件发送至所述存储集群，和/或，接收所述容器化的HDFS系统注销指令，根据所述容器化的HDFS系统注销指令调用第三预设配置模板，生成所述容器化的HDFS系统注
销指令对应的第三配置文件；将所述第三配置文件发送至所述存储集群；所述存储集群，用于：接收所述第一配置文件，根据所述第一配置文件生成存储新建指令，将所述存储新建指令发送至所述动态存储分配系统，以使所述动态存储分配系统分配第一存储，并返回所述第一存储的路径，接收所述第一存储的路径，并根据第一配置文件修改所述容器化的HDFS系统，和/或，接收所述第二配置文件，根据所述第二配置文件生成存储修改指令，将所述存储修改指令发送至所述动态存储分配系统，以使所述动态存储分配系统分配第二存储，并返回所述第二存储的路径，接收所述第二存储的路径，并根据第二配置文件修改所述容器化的HDFS系统，和/或，接收所述第三配置文件，根据所述第三配置文件生成存储注销指令，将所述存储注销指令发送至所述动态存储分配系统，以使所述动态存储分配系统注销所述第三配置文件对应的存储；根据第三配置文件注销所述容器化的HDFS系统；所述动态存储分配系统，用于：接收所述第一配置文件，根据所述第一配置文件分配所述第一存储，和/或，接收所述第二配置文件，根据所述第二配置文件分配所述第二存储，和/或，接收所述第三配置文件，根据所述第三配置文件注销所述第三配置文件对应的存储；所述容器化的HDFS系统，用于：存储大数据处理中的数据文件。这样，用户可以通过修改预设的配置模板来灵活的修改指定存储大小的容器化的HDFS系统，同时也可以对容器化的HDFS系统进行存储空间的大小进行调整以及注销容器化的HDFS系统，不仅便于容器化HDFS系统存储空间的维护，也提升了用户体验。
[0008]根据第一方面，所述的基于云原生的HDFS容器管理系统，还用于：按照预设端口生成规则，在所述第一配置文件中添加所述容器化的HDFS系统对外访问端口。
[0009]根据第一方面，或者以上第一方面的任意一种实现方式，所述存储集群，还用于：根据所述第一配置文件，配置所述容器化的HDFS系统通信端口。
[0010]根据第一方面，或者以上第一方面的任意一种实现方式，所述存储集群，还用于：将本地磁盘挂载至所述容器化的HDFS系统中。
[0011]第二方面，提供一种HDFS容器化服务方法，应用于HDFS容器化服务系统，所述系统包括：存储集群、基于云原生的HDFS容器管理系统、容器化的HDFS系统和动态存储分配系统，所述基于云原生的HDFS容器管理系统、所述容器化的HDFS系统和所述动态存储分配系统运行在所述存储集群中，所述基于云原生的HDFS容器管理系统与所述存储集群进行数据交互，所述存储集群与所述动态存储分配系统进行数据交互；所述方法包括：接收所述容器化的HDFS系统创建指令；根据所述容器化的HDFS系统创建指令调用所述第一预设配置模板，生成所述第一配置文件；将所述第一配置文件发送至所述存储集群，以使所述存储集群根据所述第一配置文件创建所述容器化的HDFS系统。
[0012]根据第二方面，所述方法还包括：所述根据所述容器化的HDFS系统修改指令调用所述第一预设配置模板，生成所述第一配置文件之后，还包括：按照预设端口生成规则，在所述第一配置文件中添加所述容器化HDFS系统对外访问端口。
[0013]根据第二方面，或者以上第二方面的任意一种实现方式，所述方法还包括：所述将所述第一配置文件发送至所述存储集群，以使所述存储集群根据所述第一配置文件修改所述容器化的HDFS系统之后，还包括：接收所述容器化的HDFS系统注销指令；根据所述容器化的HDFS系统注销指令调用所述三预设配置模板，生成所述第三配置文件；将所述第三配置文件发送至所述存储集群，以使所述存储集群根据所述第三配置文件注销所述容器化的
HDFS系统。
[0014]第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
[0015]此外，为实现上述目的，本申请还提出一种HDFS容器化服务装置，所述HDFS容器化服务装置包括：
[0016]指令接收模块，用于接收所述容器化的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种HDFS容器化服务系统，其特征在于，所述HDFS容器化服务系统，包括：存储集群、基于云原生的HDFS容器管理系统、容器化的HDFS系统和动态存储分配系统，所述基于云原生的HDFS容器管理系统、所述容器化的HDFS系统和所述动态存储分配系统运行在所述存储集群中，所述基于云原生的HDFS容器管理系统与所述存储集群进行数据交互，所述存储集群与所述动态存储分配系统进行数据交互；所述基于云原生的HDFS容器管理系统，用于：接收所述容器化的HDFS系统创建指令，根据所述容器化的HDFS系统创建指令调用第一预设配置模板，生成所述容器化的HDFS系统创建指令对应的第一配置文件，将所述第一配置文件发送至所述存储集群，和/或，接收所述容器化的HDFS系统修改指令，根据所述容器化的HDFS系统修改指令调用第二预设配置模板，生成所述容器化的HDFS系统修改指令对应的第二配置文件，将所述第二配置文件发送至所述存储集群，和/或，接收所述容器化的HDFS系统注销指令，根据所述容器化的HDFS系统注销指令调用第三预设配置模板，生成所述容器化的HDFS系统注销指令对应的第三配置文件；将所述第三配置文件发送至所述存储集群；所述存储集群，用于：接收所述第一配置文件，根据所述第一配置文件生成存储新建指令，将所述存储新建指令发送至所述动态存储分配系统，以使所述动态存储分配系统分配第一存储，并返回所述第一存储的路径，接收所述第一存储的路径，并根据第一配置文件修改所述容器化的HDFS系统，和/或，接收所述第二配置文件，根据所述第二配置文件生成存储修改指令，将所述存储修改指令发送至所述动态存储分配系统，以使所述动态存储分配系统分配第二存储，并返回所述第二存储的路径，接收所述第二存储的路径，并根据第二配置文件修改所述容器化的HDFS系统，和/或，接收所述第三配置文件，根据所述第三配置文件生成存储注销指令，将所述存储注销指令发送至所述动态存储分配系统，以使所述动态存储分配系统注销所述第三配置文件对应的存储；根据第三配置文件注销所述容器化的HDFS系统；所述动态存储分配系统，用于：接收所述第一配置文件，根据所述第一配置文件分配所述第一存储，和/或，
接收所述第二配置文件，根据所述第二配置文件分配所述第二存储，和/或，接收所述第三配置文件，根据所述第三配置文件注销所述第三配置文件对应的存储；所述容器化的HDFS系统，用于：存储大数据处理中的数据文件。2.根据权利要求1所述的系统，其特征在于，所述基于云原生的HDFS容...

【专利技术属性】
技术研发人员：黄林，黄进军，林健，
申请(专利权)人：东云睿连武汉计算技术有限公司，
类型：发明
国别省市：