基于Kubernetes的数据发现和安全访问方法技术

本发明专利技术公开了一种基于Kubernetes的数据发现和安全访问方法，设置数据平台运营方并在数据平台运营方构建一个Kubernetes管理节点，在各个数据提供方分别构建一个Kubernetes工作节点作为数据节点，由管理节点和数据节点构成数据平台，数据提供方通过向管理节点挂载数据源控制器，并在自身挂载数据源代理，通过数据源代理将数据源信息推送到数据源控制器，数据源控制器将数据访问代理部署至数据节点，数据使用方通过管理节点在数据提供方部署数据访问程序，并通过访问程序向数据访问代理进行数据访问。本发明专利技术基于Kubernetes设备插件设置了一种数据安全访问框架，以实现多源数据的发现管理与安全访问。

【技术实现步骤摘要】
基于Kubernetes的数据发现和安全访问方法
本专利技术属于信息
，更为具体地讲，涉及一种基于Kubernetes的数据发现和安全访问方法。
技术介绍
在传统的大数据应用场景中，数据集中式的计算模式十分普遍。但随着数据成为一种生产资料，各数据持有方开始重视自己的数据权益问题。为了防止数据在公共链路上直接传输带来的风险，业界开始分离应用与数据，将应用部署到数据持有方可控的环境内执行，这一方式能够有效避免数据外传产生的权益风险。但是这种分派应用到不同的数据节点计算的方式，存在着三个主要问题：1、如何实现多源数据的集中管理；2、如何实现数据发现和数据目录的功能；3、如何实现数据的访问代理控制。而这些问题，也导致了“数据孤岛”现象难以被打破。Kubernetes是一个开源的、用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效，Kubernetes提供了应用部署，规划，更新，维护的一种机制。目前Kubernetes设备插件的主流使用方式仍是用于挂载边缘设备作为资源，主要是针对硬件设备的管理与使用调度方向，其中以gpu为典型代表，尚无Kubernetes设备插件应用于数据安全访问的相关记载。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于Kubernetes的数据发现和安全访问方法，基于Kubernetes设备插件设置了一种数据安全访问框架，以实现多源数据的发现管理与安全访问。为了实现上述专利技术目的，本专利技术基于Kubernetes的数据发现和安全访问方法包括以下步骤：S1：在数据提供方和数据使用方之间设置数据平台运营方，在数据平台运营方构建一个Kubernetes管理节点，在各个数据提供方分别构建一个Kubernetes工作节点作为数据节点，由管理节点和数据节点构成数据平台；管理节点端运行Kubernetes组件，包括API服务器、Kubernetes调度管理模块和状态同步数据库，并且在管理节点端设置一个公共镜像仓库，数据节点端运行Kubelet组件；S2：采用以下方法进行数据发现：S2.1：数据提供方向管理节点挂载用于数据源管理的数据源控制器，该数据源控制器遵循Kubernetes的控制器开发规范；S2.2：数据提供方根据所拥有数据的数据源，为每个数据源开发一个数据访问代理程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中；数据访问代理程序包含数据源的访问驱动、访问ip限制、访问权限控制功能与接口；S2.3：数据提供方根据数据源控制器的开发规范、数据源控制器接口以及数据访问代理程序中的配置信息，对管理节点端的API服务器接口进行拓展，生成自定义访问接口，用于数据源代理和数据源控制器之间的数据通信，自定义接口中针对不同数据源分别配置相应的数据访问方法和参数；S2.4：数据提供方在自己持有的数据节点端挂载数据源代理，数据源代理是符合Kubernetes设备插件规范的grpc服务；S2.5：数据提供方将所要提供的数据在数据源代理进行数据源注册，注册所需要的数据源信息包括数据源的唯一标识、数据源的描述、数据字典及数据访问地址；数据源注册成功后，数据源代理将该数据源信息通过步骤S2.3中生成的API服务器的自定义访问接口向管理节点端的数据源控制器进行推送；S2.6：数据源控制器在接收到数据源信息后，检测数据源对应的访问代理在数据节点端是否存在，如果已经存在，则不作任何操作；如果不存在，则生成数据访问代理部署请求，包括数据访问代理程序、对应数据源所在位置和数据访问方式，通过步骤S2.3中生成的API服务器的自定义接口下发至数据源代理；数据源代理在接收到数据访问代理部署请求后，由所在数据节点端的kubelet组件根据该部署请求，从管理节点端的公共镜像仓库中拉取指定的数据访问代理镜像，并根据镜像为指定数据源创建数据访问代理；S2.7：在数据访问代理部署完成后，管理节点端的数据源控制器通过Kubernetesservice暴露该数据访问代理的服务信息，同时在将该数据源的相关信息添加至数据目录中，数据源相关信息包括数据源信息、数据所在数据节点信息、数据访问方式；S3：数据使用方采用以下方法进行数据访问：S3.1：数据使用方通过管理节点端的数据源控制器查询所需使用的数据源信息，并根据对应访问代理的数据访问方式定制开发数据访问程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中；S3.2：数据使用方通过步骤S2.3中生成的API服务器的自定义接口向管理节点的API服务器发起数据访问程序部署请求，在该请求中指定访问代理并提供相关的访问参数，API服务器根据预先设置的权限管理规则对数据使用方的数据访问程序部署请求进行权限验证，如果权限验证通过则进入步骤S3.3，否则向数据使用方反馈权限未通过信息；S3.3：管理节点端的Kubernetes调度管理模块通过步骤S2.3中生成的API服务器的自定义访问接口，将数据使用方的数据访问程序部署请求转发至对应数据源所在数据节点；S3.4：数据节点端的kubelet组件根据数据访问程序部署请求从公共镜像仓库中拉取对应数据访问程序镜像，将访问程序以pod的形式运行；S3.5：数据使用方通过访问程序向数据访问代理进行数据访问，在数据访问过程中，数据访问代理根据其所设置的权限控制规则对数据访问程序进行权限校验与流量控制。本专利技术基于Kubernetes的数据发现和安全访问方法，设置数据平台运营方并在数据平台运营方构建一个Kubernetes管理节点，在各个数据提供方分别构建一个Kubernetes工作节点作为数据节点，由管理节点和数据节点构成数据平台，数据提供方通过向管理节点挂载数据源控制器，并在自身挂载数据源代理，通过数据源代理将数据源信息推送到数据源控制器，数据源控制器将数据访问代理部署至数据节点，数据使用方通过管理节点在数据提供方部署数据访问程序，并通过访问程序向数据访问代理进行数据访问。本专利技术具有以下有益效果：1)本专利技术通过基于Kubernetes设备插件挂载数据源并暴露数据源代理访问的方式来达到数据的安全访问控制；2)本专利技术可以对于同一数据提供方权属的不同类型数据提供一个统一的管理方式，而数据提供方则只需要根据不同数据源的存储特性定制开发不同的数据访问代理程序即可。附图说明图1是本专利技术基于Kubernetes的数据发现和安全访问方法的具体实施方式流程图；图2是本专利技术中数据平台的结构图；图3是本专利技术中数据发现的流程图；图4是本专利技术中数据访问的流程图。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。实施例图1是本专利技术基本文档来自技高网...

【技术保护点】
1.一种基于Kubernetes的数据发现和安全访问方法，其特征在于，包括以下步骤：/nS1：在数据提供方和数据使用方之间设置数据平台运营方，在数据平台运营方构建一个Kubernetes管理节点，在各个数据提供方分别构建一个Kubernetes工作节点作为数据节点，由管理节点和数据节点构成数据平台；管理节点端运行Kubernetes组件，包括API服务器、Kubernetes调度管理模块和状态同步数据库，并且在管理节点端设置一个公共镜像仓库，数据节点端运行Kubelet组件；/nS2：采用以下方法进行数据发现：/nS2.1：数据提供方向管理节点挂载用于数据源管理的数据源控制器，该数据源控制器遵循Kubernetes的控制器开发规范；/nS2.2：数据提供方根据所拥有数据的数据源，为每个数据源开发一个数据访问代理程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中；数据访问代理程序包含数据源的访问驱动、访问ip限制、访问权限控制功能与接口；/nS2.3：数据提供方根据数据源控制器的开发规范、数据源控制器接口以及数据访问代理程序中的配置信息，对管理节点端的API服务器接口进行拓展，生成自定义访问接口，用于数据源代理和数据源控制器之间的数据通信，自定义接口中针对不同数据源分别配置相应的数据访问方法和参数；/nS2.4：数据提供方在自己持有的数据节点端挂载数据源代理，数据源代理是符合Kubernetes设备插件规范的gRPC服务；/nS2.5：数据提供方将所要提供的数据在数据源代理进行数据源注册，注册所需要的数据源信息包括数据源的唯一标识、数据源的描述、数据字典及数据访问地址；/n数据源注册成功后，数据源代理将该数据源信息通过步骤S2.3中生成的API服务器的自定义访问接口向管理节点端的数据源控制器进行推送；/nS2.6：数据源控制器在接收到数据源信息后，检测数据源对应的访问代理在数据节点端是否存在，如果已经存在，则不作任何操作；如果不存在，则生成数据访问代理部署请求，包括数据访问代理程序、对应数据源所在位置和数据访问方式，通过步骤S2.3中生成的API服务器的自定义接口下发至数据源代理；/n数据源代理在接收到数据访问代理部署请求后，由所在数据节点端的kubelet组件根据该部署请求，从管理节点端的公共镜像仓库中拉取指定的数据访问代理镜像，并根据镜像为指定数据源创建数据访问代理；/nS2.7：在数据访问代理部署完成后，管理节点端的数据源控制器通过Kubernetesservice暴露该数据访问代理的服务信息，同时在将该数据源的相关信息添加至数据目录中，数据源相关信息包括数据源信息、数据所在数据节点信息、数据访问方式；/nS3：数据使用方采用以下方法进行数据访问：/nS3.1：数据使用方通过管理节点端的数据源控制器查询所需使用的数据源信息，并根据对应访问代理的数据访问方式定制开发数据访问程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中；/nS3.2：数据使用方通过步骤S2.3中生成的API服务器的自定义接口向管理节点的API服务器发起数据访问程序部署请求，在该请求中指定访问代理并提供相关的访问参数，API服务器根据预先设置的权限管理规则对数据使用方的数据访问程序部署请求进行权限验证，如果权限验证通过则进入步骤S3.3，否则向数据使用方反馈权限未通过信息；/nS3.3：管理节点端的Kubernetes调度管理模块通过步骤S2.3中生成的API服务器的自定义访问接口，将数据使用方的数据访问程序部署请求转发至对应数据源所在数据节点；/nS3.4：数据节点端的kubelet组件根据数据访问程序部署请求从公共镜像仓库中拉取对应数据访问程序镜像，将访问程序以pod的形式运行；/nS3.5：数据使用方通过访问程序向数据访问代理进行数据访问，在数据访问过程中，数据访问代理根据其所设置的权限控制规则对数据访问程序进行权限校验与流量控制。/n...

【技术特征摘要】
1.一种基于Kubernetes的数据发现和安全访问方法，其特征在于，包括以下步骤：
S1：在数据提供方和数据使用方之间设置数据平台运营方，在数据平台运营方构建一个Kubernetes管理节点，在各个数据提供方分别构建一个Kubernetes工作节点作为数据节点，由管理节点和数据节点构成数据平台；管理节点端运行Kubernetes组件，包括API服务器、Kubernetes调度管理模块和状态同步数据库，并且在管理节点端设置一个公共镜像仓库，数据节点端运行Kubelet组件；
S2：采用以下方法进行数据发现：
S2.1：数据提供方向管理节点挂载用于数据源管理的数据源控制器，该数据源控制器遵循Kubernetes的控制器开发规范；
S2.2：数据提供方根据所拥有数据的数据源，为每个数据源开发一个数据访问代理程序，并将其制作成容器镜像上传至管理节点的公共镜像仓库中；数据访问代理程序包含数据源的访问驱动、访问ip限制、访问权限控制功能与接口；
S2.3：数据提供方根据数据源控制器的开发规范、数据源控制器接口以及数据访问代理程序中的配置信息，对管理节点端的API服务器接口进行拓展，生成自定义访问接口，用于数据源代理和数据源控制器之间的数据通信，自定义接口中针对不同数据源分别配置相应的数据访问方法和参数；
S2.4：数据提供方在自己持有的数据节点端挂载数据源代理，数据源代理是符合Kubernetes设备插件规范的gRPC服务；
S2.5：数据提供方将所要提供的数据在数据源代理进行数据源注册，注册所需要的数据源信息包括数据源的唯一标识、数据源的描述、数据字典及数据访问地址；
数据源注册成功后，数据源代理将该数据源信息通过步骤S2.3中生成的API服务器的自定义访问接口向管理节点端的数据源控制器进行推送；
S2.6：数据源控制器在接收到数据源信息后，检测数据源对应的访问代理在数据节点端是否存在，如果已经存在，则不作任何操作；如果不存在，则生成数据访问代理部署请求，包括数据访问代理程序、对应数据源所在位置和数据访问方式，通过步骤S2.3中生成的API服务器的自定义接口下发至数据源代理；
...

【专利技术属性】
技术研发人员：陈虹，林婧，丘志杰，
申请(专利权)人：北京链道科技有限公司，
类型：发明
国别省市：北京;11