一种数据抽取方法、系统、设备以及介质技术方案

本发明专利技术公开了一种数据抽取方法，包括以下步骤：将基于微服务架构构建的前端UI项目包和后台服务项目包迁移到kubernetes集群；收集kubernetes集群所在的环境信息；将环境信息分别写入前端UI项目包和后台服务项目包的配置文件；利用前端UI项目包的配置文件生成前端UI项目包对应的镜像以及利用后台服务项目包的配置文件生成后台服务项目包的镜像，并将镜像分别部署到kubernetes集群的容器中；通过前端UI项目包对应的容器接收数据抽取指令，并向后台服务项目包对应的容器发起访问请求，以实现数据抽取。本发明专利技术提出的方案对前端UI和后台服务模块利用微服务架构实现，仅需少量地编辑部分配置文件即可做到多场景下的兼容与运行，保证高可用。

【技术实现步骤摘要】
一种数据抽取方法、系统、设备以及介质
本专利技术涉及数据抽取领域，具体涉及一种数据抽取方法、系统、设备以及存储介质。
技术介绍
常规的设计与部署中，系统运行与数据管理之间存在着较大的物理分离，数据具有明显的独立性，对于有些大型系统，在设计上具有非常大的复杂度，解决方案多样化，但是数据的管理方式在设计时往往会趋于一致地遵从业界统一的原则进行标准化实现。通常来说，为获得足够的高可靠性与高可用性，信息系统往往会利用独立的数据库管理系统存储和管理所要处理的数据，数据库管理系统可以通过众多数据操控手段提供非常好的解决方案，信息系统中所有可预见的数据操作流程基本上可以在数据库管理系统中获得满足。数据作用如此重要，某些场景下将其进行迁移往往存在着比较亟需的特殊需要，如果系统中数据规模非常大，数据复杂度多样化，而且在迁移过程中还有着比较特殊的计算需要，那么处理这种问题时会变得非常棘手，像传统那样的定制化数据功能开发显然不具备通用性而且很难做到复杂场景下的准确处理，所以，如何探寻优良的解决方案同时又可以保证高可用是个很大的难题。
技术实现思路
有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种数据抽取方法，包括以下步骤：将基于微服务架构构建的前端UI项目包和后台服务项目包迁移到kubernetes集群；收集所述kubernetes集群所在的环境信息；将所述环境信息分别写入所述前端UI项目包和所述后台服务项目包的配置文件；利用所述前端UI项目包的配置文件生成所述前端UI项目包对应的镜像以及利用所述后台服务项目包的配置文件生成所述后台服务项目包的镜像，并将所述镜像分别部署到所述kubernetes集群的容器中；通过所述前端UI项目包对应的容器接收数据抽取指令，并向所述后台服务项目包对应的容器发起访问请求，以实现数据抽取。在一些实施例中，向所述后台服务项目包对应的容器发起访问请求，进一步包括：所述kubernetes集群将所述访问请求分发至多个正常状态的副本以实现数据抽取。在一些实施例中，通过所述前端UI项目包对应的容器接收数据抽取指令，并向所述后台服务项目包对应的容器发起访问请求，进一步包括：响应于所述前端UI项目包对应的容器检测到源数据库对应的对象被拖拽到第一预设位置，向所述后台服务项目包对应的容器发送源数据库的配置信息以及待抽取数据，以建立与所述源数据库的连接；响应于所述前端UI项目包对应的容器检测到目标数据库对应的对象被拖拽到第二预设位置，向所述后台服务项目包对应的容器发送目标数据库的配置信息，以建立与所述目标数据库的连接；响应于所述前端UI项目包对应的容器接收到执行数据抽取的指令，向所述后台服务项目包对应的容器发起访问请求以实现所述待抽取数据由所述源数据库迁移到所述目标数据库。在一些实施例中，还包括：通过有向箭头将所述第一预设位置与所述第二预设位置进行连接。在一些实施例中，还包括：将待抽取的数据从所述源数据库中检索出并封装成数据对象返回所述前端UI项目包对应的容器以进行展示。在一些实施例中，还包括：响应于所述前端UI项目包对应的容器接收到数据检索的指令，将待检索的字段和相应的数据值进行封装后发送到所述后台服务项目包对应的容器，以使所述后台服务项目包对应的容器在相应的数据库检索所述待检索的字段并进行反馈。在一些实施例中，还包括：响应于所述前端UI项目包对应的容器接收到数据修改指令，将待修改的数据进行封装后发送到所述后台服务项目包对应的容器，以使所述后台服务项目包对应的容器在相应的数据库修改所述待修改的数据并进行反馈。基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种数据抽取系统，包括：迁移模块，所述迁移模块配置为将基于微服务架构构建的前端UI项目包和后台服务项目包迁移到kubernetes集群；收集模块，所述收集模块配置为收集所述kubernetes集群所在的环境信息；写入模块，所述写入模块配置为将所述环境信息分别写入所述前端UI项目包和所述后台服务项目包的配置文件；部署模块，所述部署模块配置为利用所述前端UI项目包的配置文件生成所述前端UI项目包对应的镜像以及利用所述后台服务项目包的配置文件生成所述后台服务项目包的镜像，并将所述镜像分别部署到所述kubernetes集群的容器中；数据抽取模块，所述数据抽取模块配置为通过所述前端UI项目包对应的容器接收数据抽取指令，并向所述后台服务项目包对应的容器发起访问请求，以实现数据抽取。基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种数据抽取方法的步骤。基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种数据抽取方法的步骤。本专利技术具有以下有益技术效果之一：本专利技术提出的方案对前端UI和后台服务模块利用微服务架构实现，保持开放性实现思想，在打包部署到生产环境时因地制宜，巧妙地仅需少量地编辑部分配置文件即可做到多场景下的兼容与运行，充分利用kubernetes内置的负载均衡，保证高可用。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本专利技术的实施例提供的数据抽取方法的流程示意图；图2为本专利技术的实施例提供的数据抽取系统的结构示意图；图3为本专利技术的实施例提供的计算机设备的结构示意图；图4为本专利技术的实施例提供的计算机可读存储介质的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。需要说明的是，在本专利技术的实施例中，ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。Kettle是一个开源的ETL工具，由Java开发，支持Windows、Linux、Unix。根据本专利技术的一个方面，本专利技术的实施例提出一种数据抽取方法，如图1所示，其可本文档来自技高网...

【技术保护点】
1.一种数据抽取方法，其特征在于，包括以下步骤：/n将基于微服务架构构建的前端UI项目包和后台服务项目包迁移到kubernetes集群；/n收集所述kubernetes集群所在的环境信息；/n将所述环境信息分别写入所述前端UI项目包和所述后台服务项目包的配置文件；/n利用所述前端UI项目包的配置文件生成所述前端UI项目包对应的镜像以及利用所述后台服务项目包的配置文件生成所述后台服务项目包的镜像，并将所述镜像分别部署到所述kubernetes集群的容器中；/n通过所述前端UI项目包对应的容器接收数据抽取指令，并向所述后台服务项目包对应的容器发起访问请求，以实现数据抽取。/n

【技术特征摘要】
1.一种数据抽取方法，其特征在于，包括以下步骤：
将基于微服务架构构建的前端UI项目包和后台服务项目包迁移到kubernetes集群；
收集所述kubernetes集群所在的环境信息；
将所述环境信息分别写入所述前端UI项目包和所述后台服务项目包的配置文件；
利用所述前端UI项目包的配置文件生成所述前端UI项目包对应的镜像以及利用所述后台服务项目包的配置文件生成所述后台服务项目包的镜像，并将所述镜像分别部署到所述kubernetes集群的容器中；
通过所述前端UI项目包对应的容器接收数据抽取指令，并向所述后台服务项目包对应的容器发起访问请求，以实现数据抽取。


2.如权利要求1所述的方法，其特征在于，向所述后台服务项目包对应的容器发起访问请求，进一步包括：
所述kubernetes集群将所述访问请求分发至多个正常状态的副本以实现数据抽取。


3.如权利要求1所述的方法，其特征在于，通过所述前端UI项目包对应的容器接收数据抽取指令，并向所述后台服务项目包对应的容器发起访问请求，进一步包括：
响应于所述前端UI项目包对应的容器检测到源数据库对应的对象被拖拽到第一预设位置，向所述后台服务项目包对应的容器发送源数据库的配置信息以及待抽取数据，以建立与所述源数据库的连接；
响应于所述前端UI项目包对应的容器检测到目标数据库对应的对象被拖拽到第二预设位置，向所述后台服务项目包对应的容器发送目标数据库的配置信息，以建立与所述目标数据库的连接；
响应于所述前端UI项目包对应的容器接收到执行数据抽取的指令，向所述后台服务项目包对应的容器发起访问请求以实现所述待抽取数据由所述源数据库迁移到所述目标数据库。


4.如权利要求3所述的方法，其特征在于，还包括：
通过有向箭头将所述第一预设位置与所述第二预设位置进行连接。


5.如权利要求3所述的方法，其特征在于，还包括：
将待抽取的数据从所述源数据库中检索出并封装成数据对...

【专利技术属性】
技术研发人员：何若永，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32