数据处理方法和装置、存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种与计算机的容器相关的数据处理方法和装置、存储介质及电子设备。其中，该方法包括：响应获取到的容器创建请求，创建目标图形处理器的容器；从终端本地预部署的数据中获取目标镜像文件的第一层级数据，并从服务器获取目标镜像文件的除第一层级数据之外的第二层级数据，其中，目标镜像文件为服务器所提供的服务对应的多个镜像文件中的一个镜像文件，多个镜像文件中的每一个镜像文件的文件尺寸大于第一阈值，预部署的数据为多个镜像文件中至少两个镜像文件均包括的层级数据；在目标图形处理器的容器中对第一层级数据与第二层级数据进行处理，得到处理结果。本发明专利技术解决了数据处理效率低的技术问题。解决了数据处理效率低的技术问题。解决了数据处理效率低的技术问题。

【技术实现步骤摘要】
数据处理方法和装置、存储介质及电子设备


[0001]本专利技术涉及计算机计算领域，具体而言，涉及一种数据处理方法和装置、存储介质及电子设备。

技术介绍

[0002]现有技术中，通常需要在终端设备的本地上创建图形处理器(Graphics Processing Unit，简称为GPU)的容器，由GPU容器来为服务器上的镜像文件来提供算力支持。在实际使用时，在终端设备的本地创建GPU容器，在服务器上拉取镜像文件到终端设备本地，然后由GPU容器来处理镜像文件，从而得到处理结果。
[0003]但是，由于镜像文件的体量通常较大，因此，采样上述方法，在处理镜像文件的过程中，在网络条件较差的情况下，镜像文件拉取耗时长，失败率高，进一步造成数据处理效率低。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种数据处理方法和装置、存储介质及电子设备，以至少解决数据处理效率低的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：响应获取到的容器创建请求，创建目标图形处理器的容器，其中，上述目标图形处理器的容器用于对目标镜像文件进行处理；从终端本地预部署的数据中获取上述目标镜像文件的第一层级数据，并从服务器获取上述目标镜像文件的除上述第一层级数据之外的第二层级数据，其中，上述目标镜像文件为上述服务器所提供的服务对应的多个镜像文件中的一个镜像文件，上述多个镜像文件中的每一个镜像文件的文件尺寸大于第一阈值，上述预部署的数据为上述多个镜像文件中至少两个镜像文件均包括的层级数据；在上述目标图形处理器的容器中对上述第一层级数据与上述第二层级数据进行处理，得到处理结果。
[0007]根据本专利技术实施例的另一个方面，提供了一种数据处理方法，包括：获取终端发送的数据获取请求，其中，上述数据获取请求用于请求获取目标镜像文件的第二层级数据，其中，上述目标镜像文件为服务器所提供的服务对应的多个镜像文件中的一个镜像文件，上述多个镜像文件中的每一个镜像文件的文件尺寸大于第一阈值，上述第二层级数据为上述目标镜像文件中除第一层级数据之外的数据，上述第一层级数据为预部署到上述终端上的数据，上述预部署到上述终端上的数据为上述多个镜像文件中至少两个镜像文件均包括的层级数据；将上述第二层级数据发送给上述终端，以使上述终端通过创建的GPU容器，对从终端本地获取的上述第一层级数据与从服务器获取的上述第二层级数据进行处理。
[0008]根据本专利技术实施例的又一方面，还提供了一种数据处理装置，包括：创建单元，用于响应获取到的容器创建请求，创建目标图形处理器的容器，其中，上述目标图形处理器的容器用于对目标镜像文件进行处理；第一获取单元，用于从终端本地预部署的数据中获取
上述目标镜像文件的第一层级数据，并从服务器获取上述目标镜像文件的除上述第一层级数据之外的第二层级数据，其中，上述目标镜像文件为上述服务器所提供的服务对应的多个镜像文件中的一个镜像文件，上述多个镜像文件中的每一个镜像文件的文件尺寸大于第一阈值，上述预部署的数据为上述多个镜像文件中至少两个镜像文件均包括的层级数据；处理单元，用于在上述目标图形处理器的容器中对上述第一层级数据与上述第二层级数据进行处理，得到处理结果。
[0009]作为一种可选的示例，上述第一获取单元包括：解析模块，用于从上述容器创建请求中解析出上述目标图形处理器的容器所要处理的上述目标镜像文件的文件标识；第一查找模块，用于在终端本地预部署的数据中查找与上述文件标识对应的上述目标镜像文件的上述第一层级数据；拉取模块，用于在查找到上述第一层级数据的情况下，拉取查找到的上述第一层级数据；第一发送模块，用于向上述服务器发送数据获取请求，其中，上述数据获取请求用于请求获取上述目标镜像文件的除上述第一层级数据之外的上述第二层级数据；获取模块，用于从上述服务器中获取上述第二层级数据。
[0010]作为一种可选的示例，上述第一查找模块包括：获取子模块，用于获取上述目标镜像文件中数据层级关系；处理子模块，用于将上述数据层级关系中的每一层确定为当前层，对上述当前层执行如下操作：在上述终端本地预部署的数据中查找上述当前层对应的数据；在查找到上述当前层对应的数据的情况下，将上述当前层对应的数据确定为上述第一层级数据中的数据。
[0011]作为一种可选的示例，上述处理子模块还用于：在上述终端本地预部署的数据中查找上述当前层对应的数据之后，在未查找到上述当前层对应的数据的情况下，将上述当前层对应的数据确定为上述第二层级数据中的数据。
[0012]作为一种可选的示例，上述装置还包括：第二获取单元，用于在响应获取到的容器创建请求，创建目标图形处理器的容器之前，在上述服务器与上述终端本地之间实时的数据传输量小于第二阈值的情况下，从上述服务器获取上述多个镜像文件中至少两个镜像文件均包括的层级数据；部署单元，用于将上述多个镜像文件中至少两个镜像文件均包括的层级数据作为上述预部署的数据部署在上述终端本地。
[0013]作为一种可选的示例，上述第二获取单元包括：第二发送模块，用于向上述服务器发送数据部署请求；获取上述服务器响应上述数据部署请求所发送的上述至少两个镜像文件均包括的层级数据；或者接收模块，用于接收上述服务器发送的上述至少两个镜像文件均包括的层级数据。
[0014]作为一种可选的示例，上述装置还包括：第二获取单元，用于在上述目标图形处理器的容器中对上述第一层级数据与上述第二层级数据进行处理，得到处理结果之后，在上述服务器中的上述第一层级数据发生变化的情况下，从上述服务器获取变化后的上述第一层级数据；保存单元，用于将变化后的上述第一层级数据保存在上述终端本地。
[0015]作为一种可选的示例，上述保存单元包括：监控模块，用于监控上述终端本地的用于存储上述第一层级数据的存储空间的剩余存储空间；第二查找模块，用于在上述剩余存储空间小于第三阈值的情况下，在上述存储空间中查找最新的上述第一层级数据；删除模块，用于将最新的上述第一层级数据之外的所有上述第一层级数据从上述存储空间中删除；或者将最新的上述第一层级数据之外的所有上述第一层级数据中，存储时间最长的第
一层级数据从上述存储空间中删除。
[0016]根据本专利技术实施例的又一方面，还提供了一种数据处理装置，包括：获取单元，用于获取终端发送的数据获取请求，其中，上述数据获取请求用于请求获取目标镜像文件的第二层级数据，其中，上述目标镜像文件为服务器所提供的服务对应的多个镜像文件中的一个镜像文件，上述多个镜像文件中的每一个镜像文件的文件尺寸大于第一阈值，上述第二层级数据为上述目标镜像文件中除第一层级数据之外的数据，上述第一层级数据为预部署到上述终端上的数据，上述预部署到上述终端上的数据为上述多个镜像文件中至少两个镜像文件均包括的层级数据；发送单元，用于将上述第二层级数据发送给上述终端，以使上述终端通过创建的GPU容器，对从终端本地获取的上述第一层级数据与从服务器获取的上述第二层级数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：响应获取到的容器创建请求，创建目标图形处理器的容器，其中，所述目标图形处理器的容器用于对目标镜像文件进行处理；从终端本地预部署的数据中获取所述目标镜像文件的第一层级数据，并从服务器获取所述目标镜像文件的除所述第一层级数据之外的第二层级数据，其中，所述目标镜像文件为所述服务器所提供的服务对应的多个镜像文件中的一个镜像文件，所述多个镜像文件中的每一个镜像文件的文件尺寸大于第一阈值，所述预部署的数据为所述多个镜像文件中至少两个镜像文件均包括的层级数据；在所述目标图形处理器的容器中对所述第一层级数据与所述第二层级数据进行处理，得到处理结果。2.根据权利要求1所述的方法，其特征在于，从终端本地预部署的数据中获取所述目标镜像文件的第一层级数据，并从服务器获取所述目标镜像文件的除所述第一层级数据之外的第二层级数据包括：从所述容器创建请求中解析出所述目标图形处理器的容器所要处理的所述目标镜像文件的文件标识；在终端本地预部署的数据中查找与所述文件标识对应的所述目标镜像文件的所述第一层级数据；在查找到所述第一层级数据的情况下，拉取查找到的所述第一层级数据；向所述服务器发送数据获取请求，其中，所述数据获取请求用于请求获取所述目标镜像文件的除所述第一层级数据之外的所述第二层级数据；从所述服务器中获取所述第二层级数据。3.根据权利要求2所述的方法，其特征在于，所述在终端本地预部署的数据中查找与所述文件标识对应的所述目标镜像文件的所述第一层级数据包括：获取所述目标镜像文件中数据层级关系；将所述数据层级关系中的每一层确定为当前层，对所述当前层执行如下操作：在所述终端本地预部署的数据中查找所述当前层对应的数据；在查找到所述当前层对应的数据的情况下，将所述当前层对应的数据确定为所述第一层级数据中的数据。4.根据权利要求3所述的方法，其特征在于，在所述终端本地预部署的数据中查找所述当前层对应的数据之后，还包括：在未查找到所述当前层对应的数据的情况下，将所述当前层对应的数据确定为所述第二层级数据中的数据。5.根据权利要求1所述的方法，其特征在于，在响应获取到的容器创建请求，创建目标图形处理器的容器之前，还包括：在所述服务器与所述终端本地之间实时的数据传输量小于第二阈值的情况下，从所述服务器获取所述多个镜像文件中至少两个镜像文件均包括的层级数据；将所述多个镜像文件中至少两个镜像文件均包括的层级数据作为所述预部署的数据部署在所述终端本地。6.根据权利要求5所述的方法，其特征在于，所述在所述服务器与所述终端本地之间实
时的数据传输量小于第二阈值的情况下，从所述服务器获取所述多个镜像文件中至少两个镜像文件均包括的层级数据包括：向所述服务器发送数据部署请求；获取所述服务器响应所述数据部署请求所发送的所述至少两个镜像文件均包括的层级数据；或者接收所述服务器发送的所述至少两个镜像文件均包括的层级数据。7.根据权利要求1至6任意一项所述的方法，其特征在于，在所述目标图形处理器的容器中对所述第一层级数据与所述第二层级数据进行处理，得到处理结果之后，还包括：在所述服务器中的所述第一层级数据发生变化的情况下，从所述服务器获取变化后的所述第一层级数据；将变化后的所述第一层级数据保存在所述终端本地。8.根据权利要求7所述的方法，其特征在于，所述将变化后的所述第一层级数据保存在所述终端本地包括：监控所述终端本地的用于存储所述第一层级数据的存储空间的剩余存储空间；在所述剩余存储空间小于第三阈值的情况下，在所述存储空间中查找最新的所述第一层级数据；将最新的所述第一层级数据之外的所有所述...

【专利技术属性】
技术研发人员：查冲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：