文件处理方法和装置、存储介质及电子装置制造方法及图纸

本申请公开了一种文件处理方法和装置、存储介质及电子装置，该方法包括：确定待处理的文件集合；响应于目标创建指令，创建N个计算单元POD，并将目标版本的目标工具的工具镜像分别加载到N个POD中，其中，目标创建指令用于指示创建的POD的数量为N，并指示使用的工具是目标版本的目标工具，N为大于或等于2的正整数；通过N个POD运行各自加载的工具镜像并行地对文件集合中的文件进行处理，采用上述技术方案，解决了相关技术中，文件的处理效率较低等问题，实现了提升文件的处理效率的技术效果。实现了提升文件的处理效率的技术效果。实现了提升文件的处理效率的技术效果。

【技术实现步骤摘要】
文件处理方法和装置、存储介质及电子装置


[0001]本申请涉及计算机领域，具体而言，涉及一种文件处理方法和装置、存储介质及电子装置。

技术介绍

[0002]在计算机领域中，比如：自动驾驶领域，算法的训练往往需要大量的数据集支持，由此，对数据处理工具的集成便利性、兼容性以及数据处理的效率提出了更高的要求。
[0003]现有技术中，在对一批文件进行相同的处理操作的情况下，往往是在服务器上串行地对多个文件进行逐个处理，并且需要在每个计算节点上部署工具集，在进行工具部署的时候，需要保证每个计算节点的工具版本是最新的，过程复杂，并且难以控制所部署的工具的版本，文件的处理效率较低。
[0004]针对相关技术中，文件的处理效率较低等问题，尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种文件处理方法和装置、存储介质及电子装置，以至少解决相关技术中，文件的处理效率较低等问题。
[0006]根据本申请实施例的一个实施例，提供了一种文件处理方法，包括：确定待处理的文件集合；响应于目标创建指令，创建N 个计算单元POD，并将目标版本的目标工具的工具镜像分别加载到所述N个POD中，其中，所述目标创建指令用于指示创建的POD的数量为N，并指示使用的工具是所述目标版本的所述目标工具，N为大于或等于2的正整数；通过所述N个POD运行各自加载的所述工具镜像并行地对所述文件集合中的文件进行处理。
[0007]可选的，所述通过所述N个POD运行各自加载的所述工具镜像并行地对所述文件集合中的文件进行处理之前，所述方法还包括：对于所述N个POD中的第i个POD，执行以下步骤，其中，1≤i≤N：将所述第i个POD中加载的所述工具镜像的文件输入路径与N个缓存中的第i个缓存中的文件输入路径建立映射关系，其中，所述第i个POD中加载的所述工具镜像的文件输入路径，以及所述第i个缓存中的文件输入路径，用于获取分配给所述第i个POD处理的文件；将所述第i个POD中加载的所述工具镜像的文件输出路径与所述第i个缓存中的文件输出路径建立映射关系，其中，所述第i个POD中加载的所述工具镜像的文件输出路径，以及所述第i个缓存中的文件输出路径，用于获取所述第i个POD处理文件的结果。
[0008]可选的，所述通过所述N个POD运行各自加载的所述工具镜像并行地对所述文件集合中的文件进行处理，包括：对于所述N个POD中的第i个POD，执行以下步骤：在所述第i个POD正在处理当前分配的文件，或者，所述第i个POD已处理完所述当前分配的文件的情况下，从所述文件集合中选择尚未被处理的目标文件，将所述目标文件传输到所述第i个缓存中的文件输入路径；在所述第i个POD已处理完所述当前分配的文件的情况下，根据所述第i个POD中加载的所述工具镜像的文件输入路径与所述第i个缓存中的文件输入路径之间的
映射关系，将所述第i个缓存中的文件输入路径上的所述目标文件传输到所述第i个POD中加载的所述工具镜像的文件输入路径；通过所述第i个POD运行加载的所述工具镜像对所述工具镜像的文件输入路径上的所述目标文件进行处理。
[0009]可选的，所述通过所述N个POD运行各自加载的所述工具镜像并行地对所述文件集合中的文件进行处理，包括：对于所述N个POD中的第i个POD，执行以下步骤：在所述第i个缓存中的文件输入路径上存储的尚未被处理的文件的数量小于预定数量阈值的情况下，从所述文件集合中选择尚未被处理的文件，将选择的所述尚未被处理的文件传输到所述第i个缓存中的文件输入路径；在所述第i个POD已处理完当前分配的文件的情况下，根据所述第i个POD中加载的所述工具镜像的文件输入路径与所述第i个缓存中的文件输入路径之间的映射关系，将所述第i个缓存中的文件输入路径上存储的目标文件传输到所述第i个POD中加载的所述工具镜像的文件输入路径，其中，所述目标文件是尚未被处理的文件；通过所述第i个POD运行加载的所述工具镜像对所述工具镜像的文件输入路径上的所述目标文件进行处理。
[0010]可选的，所述将所述第i个缓存中的文件输入路径上存储的目标文件传输到所述第i个POD中加载的所述工具镜像的文件输入路径，包括：在所述第i个缓存中的文件输入路径上存储的尚未被处理的文件中，选择最早传输到所述第i个缓存中的文件输入路径上的文件，作为所述目标文件，并将所述目标文件传输到所述第i个POD中加载的所述工具镜像的文件输入路径；或者在所述第i个缓存中的文件输入路径上存储的尚未被处理的文件中，随机选择一个文件，作为所述目标文件，并将所述目标文件传输到所述第i个POD中加载的所述工具镜像的文件输入路径。
[0011]可选的，所述通过所述第i个POD运行加载的所述工具镜像对所述工具镜像的文件输入路径上的所述目标文件进行处理之后，所述方法还包括：将目标处理结果存储到所述第i个POD中加载的所述工具镜像的文件输出路径，其中，所述目标处理结果是通过所述第i个POD运行加载的所述工具镜像对所述目标文件进行处理所得到的结果；根据所述第i个POD中加载的所述工具镜像的文件输出路径与所述第i个缓存中的文件输出路径之间的映射关系，将所述第i个POD中加载的所述工具镜像的文件输出路径上存储的所述目标处理结果传输到所述第i个缓存中的文件输出路径。
[0012]可选的，在所述通过所述N个POD运行各自加载的所述工具镜像并行地对所述文件集合中的文件进行处理之后，所述方法还包括：在所述文件集合中的文件均已被处理的情况下，删除所述N个POD；或者在所述N个POD中的第i个POD处理完当前分配的文件、且所述文件集合中不存在尚未被处理的文件的情况下，删除所述第i个POD，其中，1≤i≤N。
[0013]可选的，在将目标版本的目标工具的工具镜像分别加载到所述N个POD中，包括：根据所述目标创建指令中的指示信息，在目标镜像库中获取所述目标版本的所述目标工具的工具镜像，其中，所述指示信息用于指示使用的工具是所述目标版本的所述目标工具，所述目标镜像库中存储了一组工具镜像，所述一组工具镜像中的每个工具镜像是一个版本的一个工具的工具镜像；将获取到的所述目标版本的所述目标工具的工具镜像分别加载到所述N个POD中。
[0014]根据本申请实施例的另一个实施例，还提供了一种文件处理装置，包括：确定模块，用于确定待处理的文件集合；
第一处理模块，用于响应于目标创建指令，创建N 个计算单元POD，并将目标版本的目标工具的工具镜像分别加载到所述N个POD中，其中，所述目标创建指令用于指示创建的POD的数量为N，并指示使用的工具是所述目标版本的所述目标工具，N为大于或等于2的正整数；第二处理模块，用于通过所述N个POD运行各自加载的所述工具镜像并行地对所述文件集合中的文件进行处理。
[0015]根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述文件处理方法。
[0016]根据本申请实施例的又一方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件处理方法，其特征在于，包括：确定待处理的文件集合；响应于目标创建指令，创建N 个计算单元POD，并将目标版本的目标工具的工具镜像分别加载到所述N个POD中，其中，所述目标创建指令用于指示创建的POD的数量为N，并指示使用的工具是所述目标版本的所述目标工具，N为大于或等于2的正整数；通过所述N个POD运行各自加载的所述工具镜像并行地对所述文件集合中的文件进行处理。2.根据权利要求1所述的方法，其特征在于，在所述通过所述N个POD运行各自加载的所述工具镜像并行地对所述文件集合中的文件进行处理之前，所述方法还包括：对于所述N个POD中的第i个POD，执行以下步骤，其中，1≤i≤N：将所述第i个POD中加载的所述工具镜像的文件输入路径与N个缓存中的第i个缓存中的文件输入路径建立映射关系，其中，所述第i个POD中加载的所述工具镜像的文件输入路径，以及所述第i个缓存中的文件输入路径，用于获取分配给所述第i个POD处理的文件；将所述第i个POD中加载的所述工具镜像的文件输出路径与所述第i个缓存中的文件输出路径建立映射关系，其中，所述第i个POD中加载的所述工具镜像的文件输出路径，以及所述第i个缓存中的文件输出路径，用于获取所述第i个POD处理文件的结果。3.根据权利要求2所述的方法，其特征在于，所述通过所述N个POD运行各自加载的所述工具镜像并行地对所述文件集合中的文件进行处理，包括：对于所述N个POD中的第i个POD，执行以下步骤：在所述第i个POD正在处理当前分配的文件，或者，所述第i个POD已处理完所述当前分配的文件的情况下，从所述文件集合中选择尚未被处理的目标文件，将所述目标文件传输到所述第i个缓存中的文件输入路径；在所述第i个POD已处理完所述当前分配的文件的情况下，根据所述第i个POD中加载的所述工具镜像的文件输入路径与所述第i个缓存中的文件输入路径之间的映射关系，将所述第i个缓存中的文件输入路径上的所述目标文件传输到所述第i个POD中加载的所述工具镜像的文件输入路径；通过所述第i个POD运行加载的所述工具镜像对所述工具镜像的文件输入路径上的所述目标文件进行处理。4.根据权利要求2所述的方法，其特征在于，所述通过所述N个POD运行各自加载的所述工具镜像并行地对所述文件集合中的文件进行处理，包括：对于所述N个POD中的第i个POD，执行以下步骤：在所述第i个缓存中的文件输入路径上存储的尚未被处理的文件的数量小于预定数量阈值的情况下，从所述文件集合中选择尚未被处理的文件，将选择的所述尚未被处理的文件传输到所述第i个缓存中的文件输入路径；在所述第i个POD已处理完当前分配的文件的情况下，根据所述第i个POD中加载的所述工具镜像的文件输入路径与所述第i个缓存中的文件输入路径之间的映射关系，将所述第i个缓存中的文件输入路径上存储的目标文件传输到所述第i个POD中加载的所述工具镜像的文件输入路径，其中，所述目标文件是尚未被处理的文件；通过所述第i个POD运行加载的所述工具镜像对所述工具镜像的文件输入路径上的所
述目标文件进行处理。5.根据权利要求4所述的方法...

【专利技术属性】
技术研发人员：王明明，陈立燚，朱子凌，李俊良，杨冶，黄登，郑杨韬，王鹏博，王国彦，王怡，
申请(专利权)人：福瑞泰克智能系统有限公司，
类型：发明
国别省市：