【技术实现步骤摘要】
本专利技术属于计算机应用，尤其涉及一种计算任务的批量数据配置和处理及运行方法、装置。
技术介绍
1、随着机器计算能力的不断提升以及人工智能的发展，为提升计算效率，物理世界中的业务需求往往会被转化为一系列计算任务由机器进行计算进而获得结果。而随着计算任务数据量的不断增加，批量数据处理技术应运而生，批量数据处理是指在没有人工干预的情况下，由一个计算机程序基于一份批量的输入数据执行一系列任务的一种处理模式。
2、但是，不同领域的计算任务具有多样性，如材料、制药、天文、育种、基因等领域，计算任务可能为不同类型，包括：高性能计算任务、ai训练任务、ai推理任务、图计算任务、知识图谱计算任务等，计算任务可能使用不同的计算框架，包括：vasp、comsol、alphafold等，如果对于不同的计算任务都进行定制化的批量数据处理开发，则存在开发成本高且用户需要理解适应不同计算任务批量数据配置、处理和运行方式的技术问题。此外，对于同一计算任务，可能会包含多个不同的输入数据，而不同用户的计算习惯不同，对于需要批量输入的数据配置也可能不同，如果针...
【技术保护点】
1.一种计算任务的批量数据配置和处理及运行方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的计算任务的批量数据配置和处理及运行方法，其特征在于，所述计算框架的基础信息包括计算框架唯一标识、计算框架名称、计算框架描述以及计算框架使用说明；
3.根据权利要求1所述的计算任务的批量数据配置和处理及运行方法，其特征在于，所述依据计算框架的配置信息配置计算任务提交批量数据及相关参数，生成并提交计算任务，包括：
4.根据权利要求3所述的计算任务的批量数据配置和处理及运行方法，其特征在于，所述依据计算任务批量数据配置表单上传输入数据文件，
...
【技术特征摘要】
1.一种计算任务的批量数据配置和处理及运行方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的计算任务的批量数据配置和处理及运行方法，其特征在于，所述计算框架的基础信息包括计算框架唯一标识、计算框架名称、计算框架描述以及计算框架使用说明；
3.根据权利要求1所述的计算任务的批量数据配置和处理及运行方法，其特征在于，所述依据计算框架的配置信息配置计算任务提交批量数据及相关参数，生成并提交计算任务，包括：
4.根据权利要求3所述的计算任务的批量数据配置和处理及运行方法，其特征在于，所述依据计算任务批量数据配置表单上传输入数据文件，包括：
5.根据权利要求1所述的计算任务的批量数据配置和处理及运行方法，其特征在于，所述依据输入数据量和当前可用计算资源将计算任务拆分为多个子计算任务并提交至计算集群，包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：田晓雪，陈旭，马立铭，杨浩，李嘉莹，邱子豪，孙观，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。