跨平台自动化数据批量处理方法、系统、设备及存储介质技术方案

本发明专利技术提供一种跨平台自动化数据批量处理方法、系统、设备及存储介质，所述处理方法包括：于本地计算机上设置安全加密无密码登录集群；为所述安全加密无密码登录集群创建数据批处理指令，以提供集群账号、创建工作目录、输入输出文件；为所述安全加密无密码登录集群创建任务执行指令，以检测所述工作任务是否正在执行；在数据优化软件中加载并执行所述数据批处理指令，以启动本地计算机和集群跨平台传输文件和执行计算。本发明专利技术实现了本地计算机和集群跨平台跨系统无密码交互式操作，减少了人工操作，最大程度利用了计算资源，大幅提高了优化设计效率，实时反馈优化效果以便于及时调整优化策略，且具有优化案例通用性和可扩展功能性。性。性。

【技术实现步骤摘要】
跨平台自动化数据批量处理方法、系统、设备及存储介质


[0001]本专利技术属于高性能计算
，涉及一种处理方法和系统，特别是涉及一种跨平台自动化数据批量处理方法、系统、设备及存储介质。

技术介绍

[0002]高性能计算技术可以解决工程中优化设计涉及到的批量复杂的数值计算以及循环反复优化迭代问题。如果优化和数值计算都只在个人计算机上进行，优化耗费的时间冗长，占用的本地计算资源较大，极有可能影响其他工作正常进行，即便采用多核并行也难以满足计算量和时间需求；如果优化和数值计算都只在高性能计算集群上进行，又不适合多用户操作，容易因为用户不熟悉集群系统操作而导致集群“瘫痪”。
[0003]因此，通常优化设计在个人本地计算机(通常Windows系统)的优化软件中运行，便于实时查看优化效果，而其中的批量数值计算又需要使用远程集群(通常是Linux或者Centos系统)作业才能完成。由于跨平台以及批量问题，现有技术多半将优化和数值计算分隔开进行完成，这样设计工作者又无法实时查看优化效果，不便即时作出优化策略调整。
[0004]因此，如何提供一种跨平台自动化数据批量处理方法、系统、设备及存储介质，以解决现有技术采用将优化和数值计算分隔开完成，导致设计工作者又无法实时查看优化效果，不便及时作出优化策略调整等缺陷，实已成为本领域技术人员亟待解决的技术问题。

技术实现思路

[0005]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种跨平台自动化数据批量处理方法、系统、设备及存储介质，用于解决现有技术采用将优化和数值计算分隔开完成，导致设计工作者又无法实时查看优化效果，不便及时作出优化策略调整的问题。
[0006]为实现上述目的及其他相关目的，本专利技术一方面提供一种跨平台自动化数据批量处理方法，包括：于本地计算机上设置安全加密无密码登录集群；为所述安全加密无密码登录集群创建数据批处理指令，以提供集群账号、创建工作目录、输入输出文件；为所述安全加密无密码登录集群创建任务执行指令，以检测所述工作任务是否正在执执行；在数据优化软件中加载并执行所述数据批处理指令，以启动本地计算机和集群跨平台传输文件和执行计算。
[0007]于本专利技术的一实施例中，所述于本地计算机上设置安全加密无密码登录集群的步骤包括：输入安全加密无密码指令，生成对于集群登录的密钥的类型及选择加密方式，以产生一对公私钥，并将该对公私钥存放于本地计算机的用户目录中。
[0008]于本专利技术的一实施例中，为所述安全加密无密码登录集群创建数据批处理指令，以提供集群账号、创建工作目录、输入输出文件的步骤包括：新建一文本文档，并将所述文本文档命名为批处理文件，以提供安全加密无密码登录集群的集群账号、创建工作目录、输入输出文件；待接收到待批处理的数值计算文件至集群工作目录，并将待批处理的数值计算文件作为工作任务上传至集群；待工作任务被下载至本地计算机上的工作目录时，将其
反馈至预置于所述本地计算机上数据优化软件中。
[0009]于本专利技术的一实施例中，将待批处理的数值计算文件以固定计算文件格式上传。
[0010]于本专利技术的一实施例中，所述任务执行指令包括集群提交计算任务的Shell脚本和集群提交任务的PBS脚本；为所述安全加密无密码登录集群创建任务执行指令，以检测所述工作任务是否正在执行的步骤包括：创建集群提交计算任务的Shell脚本，并新建另一文本文档，将另一文本文档命名为子批处理文件，以提供集群工作目录、任务提交方式以及查看任务状态。
[0011]于本专利技术的一实施例中，为所述安全加密无密码登录集群创建任务执行指令，以检测所述工作任务是否正在执执行的步骤还包括：创建集群提交任务的PBS脚本，并新建又一文本文档，将又一文本文档命名为任务提交文件，以设置任务的提交节点、任务名称以及任务所在工作路径。
[0012]于本专利技术的一实施例中，所述传输文件包括待批处理的输入文件、计算算例、网格重生成宏脚本、目标性能及约束条件输出文件格式以及后处理图片格式。
[0013]本专利技术另一方面提供一种跨平台自动化数据批量处理系统，包括：集群设置模块，用于于本地计算机上设置安全加密无密码登录集群；第一创建模块，用于为所述安全加密无密码登录集群创建数据批处理指令，以提供集群账号、创建工作目录、输入输出文件；第二创建模块，用于为所述安全加密无密码登录集群创建任务执行指令，以检测所述工作任务是否正在执行；处理模块，用于在数据优化软件中加载并执行所述数据批处理指令，以启动本地计算机和集群跨平台传输文件和执行计算。
[0014]本专利技术又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述跨平台自动化数据批量处理方法。
[0015]本专利技术最后一方面提供一种设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行所述跨平台自动化数据批量处理方法。
[0016]如上所述，本专利技术所述的跨平台自动化数据批量处理方法、系统、设备及存储介质，具有以下有益效果：
[0017]本专利技术所述跨平台自动化数据批量处理方法、系统、设备及存储介质实现了本地计算机和集群跨平台跨系统无密码交互式操作，能够实时同步工作文件/文件夹，自动调用计算节点，两地均可实时监测，即时反馈优化结果，减少了人工操作，最大程度利用了计算资源，大幅提高了优化设计效率，实时反馈优化效果以便于及时调整优化策略，且具有优化案例通用性和可扩展功能性。
附图说明
[0018]图1显示为本专利技术的跨平台自动化数据批量处理方法于一实施例中的流程示意图。
[0019]图2显示为本专利技术的提交任务Shell脚本的提交实施方式示意图。
[0020]图3显示为本专利技术的优化效果示意图。
[0021]图4显示为本专利技术的跨平台自动化数据批量处理系统于一实施例中的原理结构示意图。
[0022]元件标号说明
[0023]1ꢀꢀꢀꢀꢀꢀꢀꢀ
跨平台自动化数据批量处理
[0024]ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
系统
[0025]40
ꢀꢀꢀꢀꢀꢀꢀ
集群设置模块
[0026]41
ꢀꢀꢀꢀꢀꢀꢀ
第一创建模块
[0027]42
ꢀꢀꢀꢀꢀꢀꢀ
第二创建模块
[0028]43
ꢀꢀꢀꢀꢀꢀꢀ
处理模块
[0029]S11～S14 步骤
具体实施方式
[0030]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0031]需要说明的是，以下实施例中所提供的图示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨平台自动化数据批量处理方法，其特征在于，包括：于本地计算机上设置安全加密无密码登录集群；为所述安全加密无密码登录集群创建数据批处理指令，以提供集群账号、创建工作目录、输入输出文件；为所述安全加密无密码登录集群创建任务执行指令，以检测所述工作任务是否正在执执行；在数据优化软件中加载并执行所述数据批处理指令，以启动本地计算机和集群跨平台传输文件和执行计算。2.根据权利要求1所述的跨平台自动化数据批量处理方法，其特征在于，所述于本地计算机上设置安全加密无密码登录集群的步骤包括：输入安全加密无密码指令，生成对于集群登录的密钥的类型及选择加密方式，以产生一对公私钥，并将该对公私钥存放于本地计算机的用户目录中。3.根据权利要求1所述的跨平台自动化数据批量处理方法，其特征在于，为所述安全加密无密码登录集群创建数据批处理指令，以提供集群账号、创建工作目录、输入输出文件的步骤包括：新建一文本文档，并将所述文本文档命名为批处理文件，以提供安全加密无密码登录集群的集群账号、创建工作目录、输入输出文件；待接收到待批处理的数值计算文件至集群工作目录，并将待批处理的数值计算文件作为工作任务上传至集群；待工作任务被下载至本地计算机上的工作目录时，将其反馈至预置于所述本地计算机上数据优化软件中。4.根据权利要求3所述的跨平台自动化数据批量处理方法，其特征在于，将待批处理的数值计算文件以固定计算文件格式上传。5.根据权利要求1所述的跨平台自动化数据批量处理方法，其特征在于，所述任务执行指令包括集群提交计算任务的Shell脚本和集群提交任务的PBS脚本；为所述安全加密无密码登录集群创建任务执行指令，以检测所述工作任务是否正在执行的...

【专利技术属性】
技术研发人员：缪爱琴，王小龙，樊涛，吕烈彪，林源，
申请(专利权)人：江南造船集团有限责任公司，
类型：发明
国别省市：