一种实现模型及其接口标准化输入输出的方法技术

本发明专利技术涉及一种实现模型及其接口标准化输入输出的方法，提供一模型及其接口标准化输入输出调度平台，包括以下步骤：（1）进行平台模型信息的初始化；（2）进行模型输入、输出的标准化；（3）基于提交后的标准化的模型与参数，对模型进行初步审核，根据审核规则进行判断，通过后进行专业审核；（4）进行模型上线，根据模型运行环境、运行方式分配系统资源，使用虚拟机、docker技术进行模型的沙箱运行，并对外提供服务，用以实现模型统一的集成管理与标准化。本发明专利技术将不同来源的模型进行了统一化，使得各类模型通过标准化的接口能够进行数据交互与信息共享，实现了模型的输入输出的耦合，提高了模型之间的兼容性与可扩展性。

【技术实现步骤摘要】
一种实现模型及其接口标准化输入输出的方法
本专利技术涉及模型管理自动化应用领域，特别是一种实现模型及其接口标准化输入输出的方法。
技术介绍
随着我国各大预报机构、高校、科研院所的稳步发展，各家单位都陆续研发了相关的数值预报模型，有力地促进了我国预报工作水平的不断提高。在取得相关成就的同时，由于各模型掌握在每个机构或个人手里，没能形成较好的模型资源集成共享机制，导致每次都需要单独去集成相关模型，耗时耗力、造成了一定资源的浪费。因此，一种实现模型资源共享，能够实现模型及其接口标准化输入输出的模型调度管理平台就显得尤为重要。目前全国各大预报模型都掌握在每个机构或个人手里，由于每个模型开发语言、参数格式都不同，对外提供的服务缺少统一的标准化，没能形成较好的模型资源集成共享机制，导致每次都需要单独去集成相关模型，耗时耗力、造成了一定资源的浪费。为了解决模型资源利用率低问题，基于WebService技术，开发了一套模型及其接口标准化输入输出的调度平台，该平台实现不同模型的集成管理，通过各个模型提供者上传模型程序与参数文件，在线可视化编辑输入输出参数的格式，提取数据转换规则，JSON格式化入库，进行模型的审核与上线，从而对外提供标准化的接口服务。
技术实现思路
有鉴于此，本专利技术的目的是提供一种实现模型及其接口标准化输入输出的方法，通过标准化输入输出的方法，将不同来源的模型进行了统一化，使得各类模型通过标准化的接口能够进行数据交互与信息共享，实现了模型的输入输出的耦合，提高了模型之间的兼容性与可扩展性。解决了当前水利行业模型之间无法互通互联的问题，标准了输入输出数据共享方案。本专利技术采用以下方案实现：一种实现模型及其接口标准化输入输出的方法，其特征在于：提供一模型及其接口标准化输入输出调度平台，所述平台包括模型注册模块、模型审核模块、模型上架模块和模型调度模块；所述模型注册模块用于平台模型信息的初始化及模型输入、输出的标准化；所述模型审核模块用于审核标准化的模型与参数；所述模型上架模块用于进行模型上线；所述模型调度模块用于分配系统资源，实现模型统一的集成管理与标准化；包括以下步骤：步骤S1：在所述模型注册模块中进行平台模型信息的初始化，录入模型基础信息，上传模型文件与总入口，并封装为WebService接口；步骤S2：在所述模型注册模块中进行模型输入、输出的标准化，根据输入方式上传输入数据文件，可视化编辑数据的参数格式，提取转换规则，然后JSON格式化入库；步骤S3：在所述模型审核模块中基于提交后的标准化的模型与参数，对模型进行初步审核，根据审核规则进行判断，通过后进行专业审核；步骤S4：在所述模型上架模块和模型调度模块中进行模型上线，根据模型运行环境、运行方式分配系统资源，使用虚拟机、docker技术进行模型的沙箱运行，并对外提供服务，用以实现模型统一的集成管理与标准化。进一步地，步骤S2中所述输入方式包括文件形式或接口形式，所述文件形式包括txt或excel，所述接口形式包括WebService接口或RESTful接口。进一步地，所述步骤S1具体包括以下内容：先进行模型基础信息的录入，包括模型名称、模型标签、所属行业、专业分类、应用分类、模型类型、模型图标和模型概述，再进行模型运行环境的录入，包括服务器信息、操作系统、沙箱环境、程序环境、运行方式、模型程序文件类型，然后打包上传模型程序文件以及依赖包，集成包括模型预处理、清除文件、开始运行、中断运行和结束运行程序封装为总入口，将不同开发语言的模型封装为相应的WebService接口；其中，所述模型概述包括模型用途、模型原理、使用方法与附件。进一步地，所述依赖包包括VC动态库安装包和模型程序所需的动态链接库。进一步地，步骤S2中所述进行模型输入标准化为：根据模型的输入方式为文件或者数据接口方式进行不同的标准化操作，针对输入方式为文件形式，包括excel、txt格式，上传输入数据文件，可视化编辑参数格式，以表格形式直观展示数据内容，明确参数名称、参数类型、参数数值、参数分类包括固定参数或实时参数，参数的基本信息，按照设定的双向映射引擎将参数文件转换为JSON格式文件，提取两者之间的转换规则，并根据双向解析引擎将JSON格式文件逆向生成参数文件，并与没有转换前的参数文件对比校验保证JSON格式化的准确性，双向解析引擎作为模型输入输出文件与JSON格式文件之间的桥梁，根据设定的JSON规则模板，通过该引擎就完成双向解析操作；对于数据接口类型，进行可视化预览，直观展示原接口的JSON格式，将接口JSON格式转换为标准的JSON格式，提取转换规则，进行两者之间的对比校验；最后进行JSON格式化入库，包括文件信息、格式化的规则和格式化的数据，利用双向解析引擎将输入数据进行标准化的入库；其中，所述参数类型包括字符串、数字、浮点、率定参数或业务参数。进一步地，步骤S2中所述进行模型输出标准化为：根据模型的输出方式为文件形式或者数据接口形式进行不同的标准化操作，针对输入方式为文件形式，包括excel、txt格式，上传输出数据文件，可视化编辑参数格式，以表格形式直观展示数据内容，明确参数名称、参数类型、参数数值和参数分类包括固定参数或实时参数，参数的基本信息，将参数文件转换为JSON格式文件，提取两者之间的转换规则，并将JSON格式文件逆向生成参数文件，并与原文件对比校验保证JSON格式化的准确性；对于数据接口类型，进行可视化预览，直观展示原接口的JSON格式，将接口JSON格式转换为标准的JSON格式，提取转换规则，进行两者之间的对比校验；最后进行JSON格式化入库，包括文件信息、格式化的规则、格式化的数据，利用双向解析引擎将输入数据进行标准化的入库；其中，所述参数类型包括字符串、数字、浮点、率定参数或业务参数。进一步地，所述的提取转换规则为：将数据文件格式包括Excel或txt通过行列坐标、字段属性、列分隔符、编码格式现有文件属性映射并标准化到JSON格式的过程，从而统一内外数据格式标准，实现接口的标准化输入输出；所述字段属性包括名称、类型、数值和描述。进一步地，所述步骤S3的具体内容为：模型提供者向平台提出模型注册申请，平台受理后对模型进行初步审核，然后根据审核规则进行判断模型是否可以运行、用户报告是否完整，审核规则包括用户报告完整性审查、资料产权审查、模型可用性审查、模型安全性审查、模型性能审查和模型实用价值审查，若未通过则进行通知反馈，若通过则由专业人员进行模型的专业审核，判断模型是否有实际应用价值，是否能够与平台进行集成，若通过则反馈模型提供者并完成模型的审核流程，若不通过则反馈模型提供者重新进行模型的审核申请。进一步地，步骤S4的具体内容为：根据模型的实际情况，设置模型运行环境，选择相应操作系统包括windows或linux，选择模型的运行方式包括托管自动运行或人工运行，合理分配系统资源，然后使用虚拟机、docker方法进行模型的沙箱运行，对外实现调度入口与出口，使用标准化双向解析引擎实现标准化本文档来自技高网...

【技术保护点】
1.一种实现模型及其接口标准化输入输出的方法，其特征在于：提供一模型及其接口标准化输入输出调度平台，所述平台包括模型注册模块、模型审核模块、模型上架模块和模型调度模块；所述模型注册模块用于平台模型信息的初始化及模型输入、输出的标准化；所述模型审核模块用于审核标准化的模型与参数；所述模型上架模块用于进行模型上线；所述模型调度模块用于分配系统资源，实现模型统一的集成管理与标准化；/n包括以下步骤：/n步骤S1：在所述模型注册模块中进行平台模型信息的初始化，录入模型基础信息，上传模型文件与总入口，并封装为Web Service接口；/n步骤S2：在所述模型注册模块中进行模型输入、输出的标准化，根据输入方式上传输入数据文件，可视化编辑数据的参数格式，提取转换规则，然后JSON格式化入库；/n步骤S3：在所述模型审核模块中基于提交后的标准化的模型与参数，对模型进行初步审核，根据审核规则进行判断，通过后进行专业审核；/n步骤S4：在所述模型上架模块和模型调度模块中进行模型上线，根据模型运行环境、运行方式分配系统资源，使用虚拟机、docker技术进行模型的沙箱运行，并对外提供服务，用以实现模型统一的集成管理与标准化。/n...

【技术特征摘要】
1.一种实现模型及其接口标准化输入输出的方法，其特征在于：提供一模型及其接口标准化输入输出调度平台，所述平台包括模型注册模块、模型审核模块、模型上架模块和模型调度模块；所述模型注册模块用于平台模型信息的初始化及模型输入、输出的标准化；所述模型审核模块用于审核标准化的模型与参数；所述模型上架模块用于进行模型上线；所述模型调度模块用于分配系统资源，实现模型统一的集成管理与标准化；
包括以下步骤：
步骤S1：在所述模型注册模块中进行平台模型信息的初始化，录入模型基础信息，上传模型文件与总入口，并封装为WebService接口；
步骤S2：在所述模型注册模块中进行模型输入、输出的标准化，根据输入方式上传输入数据文件，可视化编辑数据的参数格式，提取转换规则，然后JSON格式化入库；
步骤S3：在所述模型审核模块中基于提交后的标准化的模型与参数，对模型进行初步审核，根据审核规则进行判断，通过后进行专业审核；
步骤S4：在所述模型上架模块和模型调度模块中进行模型上线，根据模型运行环境、运行方式分配系统资源，使用虚拟机、docker技术进行模型的沙箱运行，并对外提供服务，用以实现模型统一的集成管理与标准化。


2.根据权利要求1所述的一种实现模型及其接口标准化输入输出的方法，其特征在于：步骤S2中所述输入方式包括文件形式或接口形式，所述文件形式包括txt或excel，所述接口形式包括WebService接口或RESTful接口。


3.根据权利要求1所述的一种实现模型及其接口标准化输入输出的方法，其特征在于：所述步骤S1具体包括以下内容：先进行模型基础信息的录入，包括模型名称、模型标签、所属行业、专业分类、应用分类、模型类型、模型图标和模型概述，再进行模型运行环境的录入，包括服务器信息、操作系统、沙箱环境、程序环境、运行方式、模型程序文件类型，然后打包上传模型程序文件以及依赖包，集成包括模型预处理、清除文件、开始运行、中断运行和结束运行程序封装为总入口，将不同开发语言的模型封装为相应的WebService接口；其中，所述模型概述包括模型用途、模型原理、使用方法与附件。


4.根据权利要求1所述的一种实现模型及其接口标准化输入输出的方法，其特征在于：所述依赖包包括VC动态库安装包和模型程序所需的动态链接库。


5.根据权利要求1所述的一种实现模型及其接口标准化输入输出的方法，其特征在于：步骤S2中所述进行模型输入标准化为：根据模型的输入方式为文件或者数据接口方式进行不同的标准化操作，针对输入方式为文件形式，包括excel、txt格式，上传输入数据文件，可视化编辑参数格式，以表格形式直观展示数据内容，明确参数名称、参数类型、参数数值、参数分类包括固定参数或实时参数，参数的基本信息，按照设定的双向映射引擎将参数文件转换为JSON格式文件，提取两者之间的转换规则，并根据双向解析引擎将JSON格式文件逆向生成参数文件，并与没有转换前的参数文件对比校验保证JSON格式化的准确性，双向解析引擎作为模型...

【专利技术属性】
技术研发人员：黄敏，张林杰，陈金满，陈星星，
申请(专利权)人：四创科技有限公司，
类型：发明
国别省市：福建;35