一种数据分析处理系统和模型运行方法技术方案

本发明专利技术提供一种数据分析处理系统和模型运行方法，该方法包括：进行模型的上线；运行上线的所述模型；其中，所述模型包括至少两个子模型，所述至少两个子模型包括运行在至少两种运行环境中的子模型。本发明专利技术能够支持异构模型，使得数据分析处理有极高的兼容性和开放性，提升开发效率及灵活性。

【技术实现步骤摘要】
一种数据分析处理系统和模型运行方法
本专利技术涉及数据处理
，尤其涉及一种数据分析处理系统和模型运行方法。
技术介绍
近年来，大数据处理与分析已经成为全球性问题，随着经济社会信息化和自动化水平不断提高，在政府管理、公共服务、科学研究、商业应用等许多领域面临大数据问题，需要有各种针对性和经济有效的解决方案。大数据平台为行业大数据提供处理能力，集数据接入、数据处理、数据存储、查询检索、分析挖掘、应用接口等功能为一体。现有的数据分析处理系统不支持多样化的开发语言和算法框架，不能提供集成的、自动化的多语言、多框架协同数据处理，形式单一，开放性和兼容性较差。
技术实现思路
本专利技术实施例提供一种数据分析处理系统和模型运行方法，解决现有的数据分析处理系统开放性和兼容性较差的问题。为解决上述技术问题，本专利技术提供一种模型运行方法，应用于数据分析处理系统中，所述方法包括：进行模型的上线；运行上线的所述模型；其中，所述模型包括至少两个子模型，所述至少两个子模型包括运行在至少两种运行环境中的子模型。可选的，上述方法中，所述运行环境包括容器。可选的，上述方法中，所述运行上线的所述模型的步骤包括：基于上线的模型生成模型配置文件；根据所述模型配置文件生成运行节点拓扑信息；基于所述运行节点拓扑信息运行所述模型；其中，所述模型配置文件包括模型拓扑信息和子模型的运行环境信息。可选的，上述方法中，所述根据所述模型配置文件生成运行节点拓扑信息的步骤包括：根据所述模型拓扑信息、所述子模型的运行环境信息和预设规则确定所述运行节点拓扑信息。可选的，上述方法中，所述预设规则包括以下至少一项：异构的子模型分配不同的工作节点；同构且并行运行的子模型分配不同的工作节点；同构且串行相邻的子模型分配同一工作节点；同构不相邻且存在执行先后顺序的子模型分配同一工作节点；其中，异构的子模型包括不能运行在同一运行环境中的子模型，同构的子模型包括能够运行在同一运行环境中的子模型。可选的，上述方法中，所述预设规则包括以下至少一项：异构的子模型分配不同的工作节点；同构且并行运行的子模型分配不同的工作节点；同构且串行相邻的子模型分配同一工作节点；同构且不相邻且存在执行先后顺序的子模型，分配不同的工作节点；其中，异构的子模型包括不能运行在同一运行环境中的子模型，同构的子模型包括能够运行在同一运行环境中的子模型。可选的，上述方法中，根据所述模型拓扑信息、所述子模型的运行环境信息和预设规则确定所述运行节点拓扑信息步骤之后，所述方法还包括：基于检测到的用于调整所述运行节点拓扑信息的操作，调整所述运行节点拓扑信息。可选的，上述方法中，所述基于所述运行节点拓扑信息运行所述模型的步骤包括：启动多个运行节点；其中所述多个运行节点包括一个控制节点和M个工作节点；M为大于或者等于1的整数；所述控制节点基于所述运行节点拓扑信息对所述M个工作节点进行调度，运行模型；输出模型运行结果数据。可选的，上述方法中，所述输出模型运行结果数据的步骤包括：模型运行结果数据由所述工作节点返回给所述控制节点；所述控制节点输出所述模型运行结果数据。可选的，上述方法中，所述进行模型的上线包括上线模型的部分子模型；所述运行上线的所述模型包括运行上线的部分子模型；所述运行上线的所述模型的步骤具体包括：基于上线的部分子模型生成模型配置文件；根据所述模型配置文件生成运行节点拓扑信息；基于所述运行节点拓扑信息运行所述模型；所述模型配置文件包括部分子模型的拓扑信息和部分子模型的运行环境信息。可选的，上述方法中，所述模型为N个模型，N为大于或者等于1的整数，其中，N个模型包括至少一个异构模型；所述异构模型包括在不同运行环境中运行的子模型；所述基于所述运行节点拓扑信息运行所述模型的步骤包括：启动多个运行节点；其中所述多个运行节点包括一个引擎节点、N组工作节点和N个控制节点；每一个所述模型的所述控制节点在所述引擎节点中进行注册；所述引擎节点为运行的每一个所述模型的所述控制节点分发数据；所述引擎节点接收运行的每一个所述模型的模型运行结果数据并输出。可选的，上述方法中，所述引擎节点为运行的每一个所述模型的所述控制节点分发数据的步骤包括：所述引擎节点根据输入数据的模型标识为每一个所述模型的所述控制节点分发数据。本专利技术还提供一种数据分析处理系统，所述数据分析处理系统包括：上线模块，用于进行模型的上线；运行模块，用于运行上线的所述模型；其中，所述模型包括至少两个子模型，所述至少两个子模型包括运行在至少两种运行环境中的子模型。可选的，上述数据分析处理系统中，所述运行环境包括容器。可选的，上述数据分析处理系统中，所述运行模块包括：第一生成单元，用于基于上线的模型生成模型配置文件；第二生成单元，用于根据所述模型配置文件生成运行节点拓扑信息；第一运行单元，用于基于所述运行节点拓扑信息运行所述模型；其中，所述模型配置文件包括模型拓扑信息和子模型的运行环境信息。可选的，上述数据分析处理系统中，所述第二生成单元具体用于：根据所述模型拓扑信息、所述子模型的运行环境信息和预设规则确定所述运行节点拓扑信息。可选的，上述数据分析处理系统中，所述预设规则包括以下至少一项：异构的子模型分配不同的工作节点；同构且并行运行的子模型分配不同的工作节点；同构且串行相邻的子模型分配同一工作节点；同构不相邻且存在执行先后顺序的子模型分配同一工作节点；其中，异构的子模型包括不能运行在同一运行环境中的子模型，同构的子模型包括能够运行在同一运行环境中的子模型。可选的，上述数据分析处理系统中，所述预设规则包括以下至少一项：异构的子模型分配不同的工作节点；同构且并行运行的子模型分配不同的工作节点；同构且串行相邻的子模型分配同一工作节点；同构且不相邻且存在执行先后顺序的子模型，分配不同的工作节点；其中，异构的子模型包括不能运行在同一运行环境中的子模型，同构的子模型包括能够运行在同一运行环境中的子模型。可选的，上述数据分析处理系统还包括：调整模块，用于基于检测到的用于调整所述运行节点拓扑信息的操作，调整所述运行节点拓扑信息。可选的，上述数据分析处理系统中，所述运行模块还包括：第一启动单元，用于启动多个运行节点；其中所述多个运行节点包括一个控制节点和M个工作节点；M为大于或者等于1的整数；第二运行单元，用于所述控制节点基于所述运行节点拓扑信息对所述M个工作节点进行调度，运行模型；第一输出单元，用于输出模型运行结果数据。可本文档来自技高网...

【技术保护点】
1.一种模型运行方法，应用于数据分析处理系统中，其特征在于，包括：/n进行模型的上线；/n运行上线的所述模型；/n其中，所述模型包括至少两个子模型，所述至少两个子模型包括运行在至少两种运行环境中的子模型。/n

【技术特征摘要】
1.一种模型运行方法，应用于数据分析处理系统中，其特征在于，包括：
进行模型的上线；
运行上线的所述模型；
其中，所述模型包括至少两个子模型，所述至少两个子模型包括运行在至少两种运行环境中的子模型。


2.根据权利要求1所述的方法，其特征在于，所述运行上线的所述模型的步骤包括：
基于上线的模型生成模型配置文件；
根据所述模型配置文件生成运行节点拓扑信息；
基于所述运行节点拓扑信息运行所述模型；
其中，所述模型配置文件包括模型拓扑信息和子模型的运行环境信息。


3.根据权利要求2所述的方法，其特征在于，所述基于所述运行节点拓扑信息运行所述模型的步骤包括：
启动多个运行节点；其中所述多个运行节点包括一个控制节点和M个工作节点；M为大于或者等于1的整数；
所述控制节点基于所述运行节点拓扑信息对所述M个工作节点进行调度，运行模型；
输出模型运行结果数据。


4.根据权利要求1所述的方法，其特征在于，所述进行模型的上线包括上线模型的部分子模型；所述运行上线的所述模型包括运行上线的部分子模型；所述运行上线的所述模型的步骤具体包括：
基于上线的部分子模型生成模型配置文件；
根据所述模型配置文件生成运行节点拓扑信息；
基于所述运行节点拓扑信息运行所述模型；
所述模型配置文件包括部分子模型的拓扑信息和部分子模型的运行环境信息。


5.根据权利要求2所述的方法，其特征在于，所述模型为N个模型，N为大于或者等于1的整数，其中，N个模型包括至少一个异构模型；所述异构模型包括在不同运行环境中运行的子模型；所述基于所述运行节点拓扑信息运行所述模型的步骤包括：
启动多个运行节点；其中所述多个运行节点包括一个引擎节点、N组工作节点和N个控制节点；
每一个所述模型的所述控制节点在所述引擎节点中进行注册；
所述引擎节点为运行的每一个所述模型的所述控制节点分发数据；
所述引擎节点接收运行的每一个所述模型的模型运行结果数据并输出。


6.一种数据分析处理系统，其特征在于，包括：
上线模块，用于进行模型...

【专利技术属性】
技术研发人员：路明奎，方磊，
申请(专利权)人：北京九章云极科技有限公司，
类型：发明
国别省市：北京;11