一种数据处理方法和系统技术方案

本发明专利技术提供一种数据处理方法和系统，该方法包括：获取与算子预设格式对应的模型探索代码；根据算子预设格式将所述模型探索代码转化为工程化对应的工作流。本发明专利技术实施例通过算子预设格式直接将代码转化模型工程对应的工作流，不需要对模型探索过程中的代码进行重新编码、调试和发布，从而降低了转化成本，提供模型探索效率。探索效率。探索效率。

【技术实现步骤摘要】
一种数据处理方法和系统


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法和系统。

技术介绍

[0002]现有的数据处理模型通常需要数据科学家通过不断的模型探索而生成。而数据科学家在进行模型探索过程中，需要通过编写代码进行模型验证，而现有模型探索过程中直接编写的代码无法在生产环境中运行，需要将这些代码拆开成多个算子，然后进行重新编码、调试以及发布，得到可运行的算子，进而生成工作流。因此，现有的模型探索过程到模型工程化转换成本高，效率低。

技术实现思路

[0003]本专利技术实施例提供一种数据处理方法和系统，解决现有的模型探索过程到模型工程化转换成本高，效率低。
[0004]为解决上述技术问题，本专利技术提供一种数据处理方法，所述方法包括：
[0005]获取与算子预设格式对应的模型探索代码；
[0006]根据算子预设格式将所述模型探索代码转化为工程化对应的工作流。
[0007]可选的，上述方法中，所述根据算子预设格式将所述模型探索代码转化为工程化对应的工作流的步骤包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取与算子预设格式对应的模型探索代码；根据算子预设格式将所述模型探索代码转化为工程化对应的工作流。2.根据权利要求1所述的数据处理方法，其特征在于，所述算子预设格式包括：算子开始标记、算子有效代码部分和算子结尾标记。3.根据权利要求2所述的数据处理方法，其特征在于，所述根据算子预设格式识别所述模型探索代码包含的各个算子的步骤包括：基于所述算子开始标记和算子结尾标记，确定所述算子开始标记和算子结尾标记对应的算子。4.根据权利要求1-3任一项所述的数据处理方法，其特征在于，所述方法应用于包含编辑器的数据处理系统中，在根据算子预设格式将所述模型探索代码转化为工程化对应的工作流的步骤之前，所述数据处理方法还包括：基于所述算子预设格式，在所述编辑器中对所述模型探索代码进行在线运行和/或调试。5.根据权利要求4所述的数据处理方法，其特征在于，所述基于所述算子预设格式，在所述编辑器中对所述模型探索代码进行在线运行和/或调试的步骤包括：基于算子的开始标记和结尾标记，获取上下文；根据所述上下文和所述模型...

【专利技术属性】
技术研发人员：李维，李学锋，杨健，方磊，
申请(专利权)人：北京九章云极科技有限公司，
类型：发明
国别省市：