本申请实施例提供了一种数据处理方法和装置，所述方法包括：从预设数据源加载原始数据集；将所述原始数据集转换为预设数据格式的格式化数据集；获取针对预设算子的编排信息；采用所述预设算子以及所述编排信息，生成数据集运算模型；按照所述数据集运算模型对至少两个格式化数据集进行分析处理，得到数据分析结果。通过本申请实施例的数据处理方法，用户可以从不同的数据源加载原始数据集，将原始数据集转换为预设数据格式的格式化数据集，完成对多种数据集的统一对接，对算子的编排操作简单、便捷，便于用户对数据集实现所需的数据集计算。计算。计算。
【技术实现步骤摘要】
一种数据处理方法和装置
[0001]本申请涉及数据
，特别是涉及一种数据处理方法和一种数据处理装置。
技术介绍
[0002]随着互联网、物联网的发展，很多领域的数据都发生了爆炸性的增长，这些庞大的数据资源，大数据分析是一种发现数据之中的规律的数据处理方法，随着大数据业务的不断扩展，业务场景越来越复杂，需要编写各种模型才能有效对数据进行分析。
[0003]对于大部分不懂得的数据分析模型的用户而言，即使拥有数据资源，也不懂得分析出数据中的信息。而对于懂得的数据分析模型的用户而言，仍然需要针对数据特性发开出特定的模型，费时费力，不能实时、快速地完成数据分析。
技术实现思路
[0004]鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法和相应的一种数据处理装置。
[0005]为了解决上述问题，本申请实施例公开了一种数据处理方法，包括：
[0006]从预设数据源加载原始数据集；
[0007]将所述原始数据集转换为预设数据格式的格式化数据集；
[0008]获取针对预设算子的编排信息；
[0009]采用所述预设算子以及所述编排信息，生成数据集运算模型；
[0010]按照所述数据集运算模型对至少两个格式化数据集进行分析处理，得到数据分析结果。
[0011]可选地，所述从预设数据源加载原始数据集，包括：
[0012]针对预设数据源创建挂载点；
[0013]从所述挂载点加载原始数据集。<br/>[0014]可选地，在将所述原始数据集转换为预设数据格式的格式化数据集之前，还包括：
[0015]获取用户输入的字段数目和字段类型；
[0016]按照所述字段数目和字段类型，确定目标数据格式。
[0017]可选地，所述将所述原始数据集转换为预设数据格式的格式化数据集，包括：
[0018]将所述原始数据集，转换为所述目标数据格式的格式化数据集。
[0019]可选地，在获取针对预设算子的编排信息之前，还包括；
[0020]生成并展现数据集运算模型编辑界面；
[0021]检测用户在所述数据集运算模型编辑界面触发的算子选择操作，并响应所述算子选择操作确定对应目标预设算子；
[0022]检测用户在所述数据集运算模型编辑界面的编排操作，并响应所述编排操作，生成针对所述目标预设算子的编排信息。
[0023]可选地，所述数据集运算模型具有至少两个输入节点；在按照所述数据集运算模
型对至少两个格式化数据集进行数据集运行，得到数据分析结果之前，还包括：
[0024]生成并展现输入节点选择界面；
[0025]接收用户在所述输入节点选择界面输入的选择信息；
[0026]将所述选择信息对应的格式化数据集，作为输入节点对应的格式化数据集。
[0027]可选地，所述按照所述数据集运算模型对至少两个格式化数据集进行分析处理，得到数据分析结果，包括：
[0028]采用所述数据集运算模型和所述格式化数据，生成可执行实例；
[0029]运行所述可执行实例，得到数据分析结果。
[0030]本专利技术实施例还公开了一种数据处理装置，包括：
[0031]原始数据集加载模块，用于从预设数据源加载原始数据集；
[0032]格式转换模块，用于将所述原始数据集转换为预设数据格式的格式化数据集；
[0033]编排信息获取模块，用于获取针对预设算子的编排信息；
[0034]数据集运算模型生成模块，用于采用所述预设算子以及所述编排信息，生成数据集运算模型；
[0035]数据分析模块，用于按照所述数据集运算模型对至少两个格式化数据集进行分析处理，得到数据分析结果。
[0036]可选地，所述原始数据集加载模块包括：
[0037]挂载点创建子模块，用于针对预设数据源创建挂载点；
[0038]原始数据集加载子模块，用于从所述挂载点加载原始数据集。
[0039]可选地，还包括：
[0040]字段信息获取模块，用于在所述格式转换模块将所述原始数据集转换为预设数据格式的格式化数据集之前，获取用户输入的字段数目和字段类型；
[0041]目标数据格式确定模块，用于按照所述字段数目和字段类型，确定目标数据格式。
[0042]可选地，所述格式转换模块包括：
[0043]格式转换子模块，用于将所述原始数据集，转换为所述目标数据格式的格式化数据集。
[0044]可选地，还包括；
[0045]数据集运算模型编辑界面展现模块，用于在所述编排信息获取模块获取针对预设算子的编排信息之前，生成并展现数据集运算模型编辑界面；
[0046]目标预设算子确定模块，用于检测用户在所述数据集运算模型编辑界面触发的算子选择操作，并响应所述算子选择操作确定对应目标预设算子；
[0047]编排信息生成模块，用于检测用户在所述数据集运算模型编辑界面的编排操作，并响应所述编排操作，生成针对所述目标预设算子的编排信息。
[0048]可选地，所述数据集运算模型具有至少两个输入节点；所述装置还包括：
[0049]输入节点选择界面展现模块，用于在所述数据分析模块按照所述数据集运算模型对至少两个格式化数据集进行数据集运行，得到数据分析结果之前，生成并展现输入节点选择界面；
[0050]选择信息接收模块，用于接收用户在所述输入节点选择界面输入的选择信息；
[0051]输入节点数据确定模块，用于将所述选择信息对应的格式化数据集，作为输入节
点对应的格式化数据集。
[0052]可选地，所述数据分析模块包括：
[0053]可执行实例生成子模块，用于采用所述数据集运算模型和所述格式化数据，生成可执行实例；
[0054]可执行实例运行子模块，用于运行所述可执行实例，得到数据分析结果。
[0055]本专利技术实施例还公开了一种装置，包括：
[0056]一个或多个处理器；和
[0057]其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如上所述的一个或多个的方法。
[0058]本专利技术实施例还公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如上所述的一个或多个的方法。
[0059]本申请实施例包括以下优点：
[0060]通过本申请实施例的数据处理方法，用户可以从不同的数据源加载原始数据集，将原始数据集转换为预设数据格式的格式化数据集，完成对多种数据集的统一对接。获取用户根据业务场景需求输入的针对预设算子的编排信息，采用预设算子以及编排信息，生成数据集运算模型；之后按照数据集运算模型对至少两个格式化数据集进行分析处理，得到数据分析结果。对于不懂得编写算子的用户而言，只需要对预设算子进行简单组合，即可生成数据集运算模型，操本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：从预设数据源加载原始数据集；将所述原始数据集转换为预设数据格式的格式化数据集；获取针对预设算子的编排信息；采用所述预设算子以及所述编排信息，生成数据集运算模型；按照所述数据集运算模型对至少两个格式化数据集进行分析处理，得到数据分析结果。2.根据权利要求1所述的方法，其特征在于，所述从预设数据源加载原始数据集，包括：针对预设数据源创建挂载点；从所述挂载点加载原始数据集。3.根据权利要求1所述的方法，其特征在于，在将所述原始数据集转换为预设数据格式的格式化数据集之前，还包括：获取用户输入的字段数目和字段类型；按照所述字段数目和字段类型，确定目标数据格式。4.根据权利要求3所述的方法，其特征在于，所述将所述原始数据集转换为预设数据格式的格式化数据集，包括：将所述原始数据集，转换为所述目标数据格式的格式化数据集。5.根据权利要求1所述的方法，其特征在于，在获取针对预设算子的编排信息之前，还包括；生成并展现数据集运算模型编辑界面；检测用户在所述数据集运算模型编辑界面触发的算子选择操作，并响应所述算子选择操作确定对应目标预设算子；检测用户在所述数据集运算模型编辑界面的编排操作，并响应所述编排操作，生成针对所述目标预设算子的编排信息。6.根据权利要求1所述的方法，其特征在于，所述数据集运算模型具有至少两个输入节点；在按照所述数据集运算模型对至少两个格式化数据集进行数据集运行，得到数据分析结果之前，还包括：生成并展现输入节点选择界面；接收用户在所述输入节点选择界面输入的选择信息；将所述选择信息对应的格式化数据集，作为输入节点对应的格式化数据集。7.根据权利要求1所述的方法，其特征在于，所述按照所述数据集运算模型对至少两个格式化数据集进行分析处理，得到数据分析结果，包括：采用所述数据集运算模型和所述格式化数据，生成可执行实例；运行所述可执行实例，得到数据分析结果。8.一种数据处理装置，其特征在于，包括：原始数据集加载模块，用于从预设数据源加载原始数据集；格式转换模块，用于将所述原始数据集转换为预设数据格式的格式化数据集；编排信息获取模块，用于获取针对预设算子的编排信息；数据集运算模型生成模块，用于采用所述预设算子以及所述编排信息，生成数据集运
算模型；数据分析模块，用于按照所述数据集运算模型对至少两个格式化数据集进...
【专利技术属性】
技术研发人员：江小辉，杨馨惠，杨斌，叶志坚，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。