Alink模型在Flink平台的应用方法及装置、电子设备、存储介质制造方法及图纸

本申请提供一种Alink模型在Flink平台的应用方法及装置、电子设备、存储介质，包括：获取样本数据，并从所述样本数据中提取相应的样本特征；调用Alink平台的批组件模型训练接口，根据所述样本特征，对所述Alink平台的指定批组件模型进行训练，得到已训练模型；借助所述已训练模型，对Flink平台的业务数据进行处理。本申请方案，利用种类和功能更为丰富的批组件模型处理Flink平台的业务数据，实现了Flink平台复杂的业务处理需求。台复杂的业务处理需求。台复杂的业务处理需求。

【技术实现步骤摘要】
Alink模型在Flink平台的应用方法及装置、电子设备、存储介质


[0001]本申请涉及大数据流式数据处理
，特别涉及一种Alink模型在Flink平台的应用方法及装置、电子设备、计算机可读存储介质。

技术介绍

[0002]Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。在实际业务场景中，在Flink平台上可以通过机器学习模型处理数据，以实现相应的业务需求，例如：检测、预测、推荐等。由于Flink没有专门的模型模块，需要借助Alink(Alibaba Algorithm AI Flink Blink)平台训练出机器学习模型，进而将训练出的模型应用到Flink平台。
[0003]Alink平台提供三类模式的模型组件：pipeline组件(管线组件)、batch组件(批组件)、sreaming组件(流组件)，每一类组件包括可实现多种功能的初始模型，比如：管线组件包括用于实现分类任务、回归任务、异常检测、文本处理、聚类、音频处理等功能的初始模型。Alink平台可以将管线组件中若干初始模型进行封本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Alink模型在Flink平台的应用方法，其特征在于，包括：获取样本数据，并从所述样本数据中提取相应的样本特征；调用Alink平台的批组件模型训练接口，根据所述样本特征，对所述Alink平台的指定批组件模型进行训练，得到已训练模型；借助所述已训练模型，对Flink平台的业务数据进行处理。2.根据权利要求1所述的Alink模型在Flink平台的应用方法，其特征在于，所述借助所述已训练模型，对Flink平台的业务数据进行处理，包括：在所述Flink平台加载第三方JAR包；其中，所述第三方JAR包用于拓展所述Flink平台的Java类，被拓展的Java类包括对应于所述指定批组件模型的指定Java类；在所述Flink平台的指定Java类下，初始化所述已训练模型；应用所述已训练模型对所述业务数据进行处理。3.根据权利要求2所述的Alink模型在Flink平台的应用方法，其特征在于，所述初始化所述已训练模型，包括：通过TableSchema类传入待处理的业务数据的特征名称；通过Params类传入预测结果的数据结构；加载目标格式的模型文件，完成所述已训练模型的初始化流程。4.根据权利要求3所述的Alink模型在Flink平台的应用方法，其特征在于，在所述加载目标格式的模型文件，完成所述已训练模型的初始化流程之前，所述方法还包括：从所述已训练模型的存储路径读取初始模型文件；将所述初始模型文件转化为所述目标格式的模型文件。5.根据权利要求1所述的Alink模型在Flink平台的应用方法，其特征在于，所述借助所述已训练模型，对Flink平台的业务数据进行处理，包括：将所述Flink平台的业务数据的数据特征，转化为Alink平台对应的第一数据格式；在所述Ali...

【专利技术属性】
技术研发人员：王彦磊，刘伟，
申请(专利权)人：上海斗象信息科技有限公司，
类型：发明
国别省市：