【技术实现步骤摘要】
一种跨平台自适应数据处理工作流系统及方法
[0001]本申请属于计算机系统
，具体涉及一种跨平台自适应数据处理工作流系统及方法。
技术介绍
[0002]本部分的陈述仅仅是提供了与本申请相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着互联网信息技术的发展，人们的生产生活产生了更多、更复杂的数据。为了更高效地使用这些数据，挖掘数据中存在的价值，人们研究了数据清洗、数据纠偏、数据标准化、数据填补等大量算法。然而，目前不存在一个可以胜任所有数据处理任务的平台，数据科学家在处理数据时经常需要跨平台分步工作，例如使用关系型数据库存储结构化数据、图数据使用图计算引擎、数据质控算法使用人工智能模型框架、流式数据使用Apache Flink等。当前的数据处理任务已不再局限于使用单一计算平台，而是使用多种计算平台协同完成。
[0004]对于数据科学家而言，构建一个跨平台计算使用多种算法的数据处理工作流并协调各部分计算以达到较高的性能是很难的，原因在于以下几方面：（1）不同的平台都需要实现特定的代码，用户需要掌握多...
【技术保护点】
【技术特征摘要】
1.一种跨平台自适应数据处理工作流系统，其特征在于，包括：客户端，被配置为基于应用程序编程接口调用和画布式拖拽构建工作流，将所构建的工作流通过Istio安全网关发送到服务端；服务端，被配置为基于服务器接口接收客户端所构建的工作流，基于运算符计算平台适配器进行工作流逻辑运算符的计算环境优化适配。2.如权利要求1中所述的一种跨平台自适应数据处理工作流系统，其特征在于，所述客户端提供应用程序编程接口列表供用户调用，提供可视化的拖拽式画布前端；所述列表包含数据对象算子、逻辑运算符算子、流程控制算子和任务提交算子的描述、参数及使用规则，用户仅需编写代码即可完成工作流的构建；所述拖拽式画布前端为用户提供画布工作台，通过列表列出可调用的算子，用户通过拖拽算子到画布、定义算子属性和关联算子，形成工作流。3.如权利要求2中所述的一种跨平台自适应数据处理工作流系统，其特征在于，所形成的工作流被提取为Yaml格式，通过Kubernetes的Istio安全网关发送到服务端，调用服务端组件完成请求。4.如权利要求1中所述的一种跨平台自适应数据处理工作流系统，其特征在于，所述服务端基于Kubernetes架构实现微服务结构，结合成对的channel算子进行跨平台地址绑定进行跨平台通信。5.如权利要求1中所述的一种跨平台自适应数据处理工作流系统，其特征在于，所述服务端通过服务器接口接收所述客户端提交的包含工作流信息的Yaml数据，解析所述Yaml数据并形成逻辑工作流，根据所述逻辑工作流内容访问Etcd分布式数据存储器获取数据对象或将客户端所上传的数据存储到所述Etcd分布式数据存储器，服务器接口将所述逻辑工作流发送到运算符计算...
【专利技术属性】
技术研发人员：杨美红，王英龙，张俭，潘景山，赵志刚，王春晓，武鲁，杨帅，李传涛，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。