【技术实现步骤摘要】
数据处理方法、处理装置及处理系统
[0001]本公开涉及计算机
,尤其涉及一种数据处理方法
、
处理装置及处理系统
。
技术介绍
[0002]随着互联网和信息化的快速发展,各种数据呈井喷式增长,需要通过使用一些
ETL(Extract
‑
Transform
‑
Load
,抽取
‑
转换
‑
装载
)
工具对各种数据进行处理
、
转换
、
整合
、
迁移等操作,但目前市面上的
ETL
工具存在着各种各样的局限性,例如不支持分布式部署
、
不支持数据实时同步
、
对使用者技术能力要求较高
、
模型无法复用等,导致数据处理效率低
。
技术实现思路
[0003]本公开提供了一种数据处理方法
、
处理装置及处理系统,以至少解决相关技术中使用
ETL
工具进行数据处理的效率低的技术问题
。
[0004]根据本公开的一方面,提供了一种数据处理方法,包括:在操作界面的第一显示区域中显示多个第一组件,其中,多个第一组件包括:源数据库组件
、
目标数据库组件和多个运算组件,每个运算组件用于对输入至该运算组件的数据进行目标运算以得到运算结果;响应作用于多个第一组件中目标组件的拖动操作,将目标组件从第一显示区域移动至 ...
【技术保护点】
【技术特征摘要】
1.
一种数据处理方法,包括:在操作界面的第一显示区域中显示多个第一组件,其中,所述多个第一组件包括:源数据库组件
、
目标数据库组件和多个运算组件,每个运算组件用于对输入至该运算组件的数据进行目标运算以得到运算结果;响应作用于所述多个第一组件中目标组件的拖动操作,将所述目标组件从所述第一显示区域移动至所述操作界面的第二显示区域;响应作用于所述第二显示区域中的触控操作,在所述第二显示区域中显示数据处理模型,其中,所述数据处理模型通过所述第二显示区域中显示的多个第二组件进行连接得到,所述多个第二组件包括:所述源数据库组件
、
所述目标数据库组件和至少一个运算组件
。2.
根据权利要求1所述的方法,其中,在将所述目标组件从所述第一显示区域移动至所述操作界面的第二显示区域之后,所述方法还包括:响应于作用于所述目标组件的触控操作,在所述操作界面中显示所述目标组件对应的配置界面;响应作用于所述配置界面中的配置指令,在所述配置界面中显示所述目标组件的组件参数,其中,所述组件参数用于对所述目标组件进行配置
。3.
根据权利要求1所述的方法,其中,在所述第二显示区域中显示数据处理模型之后,所述方法还包括:确定所述源数据库组件对应的原始数据是否出现更新;响应于所述原始数据出现更新,读取出现更新的目标数据;利用所述数据处理模型对所述目标数据进行处理,得到处理结果;将所述处理结果存储至所述目标数据库组件对应的目标数据库
。4.
根据权利要求3所述的方法,其中,确定所述源数据库组件对应的原始数据是否出现更新包括如下之一:响应于定时时间到达,检测所述原始数据是否出现更新;对所述源数据库组件对应的数据库增量日志进行解析,确定所述原始数据是否出现更新
。5.
根据权利要求3所述的方法,其中,利用所述数据处理模型对所述目标数据进行处理,得到所述处理结果包括:将所述目标数据存储至第一分布式消息队列;利用所述数据处理模型对所述第一分布式消息队列中存储的第一数据进行处理,得到所述处理结果
。6.
根据权利要求3所述的方法,其中,将所述处理结果存储至所述目标数据库组件对应的目标数据库包括:将所述处理结果存储至第二分布式消息队列;将所述第二分布式消息队列中存储的第二数据写入所述目标数据库
。7.
一种数据处理装置,包括:组件显示模块,用于在操作界面的第一显示区域中显示多个第一组件,其中,所述多个第一组件包括:源数据库组件
、
目标数据库组件和多个运算组件,每个运算组件用于对输入至该运算组件的数据进行目标运算以得到运算结果;
组件拖动模块,用于响应作用于所述多个第一组件中目标组件的拖动操作,将所述目标组件从所述第一显示区域移动至所述操作界面的第二显示区域;模型显示模块,用于响应作用于所述第二显示区域中的触控操作,在所述第二显示区域中显示数据处理模型,其中,所述数据处理模型通过所述第二显示区域中显示的多个第二组件进行连接得到,所述多个第二组件包括:所述源数据库组件
、
所述目标数据库组件和至少一个...
【专利技术属性】
技术研发人员:陈建辉,
申请(专利权)人:阿波罗智行科技广州有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。