一种数据导入方法和装置制造方法及图纸

技术编号:42644618 阅读:51 留言:0更新日期:2024-09-06 01:40
本发明专利技术公开了一种数据导入方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:接收用户选择的目标表的表名以及待上传的文件,调用与文件的文件类型对应的解析逻辑,读取文件中的文件内容;对文件内容进行数据清洗处理,得到目标文件,将目标文件中的数据解析为数据流,将数据流、表名和用户的用户名封装为消息体,将消息体发送至消息队列;从消息队列获取消息体并解析,得到数据流、表名和用户名,确定数据仓库中与表名对应的目标表,将数据流和用户名写入目标表。该实施方式通过大数据平台的数据导入引擎和消息消费引擎的相互配合,实现多种数据格式的自动导入,降低导数门槛,提高导数效率。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种数据导入方法和装置


技术介绍

1、目前基于大数据平台的离线、实时数据开发,对线下数据依赖性较强,需要由业务人员先整理好数据,再由通过集团数据计算平台认证考试的产研人员将数据导入到数据仓库hive中,才能支持线上数据的查询分析使用。

2、在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:现有数据导入方案中数据情况不一,易造成导入错误,使得导入准确率低下,且对导入人员的技术理论基础要求较高,导致操作门槛较高。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种数据导入方法和装置,至少能够解决现有技术中数据导入权限门槛过高、准确率低的现象。

2、为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据导入方法,包括:

3、接收用户选择的目标表的表名以及待上传的文件,调用与文件的文件类型对应的解析逻辑,以读取文件中的文件内容;

4、对文件内容进行数据清洗处理,得到目标文件,将目标文件中的数据解析为数据流,将数据本文档来自技高网...

【技术保护点】

1.一种数据导入处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述接收用户选择的目标表的表名以及待上传的文件,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述目标文件中的数据解析为数据流,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述将所述数据流和所述用户名写入所述目标表中,包括如下一种或多种:

7.根据权利要求6所述的方法,其特征在于,所述...

【技术特征摘要】

1.一种数据导入处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述接收用户选择的目标表的表名以及待上传的文件,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述目标文件中的数据解析为数据流,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述将所述数据流和所述用户名写入所述目标表中,包括如下一种或多...

【专利技术属性】
技术研发人员:黄伟波王辰玮常傲岳曾慧怡毛润鸿
申请(专利权)人:北京京东远升科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1