【技术实现步骤摘要】
本专利技术涉及计算机,尤其涉及一种数据导入方法和装置。
技术介绍
1、目前基于大数据平台的离线、实时数据开发,对线下数据依赖性较强,需要由业务人员先整理好数据,再由通过集团数据计算平台认证考试的产研人员将数据导入到数据仓库hive中,才能支持线上数据的查询分析使用。
2、在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:现有数据导入方案中数据情况不一,易造成导入错误,使得导入准确率低下,且对导入人员的技术理论基础要求较高,导致操作门槛较高。
技术实现思路
1、有鉴于此,本专利技术实施例提供一种数据导入方法和装置,至少能够解决现有技术中数据导入权限门槛过高、准确率低的现象。
2、为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据导入方法,包括:
3、接收用户选择的目标表的表名以及待上传的文件,调用与文件的文件类型对应的解析逻辑,以读取文件中的文件内容;
4、对文件内容进行数据清洗处理,得到目标文件,将目标文件中的数据
...【技术保护点】
1.一种数据导入处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述接收用户选择的目标表的表名以及待上传的文件,包括:
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述将所述目标文件中的数据解析为数据流,包括:
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述将所述数据流和所述用户名写入所述目标表中,包括如下一种或多种:
7.根据权利要求6所述的方
...【技术特征摘要】
1.一种数据导入处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述接收用户选择的目标表的表名以及待上传的文件,包括:
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述将所述目标文件中的数据解析为数据流,包括:
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述将所述数据流和所述用户名写入所述目标表中,包括如下一种或多...
【专利技术属性】
技术研发人员:黄伟波,王辰玮,常傲岳,曾慧怡,毛润鸿,
申请(专利权)人:北京京东远升科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。