【技术实现步骤摘要】
数据处理方法、装置、电子设备和存储介质
[0001]本公开涉及数据处理
,尤其涉及一种数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
[0002]目前,随着大数据技术的不断发展,数据处理在车辆、智能家电、手机等领域得到了广泛应用,且各个领域中的数据处理需求种类繁多。然而,相关技术中的数据处理方法,无法适用于多种数据处理需求,存在灵活性低的问题。
技术实现思路
[0003]本公开提供一种数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品,以至少解决相关技术中数据处理方法灵活性低的问题。本公开的技术方案如下:
[0004]根据本公开实施例的第一方面,提供一种数据处理方法,包括:获取多个数据源的配置文件;基于所述配置文件,确定目标字段名称;基于所述目标字段名称,生成总查询语句;执行所述总查询语句,并基于所述总查询语句,对多个所述数据源进行数据处理,得到数据处理结果。
[0005]在本公开的一个实施例中,所述基于所述配置文件,确定目标字段名称,包括:从所述配置文件中提取出候选字段名称和候选字段类别之间的映射关系;将与候选字段类别为设定字段类别具有映射关系的候选字段名称确定为所述目标字段名称。
[0006]在本公开的一个实施例中,所述基于所述目标字段名称,生成总查询语句,包括:对同一设定字段类别的多个目标字段名称进行拼接,生成子查询语句;基于多个所述子查询语句,生成所述总查询语句。
[0007]在本公开的一个实施例中,所述设定字段 ...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:获取多个数据源的配置文件;基于所述配置文件,确定目标字段名称;基于所述目标字段名称,生成总查询语句;执行所述总查询语句,并基于所述总查询语句,对多个所述数据源进行数据处理,得到数据处理结果。2.根据权利要求1所述的方法,其特征在于,所述基于所述配置文件,确定目标字段名称,包括:从所述配置文件中提取出候选字段名称和候选字段类别之间的映射关系;将与候选字段类别为设定字段类别具有映射关系的候选字段名称确定为所述目标字段名称。3.根据权利要求1所述的方法,其特征在于,所述基于所述目标字段名称,生成总查询语句,包括:对同一设定字段类别的多个目标字段名称进行拼接,生成子查询语句;基于多个所述子查询语句,生成所述总查询语句。4.根据权利要求3所述的方法,其特征在于,所述设定字段类别包括核对字段,所述子查询语句包括第一查询语句;所述对同一设定字段类别的多个所述目标字段名称进行拼接,生成子查询语句,包括:对设定字段类别为核对字段的多个第一字段名称进行拼接,生成所述第一查询语句;所述基于所述总查询语句,对多个所述数据源进行数据处理,得到数据处理结果,包括:基于所述总查询语句,从多个所述数据源中分别查询所述第一字段名称对应的原始字段值;对多个所述数据源的第一字段名称对应的原始字段值进行核对处理,得到所述数据处理结果。5.根据权利要求4所述的方法,其特征在于,所述对多个所述数据源的第一字段名称对应的原始字段值进行核对处理,得到所述数据处理结果,包括:对所述数据源的第一字段名称对应的多个原始字段值进行汇总处理,得到所述数据源的第一字段名称对应的汇总字段值;对多个所述数据源的第一字段名称对应的汇总字段值进行核对处理,得到所述数据处理结果。6.根据权利要求4所述的方法,其特征在于,还包括:对多个所述数据源的第一字段名称对应的原始字段值进行组合,得到所述数据处理结果。7.根据权利要求3所述的方法,其特征在于,所述设定字段类别包括展示字段,所述子查询语句包括第二查询语句;所述对同一设定字段类别的多个所述目标字段名称进行拼接,生成子查询语句,包括:对设定字段类别为展示字段的多个第二字段名称进行拼接,生成所述第二查询语句;所述基于所述总查询语句,对多个所述数据源进行数据处理,得到数据处理结果,包
括:基于所述总查询语句,从多个所述数据源中分别查询所述第二字段名称对应的原始字段值;对多个所述数据源的第二字段名称对应的原始字段值进行组合,得到所述数据处理结果。8.根据权利要求1
‑
7中任一项所述的方法,其特征在于,还包括:基于所述配置文件,确定所述数据处理结果的目标存储空间的目标标识;创建标识为所述目标标识的目标存储空间;将所述数据处理结果存储至所述目标存储空间。9.一种数据处理装置,其特征在于,包括:获取模块,被配置为获取多个数据源的配置文件;确定模块,被配置为基于所述配置文件,确定目标字段名称;生成模块,被配置为基于所述目标字段名称,生成总查询语句;...
【专利技术属性】
技术研发人员:鲍海宁,
申请(专利权)人:建信金融科技有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。