数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:31496053 阅读:23 留言:0更新日期:2021-12-18 12:37
本发明专利技术涉及信息处理技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。本发明专利技术的数据处理方法、装置、电子设备及存储介质,为每个调用方建立专属的Hbase数据表,并将表征调用方身份的用户标识和表征Hbase数据表的数据表标识建立关联关系;将数据表标识和对应的数据表建立关联关系;数据查询时,根据用户标识和数据表标识的关联关系判断调用方是否有访问权限,根据数据表标识确定查询的数据表,根据查询关键词确定对应目标字段,同时实现了数据的查询和访问权限的确认,避免出现两个或两个以上调用方同时访问同一数据表的情形出现,在确定待访问的目标数据表时也无需设置复杂的查询语句,加快了数据表查询速度和精确度。确度。确度。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及信息处理
,尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]现有技术中数据中台将不同调用方的数据集中到一个或若干个Hbase数据表中进行维护,该Hbase数据表具有高度耦合性,当出现两个或以上调用方同时访问同一Hbase数据表时,为了准确响应不同调用方的请求,需要根据数据查询请求中的参数编辑复杂的查询语句,同时数据中台需要建立索引机制,查询语句与索引机制相结合才能准确查询到对应数据,不利于数据查询速度的提高,同时,需要另外对调用方的访问权限进行确认。

技术实现思路

[0003]本专利技术的目的在于提供一种数据处理方法、装置、电子设备及存储介质,以解决现有技术中需要编辑复杂的查询语句导致不利于提高数据查询速度的技术问题。
[0004]本专利技术的技术方案如下:提供一种数据处理方法,包括:
[0005]获取调用方发送的数据查询请求,其中,所述数据查询请求包括用户标识、数据表标识以及查询关键字;
[0本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:获取调用方发送的数据查询请求,其中,所述数据查询请求包括用户标识、数据表标识以及查询关键字;根据预先存储的第一映射表判断所述用户标识对应的调用方对所述数据表标识对应的目标数据表是否有访问权限,得到第一判断结果,其中,所述第一映射表用于记录所述用户标识和所述数据表标识的关联关系;若第一判断结果为是,则根据预先存储的第二映射表确定与所述数据表标识对应的目标数据表,其中,所述第二映射表用于记录所述数据表标识和存储于Hbase中的数据表的名称的关联关系;根据所述查询关键字获取所述目标数据表的目标查询字段,根据所述目标查询字段在所述目标数据表中获取对应的目标数据;向所述调用方发送所述目标数据。2.根据权利要求1所述的数据处理方法,其特征在于,所述向所述调用方发送所述目标数据之前,还包括:获取所述目标数据表的元数据信息,根据所述元数据信息判断所述用户标识对应的调用方对所述目标查询字段是否有访问权限,得到第二判断结果,其中,所述元数据信息包括所述用户标识对应的调用方对所述数据表中每个字段的访问权限;根据所述第二判断结果,将所述目标数据中所述用户标签对应的调用方无权访问的数据进行过滤。3.根据权利要求1所述的数据处理方法,其特征在于,所述获取调用方发送的数据查询请求之前,还包括:在Hbase中创建与调用方对应的初始数据表;将数据源表中与所述调用方相关的各字段以及所述字段对应的数据导入所述调用方的初始数据表,得到所述调用方专属的数据表;创建每个所述数据表的数据表标识以及每个所述调用方的用户标识;创建第一映射表和第二映射表,其中,所述第一映射表用于记录所述用户标识和所述数据表标识之间的关联关系,所述第二映射表用于记录所述数据表的名称和所述数据表标识之间的关联关系。4.根据权利要求3所述的数据处理方法,其特征在于,所述创建每个所述数据表的数据表标识以及每个所述调用方的用户标识之前,还包括:生成所述数据表的元数据信息,所述元数据信息包括所述调用方对所述数据表中每个字段的访问权限。5.根据权利要求3或4所述的数据处理方法,其特征在于,所述创建第一映射表和第二映射表之后,还包括:接收数据同步指令,其中,所述数据同步指令包括数据表标识以及数据源表的存储标识;根据所述存储标识获取所述数据源表,根据所述数据表标识从所述第二映射表中查询待更新的数据表的名称,根据查询的所述数据表的名称获取待更新的数据表;创建新数据表,在所述新...

【专利技术属性】
技术研发人员:陈霁旋
申请(专利权)人:中国平安人寿保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1