数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:42198744 阅读:20 留言:0更新日期:2024-07-30 18:45
本申请公开一种数据处理方法、装置、设备及存储介质,方法包括:从业务数据源中获取原始数据;从原始数据中提取出实体关系数据,其中,每条实体关系数据包含有对应的实体属性数据、主体标识与客体标识;针对任意一条实体关系数据,以实体关系数据中的主体标识以及客体标识作为联合主键,基于实体关系数据生成实体关系表;将实体关系表存储于目标数据库中;响应于实体查询请求,从目标数据库中获取与实体查询请求对应的目标实体关系数据。本申请可以支持全新的数据存储结构,得到更多维度的关系描述,且能提升数据的时效性,以及能够提升数据查询速率。

【技术实现步骤摘要】

本申请涉及计算机,具体涉及一种数据处理方法、装置、设备及存储介质


技术介绍

1、随着大数据时代的到来,关系型数据的描述和管理变得尤为重要。市场上出现了众多用于描述关系的数据产品,但在实际应用中,这些产品普遍存在以下问题:

2、当前的关系数据产品中,客体通常以列表(list)的形式进行储存。在读取数据时,需要在内存中解析这些列表。当并发请求增多,系统需要处理大量的数据读取和解析,可能存在内存过载的风险。

3、许多关系数据产品采用大宽表的结构来储存数据。这种方式在处理某些关系数据时可能会导致数据倾斜,进而影响查询速度。

4、当前的数据产品通常使用固定的数据格式,这使得对客体附加属性的深入描述变得困难,可能导致关系描述的不完整。

5、许多数据产品的应用程序编程(application programming interface,api)接口功能有限,仅支持简单的查询和数据获取。这使得下游业务在调用时形式单一,无法实现复杂的数据筛选、统计等功能。有时,为了满足需求,业务方甚至可能错误地使用api接口,给系统带来不必本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的数据处理方法,其特征在于,所述目标数据库包括第一目标数据库与第二目标数据库;

3.如权利要求2所述的数据处理方法,其特征在于,所述响应于实体查询请求,从所述目标数据库中获取与所述实体查询请求对应的目标实体关系数据,包括:

4.如权利要求3所述的数据处理方法,其特征在于,所述响应于所述第一实体查询请求,从所述第一目标数据库或者所述第二目标数据库中获取与所述实体查询请求对应的目标实体关系数据,包括:

5.如权利要求3所述的数据处理方法,其特征在于,所述响应于所述第二实体查询...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的数据处理方法,其特征在于,所述目标数据库包括第一目标数据库与第二目标数据库;

3.如权利要求2所述的数据处理方法,其特征在于,所述响应于实体查询请求,从所述目标数据库中获取与所述实体查询请求对应的目标实体关系数据,包括:

4.如权利要求3所述的数据处理方法,其特征在于,所述响应于所述第一实体查询请求,从所述第一目标数据库或者所述第二目标数据库中获取与所述实体查询请求对应的目标实体关系数据,包括:

5.如权利要求3所述的数据处理方法,其特征在于,所述响应于所述第二实体查询请求,从所述第一目标数据库与所述第二目标数据库中获取与所述实体查询请求对应的目标实体关系数据,包括:

6.如权利要求1所述的数据处理方法,其特征在于,所述方法还包括:

7.如权利要求6所述的数...

【专利技术属性】
技术研发人员:陈睿王淑君杨韬彭小勇青焓林岸森
申请(专利权)人:富途网络科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1