一种大规模数据的深层关系搜索方法、装置及搜索引擎制造方法及图纸

技术编号:42869934 阅读:24 留言:0更新日期:2024-09-27 17:30
本申请涉及一种大规模数据的深层关系搜索方法、装置及搜索引擎,属于图数据处理技术领域,该方法包括:获取大规模数据并依据大规模数据得到实体关系图谱,依据实体关系图谱得到多个弱连通分量,每个弱联通分量包括至少一个节点,每个节点仅属于一个弱连通分量,依据起始节点、节点阈值、最大关联层数、实体关系图谱和弱连通分量得到目标弱连通分量,目标弱连通分量为搜索结果;通过起始节点、节点阈值、最大关联层数、实体关系图谱和弱连通分量得到搜索结果,可以降低计算复杂度,减少存储占用,提高深层关系搜索的效率,同时,在满足前端可视化要求的前提下,尽可能多地返回重要性高的节点及其连接关系,从而提高信息可视化的有效性。

【技术实现步骤摘要】

本申请涉及图数据处理,特别是涉及一种大规模数据的深层关系搜索方法、装置及搜索引擎


技术介绍

1、随着互联网技术的迅猛发展,大规模数据快速生成并不断增长。大规模数据通常包含大量的实体和复杂的关系,以互联网支付数据为例,每天新增数据量可能高达百t,其中包含用户信息、商户信息、银行账户信息等等,如何根据特定的实体信息进行深度关联搜索,高效准确地抽取出重要实体及它们之间的深层关系,面临着一系列的困难和挑战。

2、当前,深层关系搜索主要基于图数据模型,通过构建实体和关系的知识图谱,采用广度优先搜索、深度优先搜索、最小生成树算法等算法,实现对复杂关系的深度搜索。然而,这些方法在处理大规模数据时面临着巨大的计算复杂度。因为大规模知识图谱中往往存在一些超级节点,即度值庞大的节点,其邻近节点数量远远高于其他节点的邻近节点数,比如商户交易图谱中,一个商户可能关联成千上万个账户,该商户就是一个超级节点。这种情况下,现有方法在执行深层关系搜索时,可能会出现服务超时或内存溢出等情况。因为超级节点周围有成千上万条边,基于该超级节点进行关联搜索,获取到大量搜索结果数据,将本文档来自技高网...

【技术保护点】

1.一种大规模数据的深层关系搜索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述依据所述搜索条件、实体关系图谱和弱连通分量得到目标弱连通分量,包括:

3.根据权利要求2所述的方法,其特征在于,所述依据所述起始节点、节点阈值、实体关系图谱和弱连通分量得到目标弱连通分量,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,所述依据所述起始节点、节点阈值、最大关联层数、实体关系图谱和弱连通分量得到目标弱连通分量,包括:

6.根据权利要求1所述的方...

【技术特征摘要】

1.一种大规模数据的深层关系搜索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述依据所述搜索条件、实体关系图谱和弱连通分量得到目标弱连通分量,包括:

3.根据权利要求2所述的方法,其特征在于,所述依据所述起始节点、节点阈值、实体关系图谱和弱连通分量得到目标弱连通分量,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,所述依据所述起始节点、节点阈值、最大关联层数、实体关系图谱和...

【专利技术属性】
技术研发人员:任雪爽张鑫刘鹏飞
申请(专利权)人:中金支付有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1