一种基于知识图谱的异构数据融合索引系统及装置制造方法及图纸

技术编号:38676201 阅读:9 留言:0更新日期:2023-09-02 22:51
本发明专利技术公开了一种基于知识图谱的异构数据融合索引方法及系统,包括以下步骤:对异构图谱中的实体类型和关系类型进行分析,分别进行实体类型数据同步及定义,同时定义异构实体映射关系;使用图谱适配,分别从两类异构图谱中获取实体和关系数据,并将数据缓存如消息中间件;构建视图领域知识图谱和业务领域知识图谱;对构建的视图领域知识图谱和业务领域知识图谱进行融合,构建融合索引子图谱;根据构建完成的融合索引子图谱,进行映射关系分析挖掘,实现原始图谱中实体的消歧融合;对异构图谱和融合索引子图谱提供标准统一的关系查询接口;本方案通过两类知识图谱的实体映射,构建数据融合的索引子图谱,实现异构数据的融合。合。合。

【技术实现步骤摘要】
一种基于知识图谱的异构数据融合索引系统及装置


[0001]本专利技术涉及公共安全领域,特别涉及一种基于知识图谱的异构数据融合索引系统及装置。

技术介绍

[0002]在公共安全领域,目前主要存在两大类数据,一类是以视频监控为主产生的视频和图像数据,大多是非结构化和半结构化数据为主,一类是以业务系统为主产生的数据,大多是以结构化数据为主;当前两类数据从产生、汇聚传输、存储、分析到应用,各自独立发展建设,并未充分发挥出两类数据的价值,两类数据的融合亟需解决,当前已有的融合手段以简单的统一存储以及接口对接等方式来实现,无法从数据根本的价值上进行融合。因此,急需提供一种异构数据融合系统及装置以解决上述问题。

技术实现思路

[0003]为此,需要提供一种基于两类数据进行分别构建知识图谱,通过两类知识图谱的实体映射,构建数据融合的索引子图谱,实现异构数据的融合。
[0004]为实现上述目的,专利技术人提供了一种基于知识图谱的异构数据融合索引方法,包括以下步骤:
[0005]S1,对异构图谱中的实体类型和关系类型进行分析,分别进行实体类型数据同步及定义,同时定义异构实体映射关系;
[0006]S2,使用图谱适配服务,分别从两类异构图谱中获取实体和关系数据,并将数据缓存如消息中间件;
[0007]S3,构建视图领域知识图谱和业务领域知识图谱;
[0008]S4,对构建的视图领域知识图谱和业务领域知识图谱进行融合,构建融合索引子图谱;
[0009]S5,根据构建完成的融合索引子图谱,进行映射关系分析挖掘,实现原始图谱中实体的消歧融合;
[0010]S6,对异构图谱和融合索引子图谱提供标准统一的关系查询接口。
[0011]作为本专利技术的一种优选方式,步骤S1中,所述异构实体映射关系包括实体类型1编号、实体类型2编号、实体映射置信度和映射时间。
[0012]作为本专利技术的一种优选方式,步骤S3中,所述构建视图领域知识图谱包括以下步骤:
[0013]基于视频图像数据进行结构化提取,利用聚类分析和数据挖掘分析进行视图目标实体的发现和视图目标关系的发现,将视图实体和视图关系数据通过图数据库进行数据存储,形成视图领域知识图谱。
[0014]作为本专利技术的一种优选方式,所述视图目标实体包括实名人档、匿名人档、车辆档案、摄像机设备、非机动车档案和场所区域;所述视图目标关系包括人员同行、人要伴随、车
辆伴随、车辆驾乘和设备档案抓拍关系。
[0015]作为本专利技术的一种优选方式,步骤S3中,构建业务领域知识图谱包括以下步骤:基于公共安全行业业务系统产生的业务数据进行业务领域知识图谱构建,通过大数据和NLP分析从结构化或文本类数据中进行实体数据和关系数据的提取,将提取的实体数据和关系数据通过图数据库进行数据存储,形成业务领域知识图谱。
[0016]作为本专利技术的一种优选方式,所述实体数据包括人、事、地、物、组织;所述关系数据包括家庭关系、通联关系、交通出行、交易转账和产权关系。
[0017]作为本专利技术的一种优选方式,步骤S4中,构建融合索引子图谱包括以下步骤:
[0018]通过AI特征比对、规则模型和图谱推理进行异构图谱间实体关系映射,将映射关系通过子图谱形式进行存储,形成融合索引子图谱。
[0019]作为本专利技术的一种优选方式,构建融合索引子图谱还包括以下步骤:
[0020]S401,通过AI特征比对,对视图领域知识图谱中未知身份实体的图片和业务领域知识图谱中实体图片进行相似度匹配,符合设定的阈值即建立异构图谱实体映射关系;
[0021]S402,根据异构图谱中实体及关系中的属性值,通过规则配置,分别在两类图谱中进行数据匹配,将匹配到的异构图谱中的实体进行映射关系建立;
[0022]S403,结合时空维度信息,分别对异构图谱中的实体进行一度关系查找及推理,找出在限定时空范围内,具有相似关系的实体集合,并将相似实体进行映射关系构建,同时根据出入度的数量来设置映射关系的权重,再配合人工判断增加映射关系的置信度;
[0023]S404,通过图数据库将S401至S403形成的异构图谱实体映射关系进行存储,形成融合索引子图谱。
[0024]为实现上述目的,专利技术人提供了一种基于知识图谱的异构数据融合索引系统,包括:
[0025]知识管理模块,用于异构图谱实体及关系的定义和配置,以及融合索引子图谱中实体映射关系的配置;
[0026]实体映射模块,通过任务方式提供异构图谱间实体映射,任务类型包括AI构建任务、规则模型任务和知识推理任务,通过图库适配模块提供的图谱数据,分别从异构图谱中获取数据,并通过AI特征比对、大数据流批计算和基于机器学习的图谱挖掘计算,实现异构图谱间实体的映射关系,并将分析计算的结果通过知识存储模块进行统一存储,构建融合索引子图谱;
[0027]实体关联分析模块,用于对构建完成的融合索引子图谱,通过路径分析算法,实现融合索引子图谱内的实体二次关联,实现原有异构图谱中实体的消歧;
[0028]图谱统一查询模块,用于对图谱数据接口进行统一封装,支持对单个图谱进行关系查询,以及对融合索引子图谱进行关系融合查询;
[0029]AI引擎模块,用于提供基于AI能力的人像比对;
[0030]图谱挖掘分析模块,用于提供图谱的挖掘分析,并支持图搜索算法、最短路径算法、N度关系树、中心性算法和社群发现算法;
[0031]图库适配模块,用于对不同图数据库进行操作接口的适配;
[0032]知识存储模块,包括存储知识管理模块配置的数据、对实体映射模块分析的结果进行图结构的存储,以及对异构实体、关系数据进行全文索引存储。
[0033]区别于现有技术,上述技术方案所达到的有益效果有:
[0034](1)本方法及系统可以有效的针对公安安全领域目前存在的两大类数据通过异构图谱间实体相似度进行融合,实现了异构图谱的实体消歧,使得两大类数据可以完全体现出其价值,对于公安安全领域来说,具有重大意义;
[0035](2)本方法及系统提供了基于知识图谱的价值数据融合方案,以及基于子图索引的方式实现异构数据的融合。
附图说明
[0036]图1为具体实施方式所述方法流程图;
[0037]图2为具体实施方式所述系统结构图。
具体实施方式
[0038]为详细说明技术方案的
技术实现思路
、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
[0039]如图1所示,本实施例提供了一种基于知识图谱的异构数据融合索引方法,包括以下步骤:
[0040]S1,对异构图谱中的实体类型和关系类型进行分析,分别进行实体类型数据同步及定义,同时定义异构实体映射关系;
[0041]S2,使用图谱适配服务,分别从两类异构图谱中获取实体和关系数据,并将数据缓存如消息中间件;
[0042]S3,构建视图领域知识图谱和业务领域知本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于知识图谱的异构数据融合索引方法,其特征在于,包括以下步骤:S1,对异构图谱中的实体类型和关系类型进行分析,分别进行实体类型数据同步及定义,同时定义异构实体映射关系;S2,使用图谱适配服务,分别从两类异构图谱中获取实体和关系数据,并将数据缓存如消息中间件;S3,构建视图领域知识图谱和业务领域知识图谱;S4,对构建的视图领域知识图谱和业务领域知识图谱进行融合,构建融合索引子图谱;S5,根据构建完成的融合索引子图谱,进行映射关系分析挖掘,实现原始图谱中实体的消歧融合;S6,对异构图谱和融合索引子图谱提供标准统一的关系查询接口。2.根据权利要求1所述的基于知识图谱的异构数据融合索引方法,其特征在于,步骤S1中,所述异构实体映射关系包括实体类型1编号、实体类型2编号、实体映射置信度和映射时间。3.根据权利要求1所述的基于知识图谱的异构数据融合索引方法,其特征在于,步骤S3中,所述构建视图领域知识图谱包括以下步骤:基于视频图像数据进行结构化提取,利用聚类分析和数据挖掘分析进行视图目标实体的发现和视图目标关系的发现,将视图实体和视图关系数据通过图数据库进行数据存储,形成视图领域知识图谱。4.根据权利要求3所述的基于知识图谱的异构数据融合索引方法,其特征在于:所述视图目标实体包括实名人档、匿名人档、车辆档案、摄像机设备、非机动车档案和场所区域;所述视图目标关系包括人员同行、人要伴随、车辆伴随、车辆驾乘和设备档案抓拍关系。5.根据权利要求1所述的基于知识图谱的异构数据融合索引方法,其特征在于:步骤S3中,构建业务领域知识图谱包括以下步骤:基于公共安全行业业务系统产生的业务数据进行业务领域知识图谱构建,通过大数据和NLP分析从结构化或文本类数据中进行实体数据和关系数据的提取,将提取的实体数据和关系数据通过图数据库进行数据存储,形成业务领域知识图谱。6.根据权利要求5所述的基于知识图谱的异构数据融合索引方法,其特征在于:所述实体数据包括人、事、地、物、组织;所述关系数据包括家庭关系、通联关系、交通出行、交易转账和产权关系。7.根据权利要求1所述的基于知识图谱的异构数据融合索引方法,其特征在于,步骤S4中,构建融合索引子图谱包括以下步骤:通过AI特征比对、规则模型和图谱推理...

【专利技术属性】
技术研发人员:邵宇钱志豪赵伟伟孙靖宇焦广宇
申请(专利权)人:南京启数智能系统有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1