【技术实现步骤摘要】
本专利技术涉及计算机视觉，图数据、大数据技术、数据库技术等领域，提出一种面向图查询的场景图语义信息提取方法及系统。
技术介绍
1、随着互联网的快速发展和信息技术的进步，图数据和大数据技术在各个领域中的应用越来越广泛。图数据是一种以节点和边表示实体及其关系的数据结构，可以用于描述复杂的关联关系和网络结构。图片作为一种非结构化的数据，包含了丰富的实体和关系信息。然而，由于图片数据的复杂性和规模庞大，如何根据用户查询需求，高效地从中提取有用的语义信息成为了一个挑战。
2、在图数据库领域，cypher是一种以图为数据模型的查询语言，被广泛应用于图数据库中。作为图查询语言的代表，cypher提供了一种简洁而强大的方式来查询和操作图数据。cypher的语法类似于自然语言，易于理解和学习。它使用ascii字符来表示图中的节点和边，并通过一系列的模式匹配来描述查询条件。然而，现有的cypher语言无法直接应用于图片数据的查询，因此需要借助图结构的数据来实现对图片的查询，即将非结构化的图片转化为图结构数据，并且根据用户的查询需求动态地生成图片中的场景图，将场景图的数据结构与图数据库中预先定义的图数据模型进行对齐，实现高效实时的查询和存储。
3、传统的图查询方法主要依赖于基于图结构的查询语言，如sparql等，但这些图查询语言无法直接查询图片中的语义信息，同时也无法根据用户的查询需求进行动态的图片语义信息提取。本专利技术在解析用户图查询语言的查询需求的基础上，利用场景图提取模型提取出图片中的实体、关系和属性信息，并采用数据对
技术实现思路
1、本专利技术的目的在于提供一种面向图查询的场景图语义信息提取方法及系统，以用户查询需求为导向，采用场景图提取模型将图片转化为图结构数据并进行数据对齐，解决以往图查询语言无法查询图片中的场景语义信息的短板，并根据用户查询需求高效地提取场景语义信息实现高效查询，改进了以往的场景图提取模型提取耗时长、浪费存储空间的缺点。
2、本专利技术实现上述目的所采用的技术方案如下：
3、第一方面，本专利技术提供一种面向图查询的场景图语义信息提取方法，其步骤包括：
4、1)解析用户查询包含的图结构信息，该图结构信息包括cypher语言中的实体、关系和属性结构；
5、2)将解析的图结构信息作为场景图生成模型的提示输入，构建场景图生成模型；
6、3)融合提示输入与生成的初始场景图数据，生成查询驱动的场景图数据；
7、4)将场景图数据与图数据库原有数据模型进行对齐，包括将场景图的节点、关系、属性与图数据库的原有属性图的节点、关系、属性分别进行对齐；
8、5)在场景图数据与图数据库原有数据模型对齐后，进行场景图在图数据库中的存储和查询，实现图查询语言对图片中语义信息的查询。
9、进一步地，步骤1)中解析用户查询包含的图结构信息包括以下步骤：
10、构建词法分析、语法分析和语义分析模块；
11、根据cypher语言的语法规则，识别出查询中包含的节点和关系，提取其属性信息，构建实体的属性结构；
12、识别查询中实体之间的关系，根据查询中的语法规则和语义信息，识别节点和关系之间的关联关系。
13、进一步地，步骤2)中将解析的图结构信息作为场景图模型的提示输入，构建场景图生成模型，包括以下步骤：
14、在图像预处理基础上，使用目标检测和语义分割模型，实现对图像中物体的检测和分割；
15、使用卷积神经网络模型提取物体实体的视觉特征，获得每个物体实体的特征向量表示；
16、使用图神经网络模型对构建的场景图进行推理和分析，基于提取的物体实体特征，每个物体实体作为场景图中的节点，物体实体之间的关系作为场景图中的边；
17、将解析的图结构信息转换为图数据，该图数据包括节点特征、边特征以及图的拓扑结构信息，输入到图神经网络模型中，基于图神经网络模型构建场景图生成模型。
18、进一步地，使用的目标检测和语义分割模型具体为mask r-cnn模型，使用的卷积神经网络模型具体为resnet50模型，使用的图神经网络模型具体为gat模型。
19、进一步地，步骤3)中融合提示输入与生成的初始场景图数据，生成查询驱动的场景图数据，包括以下步骤：
20、将解析的图结构信息与物体检测和分割、特征提取的结果进行数据结构融合，将cypher语言中描述的实体和关系转换为场景图中的节点和边，与物体检测和分割的结果相对应；
21、将物体检测和分割得到的物体实体的视觉特征与解析的图结构信息进行特征整合，将视觉特征与cypher语言中描述的属性、关系进行匹配，为每个节点和边添加相应的特征信息；
22、基于数据结构融合和特征整合的结果，输出节点特征、边特征以及图的拓扑结构信息，最终生成查询驱动的场景图数据。
23、进一步地，步骤4)中将场景图的节点与图数据库原有属性图的节点对齐，包括以下步骤：
24、对场景图中的节点类型进行分析，确定每种节点类型所代表的实体或概念；
25、定义映射规则，创建一个映射表，将场景图中的节点类型映射到图数据库中的节点类型，场景图中的节点标识符与图数据库中的节点标识符相匹配；
26、使用图匹配算法来自动进行节点对齐，对节点类型不匹配、多对一或一对多的对齐关系、节点类型冲突、标识符冲突以及不符合预期的异常数据，通过制定的异常处理规则进行处理。
27、进一步地，步骤4)中将场景图的关系与图数据库原有属性图的关系对齐，包括以下步骤：
28、确定场景图数据与图数据库的数据模型的实体及其关系的对应关系，分析实体之间的关联关系及语义含义；
29、创建一个关系映射表，用于记录场景图中的实体关系与图数据库中的实体关系之间的对应关系，映射表包括场景图实体关系名称、关系类型、语义，以及与图数据库中实体关系的对应关系；
30、对于处理关系缺失和冲突的异常情况，定义默认值处理缺失关系，处理同一关系在场景图和图数据库中具有不同语义的情况。
31、进一步地，上述创建关系映射表时，结合规则模板和知识库进行预先的定义和匹配，同时将实体的名称和描述输入大语言模型，大语言模型获取实体的语义表示，对于同一实体的多个名称或别称，进行语义信息和上下文信息的比较，实现实体统一和实体消歧，避免创建不必要的新关系类型，在运行时实现自动化映射。
32、进一步地，步骤4)中将场景图的属性与图数据库原有属性图的属性对齐，包括以下步骤：
33、识别场景图和图数据库中节点的属性，分析场景图中的属性的数据类型和语义；
34、创建一个属性映射表，用于记录场景本文档来自技高网...
【技术保护点】
1.一种面向图查询的场景图语义信息提取方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤1)中解析用户查询包含的图结构信息包括以下步骤：
3.如权利要求1所述的方法，其特征在于，步骤2)中将解析的图结构信息作为场景图模型的提示输入，构建场景图生成模型，包括以下步骤：
4.如权利要求3所述的方法，其特征在于，使用的目标检测和语义分割模型具体为MaskR-CNN模型，使用的卷积神经网络模型具体为ResNet50模型，使用的图神经网络模型具体为GAT模型。
5.如权利要求1所述的方法，其特征在于，步骤3)中融合提示输入与生成的初始场景图数据，生成查询驱动的场景图数据，包括以下步骤：
6.如权利要求1所述的方法，其特征在于，步骤4)中将场景图的节点与图数据库原有属性图的节点对齐，包括以下步骤：
7.如权利要求1所述的方法，其特征在于，步骤4)中将场景图的关系与图数据库原有属性图的关系对齐，包括以下步骤：
8.如权利要求7所述的方法，其特征在于，创建关系映射表时，结合规则模板和知
9.如权利要求1所述的方法，其特征在于，步骤4)中将场景图的属性与图数据库原有属性图的属性对齐，包括以下步骤：
10.一种面向图查询的场景图语义信息提取系统，其特征在于，包括存储器和处理器，在该存储器上存储有计算机程序，该处理器执行该计算机程序时实现权利要求1-9任一项所述方法的步骤。
...【技术特征摘要】
1.一种面向图查询的场景图语义信息提取方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤1)中解析用户查询包含的图结构信息包括以下步骤：
3.如权利要求1所述的方法，其特征在于，步骤2)中将解析的图结构信息作为场景图模型的提示输入，构建场景图生成模型，包括以下步骤：
4.如权利要求3所述的方法，其特征在于，使用的目标检测和语义分割模型具体为maskr-cnn模型，使用的卷积神经网络模型具体为resnet50模型，使用的图神经网络模型具体为gat模型。
5.如权利要求1所述的方法，其特征在于，步骤3)中融合提示输入与生成的初始场景图数据，生成查询驱动的场景图数据，包括以下步骤：
6.如权利要求1所述的方法，其特征在于，步骤4)中将场景图的节点与图数据库原有属性图的节点对齐，包...
【专利技术属性】
技术研发人员：王华进，胡川，饶俊健，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。