面向人机协作装配任务的知识图谱构建方法技术

本发明专利技术公开了一种面向人机协作装配任务的知识图谱构建方法，步骤包括：1)建立面向人机协作装配的知识图谱构建流程图；2)进行装配知识资源的采集；3)将采集到的装配知识统一预处理成自然语言文本的形式；4)对预处理过的自然语言文本语料进行句法分析；5)采用“基于规则模板的方法”规则，从句法分析的结果中进行信息抽取；6)采用“实体匹配”的方法对信息抽取得到的三元组数据进行知识融合；7)对数据层中的知识进行概念化抽象得到模式层知识，用本体库进行管理；8)将数据层和模式层知识以属性图模型的方式存储在图数据库Neo4j中，并以图结构的形式进行可视化。本发明专利技术方法简介有效，逻辑性强，具有广泛的应用价值。具有广泛的应用价值。具有广泛的应用价值。

【技术实现步骤摘要】
面向人机协作装配任务的知识图谱构建方法


[0001]本专利技术属于人机协作装配
，涉及一种面向人机协作装配任务的知识图谱构建方法。

技术介绍

[0002]在人机协作装配领域，如果要让协作机器人在辅助人类进行产品装配的时候，能够正确理解操作者的装配行为意图，并像人一样自然、协调、及时地给予人类帮助，适应人类的工作节奏，那么机器人就必须对整个装配环境和装配过程形成常识性认知，包括零部件的结构尺寸信息、装配工具和机器的属性信息、装配工艺信息以及装配环境信息等。但是，这些信息大都是以非结构化或半结构化的形式出现，通常直接以文字的形式存储在文本文档或表格中，这种存储方式并不能充分挖掘信息之间的语义关系，且信息管理困难，信息利用率低，然而，近年来应用愈来愈广泛的知识图谱技术可以以结构化的方式来管理和组织这些多源异构的装配知识，并以图结构的形式将这些知识联系起来，充分表达知识之间的语义关系，也为机器人正确理解操作者的装配行为意图提供了可行途径。
[0003]关于面向人机协作的知识图谱研究，2021年东华大学的顾星海等人提出了一种针对总成产品的装配语义信息建模方法，实现了CAD模型的几何信息与装配工艺文档的过程信息的智能集成。该方法采用自顶向下的方式先设计知识图谱的本体层，包括类与关系，然后结合CAD模型和装配工艺文档从中抽取并映射相关语义数据，构建数据层。这种方式的schema是全人工构建，专业性、准确性、完备性要求高，因此构建成本高、局限性大，且对中长尾的知识收录比较困难，同时该文只是将装配语义信息以知识图谱的形式进行存储，并没有面向实际的人机协作装配过程。
[0004]2020年武汉理工大学的刘佳宜等人提出了一种面向人机协作拆卸任务的知识图谱构建方法。该方法构建了一种人机协作拆卸模型，将知识分为待拆产品信息、拆卸方案信息和过程数据，通过知识图谱构建技术得到结构化三元组信息。该方法并没有阐明在信息抽取部分的具体处理细节，如何得到实体、关系和属性三元组信息，所使用的方法是什么，同时，在信息融合部分采用了传统的双向LSTM网络得到实体的向量表示，无法解决长距离匹配问题。

技术实现思路

[0005]本专利技术的目的是提供一种面向人机协作装配任务的知识图谱构建方法，解决了现有的监督学习的方式从多源异构信息中抽取结构化三元组知识的神经网络方法，针对人机协作装配这种专业领域，可供利用的数据有限，显著限制了网络模型的训练；同时，神经网络具备黑盒特性，挖掘信息的过程不可解释，从而导致不能对错误知识执果索因，进行修正的问题。
[0006]本专利技术所采用的技术方案是，一种面向人机协作装配任务的知识图谱构建方法，按照以下步骤实施：
[0007]S1：分析实际的人机协作装配任务，得到具体的知识图谱构建流程图；
[0008]S2：从不同渠道采集不同模态、不同结构的原始装配数据；
[0009]S3：将采集到的多源异构装配数据统一预处理成自然语言文本的形式；
[0010]S4：采用LTP语言技术平台对预处理过的自然语言文本语料进行句法分析，包括分词、词性标注、命名实体识别、依存句法分析和语义角色标注；
[0011]S5：采用“基于规则模板的方法”设计新规则，从句法分析的结果中进行信息抽取，包括实体抽取、关系抽取和属性抽取；
[0012]S6：采用“实体匹配”的方法对信息抽取得到的三元组数据进行知识融合，以消除实体指称项的多样性和歧义性问题，包括实体消歧和共指消解；
[0013]S7：对数据层中的知识进行概念化抽象得到模式层知识，用本体库对这些知识进行管理；
[0014]S8：将数据层和模式层知识以属性图模型的方式存储在图数据库Neo4j中，并以图结构的形式进行可视化，进而得到面向人机协作装配的知识图谱。
[0015]本专利技术的有益效果，包括以下方面：
[0016]1)将多源异构的装配知识资源统一处理成自然语言文本的形式，方便对其进行存储、管理和分析，可为后续的相关研究提供语料支持。
[0017]2)通过采用“基于规则的方法”设计了一种新的信息抽取规则，可以实现实体和关系的联合抽取，并结合语言学规则完成了实体属性和关系属性的抽取，有效减少了错误传播的问题。所设计的规则泛化性强，对于一般的自然语言文本均可以准确高效地完成信息抽取，从中得到结构化的三元组知识，可为后续以数据驱动的深度学习方法所需要的装配语料训练数据自动生成标签，完成训练集的构建。
[0018]3)将多源异构的原始装配数据转化为结构化的知识三元组数据，形成了语义丰富的庞大知识库，可以对其中的知识进行增删改查操作，以处理不同知识间的复杂关系。所设计的知识图谱具有可解释性，且支持知识推理。
[0019]4)提供了一种新的人机交互方式，让协作机器人具备常识性的知识，为后续的人类意图理解奠定基础，以便灵活、高效地配合人类完成复杂的装配任务。
[0020]5)本专利技术所提出的方法利用较少的语料得到了准确度较高的信息抽取规则，且整个抽取过程层次分明、清晰可见，很好地解决了神经网络方法中所存在的问题。
附图说明
[0021]图1是本专利技术实施例的装配知识图谱构建流程图；
[0022]图2是本专利技术实施例的数据采集及预处理流程图；
[0023]图3是本专利技术实施例的数据预处理结果示意图；
[0024]图4是本专利技术实施例的自然语言处理流程图；
[0025]图5是本专利技术实施例的实体抽取流程图；
[0026]图6是本专利技术实施例的关系抽取流程图；
[0027]图7是本专利技术实施例的实体属性抽取示意图；
[0028]图8是本专利技术实施例的关系属性抽取示意图；
[0029]图9是本专利技术实施例的实体消歧流程图；
[0030]图10是本专利技术实施例的共指消解流程图；
[0031]图11是本专利技术实施例的本体构建流程图；
[0032]图12是本专利技术实施例的装配本体库示意图；
[0033]图13是本专利技术实施例的装配知识图谱示意图。
具体实施方式
[0034]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0035]本专利技术提出了一种面向人机协作装配任务的知识图谱构建方法，其中在信息抽取过程中采用基于规则模板的方法设计了一种全新的抽取规则，该规则只需要少量的数据语料就可以达到比较好的抽取效果，同时抽取过程具有强逻辑性、抽取结果具有可解释性。
[0036]本专利技术的方法，按照以下步骤实施：
[0037]S1：通过分析人机协作装配领域的知识特性，以及所涉及到的知识图谱技术，得到面向人机协作装配的知识图谱构建流程图；
[0038]由于目前工业装配领域的发展越来越自动化和智能化，底层的装配任务信息也越来越层次化、规模化和行业化，故本步骤采用“自底向上”的方式来构建面向人机协作装配的知识图谱，即先构建数据层，再构建模式层；
[0039]S2：进行装配知识资源的采集，即从企业生产资料、互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向人机协作装配任务的知识图谱构建方法，其特征在于，按照以下步骤实施：S1：分析实际的人机协作装配任务，得到具体的知识图谱构建流程图；S2：从不同渠道采集不同模态、不同结构的原始装配数据；S3：将采集到的多源异构装配数据统一预处理成自然语言文本的形式；S4：采用LTP语言技术平台对预处理过的自然语言文本语料进行句法分析，包括分词、词性标注、命名实体识别、依存句法分析和语义角色标注；S5：采用“基于规则模板的方法”设计新规则，从句法分析的结果中进行信息抽取，包括实体抽取、关系抽取和属性抽取；S6：采用“实体匹配”的方法对信息抽取得到的三元组数据进行知识融合，以消除实体指称项的多样性和歧义性问题，包括实体消歧和共指消解；S7：对数据层中的知识进行概念化抽象得到模式层知识，用本体库对这些知识进行管理；S8：将数据层和模式层知识以属性图模型的方式存储在图数据库Neo4j中，并以图结构的形式进行可视化，进而得到面向人机协作装配的知识图谱。2.根据权利要求1所述的面向人机协作装配任务的知识图谱构建方法，其特征在于：所述的步骤S3中，具体过程是：S31：将企业生产资料中包含的半结构化自然语言文本抽取出来，进行句法调整，使其顺畅有序，之后按照装配顺序归入本文形式的文档A中；S32：从人机协作装配场景中采集到的图片数据采用自然语言描述的方式得到其中所包含的语义信息，补充到文档A中；S33：从零件的三维CAD模型中得到其属性特征和装配特征，此类数据直接作为结构化的数据另行保存，无需补充到文档A中；S34：将从互联网资源和专业书籍中采集到的相关知识资源直接补充到文档A中。3.根据权利要求1所述的面向人机协作装配任务的知识图谱构建方法，其特征在于：所述的步骤S5中，对于三元组的定义如下：设知识图谱为G，头实体为H，尾实体为T，头实体
‑
尾实体之间的关系为R，实体标签为L，实体属性为V，关系属性为P，则将这些要素组织在一起，定义结构化三元组的表达式为：G＝[H:L{ATT:V}]
‑
(R{ATT:P})
‑
[T:L{ATT:V}]具体过程是：S51：从依存句法分析的结果中进行关系抽取，得到语料中包含的核心谓词和关联谓词，即实体抽取的备选特征词，其中，依存句法分析的结果以(序号1，序号2，关键词)的形式表示，具体包含以下小步骤：S511：如果关键词是HED，序号2用0表示，则序号1所指代的那个词就作为核心谓词，有且仅有一个；S512：如果关键词是COO，且序号2所指代的那个词是核心谓词，则序号1所指代的那个词就作为关联谓词，可以有多个关联谓词；S52：依据装配过程需要设计规则，从备选特征词集合中剔除掉不符合要求的特征词，剩余的词作为连接头实体和尾实体的关系特征词R；S53：依据语义角色标注的结果，从语料中去匹配每个关系特征词R所对应的主语和宾
语，得到结构化三元组的头实体H和尾实体T，其中，语义角色标注的结果以(序号1，[(关键词，序号2，序号3)，
……
])的形式表示，关键词所指代的词的范围在[序号2，序号3]区间内，具体包含以下分步骤：S531：如果序号1所指代的词是关系特征词R，且既存在用关键词A0或者ARGM
‑
MNR标识的词H，又存在用关键词A1标识的词T，则词H作为关系特征词R对应的头实体抽取，词T作为关系特征词R对应的尾实体抽取；S532：如果序号1所指代的词是关系特征词R，且既存在用关键词...

【专利技术属性】
技术研发人员：傅卫平，何林涛，高志强，杜慧龙，刘波，彭丽霞，陈小虎，杨世强，李睿，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：