知识图谱构建方法、知识图谱构建装置、介质与电子设备制造方法及图纸

本公开提供一种知识图谱构建方法、知识图谱构建装置、计算机可读存储介质与电子设备，涉及人工智能技术领域。知识图谱构建方法包括：获取多个视觉标签，并确定所述视觉标签之间的关系；基于所述视觉标签生成节点，基于所述视觉标签之间的关系生成所述节点之间的边，以构建视觉标签知识图谱；根据所述视觉标签的特征对所述节点添加节点属性，以及根据所述视觉标签之间的关系类型对所述边添加边属性。本公开能够生成准确、可靠的视觉标签知识图谱，以便于通过该知识图谱在与视觉标签相关的场景进行广泛应用。景进行广泛应用。景进行广泛应用。

【技术实现步骤摘要】
知识图谱构建方法、知识图谱构建装置、介质与电子设备


[0001]本公开涉及人工智能
，尤其涉及一种知识图谱构建方法、知识图谱构建装置、计算机可读存储介质与电子设备。

技术介绍

[0002]知识图谱旨在采用图结构(Graph Structure)来建模和记录事物之间的关联关系和知识，以便有效实现更加精准的对象级搜索。近年来，随着自然语言处理、深度学习、图数据处理等众多领域的飞速发展，知识图谱的相关技术已经在搜索引擎、智能问答、语言理解、推荐计算、大数据决策分析等众多领域得到广泛的实际应用。知识图谱已经成为实现认知层面的人工智能不可或缺的重要技术之一。然而，现有技术通常仅关注如何通过已有的知识图谱进行特定场景的应用，却没有能够在视觉领域得以广泛应用的，准确、可靠的视觉标签知识图谱。

技术实现思路

[0003]本公开提供了一种知识图谱构建方法、知识图谱构建装置、计算机可读存储介质与电子设备，进而至少在一定程度上解决现有技术中在视觉标签领域没有可靠、有效的视觉标签知识图谱的问题。
[0004]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0005]根据本公开的第一方面，提供一种知识图谱构建方法，包括：获取多个视觉标签，并确定所述视觉标签之间的关系；基于所述视觉标签生成节点，基于所述视觉标签之间的关系生成所述节点之间的边，以构建视觉标签知识图谱；根据所述视觉标签的特征对所述节点添加节点属性，以及根据所述视觉标签之间的关系类型对所述边添加边属性。r/>[0006]根据本公开的第二方面，提供一种知识图谱构建装置，包括：标签获取模块，用于获取多个视觉标签，并确定所述视觉标签之间的关系；图谱生成模块，用于基于所述视觉标签生成节点，基于所述视觉标签之间的关系生成所述节点之间的边，以构建视觉标签知识图谱；属性添加模块，用于根据所述视觉标签的特征对所述节点添加节点属性，以及根据所述视觉标签之间的关系类型对所述边添加边属性。
[0007]根据本公开的第三方面，提供一种图像描述方法，包括：获取视觉标签知识图谱，所述视觉标签知识图谱由第一方面所述的知识图谱构建方法所构建；根据对待描述图像进行识别的结果，得到所述待描述图像的主标签；利用所述视觉标签知识图谱对所述主标签进行映射，得到映射标签；基于所述主标签或者所述主标签和所述映射标签形成的标签词组，生成所述待描述图像的描述信息。
[0008]根据本公开的第四方面，提供一种图像描述装置，包括：知识图谱获取模块，用于获取视觉标签知识图谱，所述视觉标签知识图谱由第一方面所述的知识图谱构建方法所构建；主标签获取模块，用于根据对待描述图像进行识别的结果，得到所述待描述图像的主标
签；映射标签获取模块，用于利用所述视觉标签知识图谱对所述主标签进行映射，得到映射标签；描述信息获取模块，用于基于所述主标签或者所述主标签和所述映射标签形成的标签词组，生成所述待描述图像的描述信息。
[0009]根据本公开的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的知识图谱构建方法、第三方面的图像描述方法及其可能的实现方式。
[0010]根据本公开的第六方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的知识图谱构建方法、第三方面的图像描述方法及其可能的实现方式。
[0011]本公开的技术方案具有以下有益效果：
[0012]获取多个视觉标签，并确定视觉标签之间的关系；基于视觉标签生成节点，基于视觉标签之间的关系生成节点之间的边，以构建视觉标签知识图谱；根据视觉标签的特征对节点添加节点属性，以及根据视觉标签之间的关系类型对边添加边属性。一方面，本示例性实施例提出一种知识图谱的构建方法，可以以视觉标签为节点，视觉标签之间的关系为边，构建准确、可靠的视觉标签知识图谱，从而能够为视觉标签领域提供一种可信赖的处理方式；另一方面，本示例性实施例为视觉标签节点以及视觉标签之间的关系类型添加了对应的属性，以对视觉标签知识图谱进一步完善，丰富了知识图谱的知识信息；再一方面，本示例性实施例，能够通过简单、便捷的流程构成用于进行视觉标签处理的视觉标签知识图谱，具有广泛的适用范围。
[0013]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0014]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1示出本示例性实施方式中一种系统架构的示意图；
[0016]图2示出本示例性实施方式中一种知识图谱构建方法的流程图；
[0017]图3示出本示例性实施方式中一种视觉标签的类别定义的示意图；
[0018]图4示出本示例性实施方式中另一种视觉标签的类别定义的示意图；
[0019]图5示出本示例性实施方式中一种图像描述方法的流程图；
[0020]图6示出本示例性实施方式中另一种图像描述方法的流程图；
[0021]图7示出本示例性实施方式中一种知识图谱构建装置的结构框图；
[0022]图8示出本示例性实施方式中一种图像描述装置的结构框图；
[0023]图9示出本示例性实施方式中一种电子设备的结构图。
具体实施方式
[0024]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形
和视觉标签“婚礼”属于相关程度较高的关系等等。
[0035]在本示例性实施例中，视觉标签可以从多处获取，例如可以从本地相册中的图像中提取得到，也可以从云端下载的图片获取，还可以基于已有的视觉标签库中采集等等。
[0036]在一示例性实施例中，步骤S210中，获取多个视觉标签，可以包括：
[0037]获取候选标签，候选标签包括以下至少一种：视觉业务中的需求标签，图像分类功能所支持的标签，图像搜索中满足预设搜索条件的搜索词，图像描述语句进行分词所得到的词；
[0038]从候选标签中筛选出视觉标签。
[0039]考虑到视觉标签知识图谱中的内容需要与图像视觉的内容具有较高的相关程度，因此，本示例性实施例可以从多种来源确定候选标签，然后从中进行筛选，得到视觉标签。
[0040]具体而言，候选标签可以是视觉业务中的需求标签，例如终端或设备中相册分类需求下的标签，如宠物标签，人像标签或建筑物标签等；或者终端或设备中搜索需求下的标签，例如用户在相册中搜索人像时，提出的人像标签，或者搜索风景时，提出的景观标签等。
[0041]候选标签也可以是图像分类功能所支持的标签，例如终端相册可以根据本地已有的所有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种知识图谱构建方法，其特征在于，包括：获取多个视觉标签，并确定所述视觉标签之间的关系；基于所述视觉标签生成节点，基于所述视觉标签之间的关系生成所述节点之间的边，以构建视觉标签知识图谱；根据所述视觉标签的特征对所述节点添加节点属性，以及根据所述视觉标签之间的关系类型对所述边添加边属性。2.根据权利要求1所述的方法，其特征在于，所述获取多个视觉标签，包括：获取候选标签，所述候选标签包括以下至少一种：视觉业务中的需求标签，图像分类功能所支持的标签，图像搜索中满足预设搜索条件的搜索词，图像描述语句进行分词所得到的词；从所述候选标签中筛选出所述视觉标签。3.根据权利要求2所述的方法，其特征在于，所述从所述候选标签中筛选出所述视觉标签，包括以下筛选方式中的至少一种：从所述候选标签中滤除不具有视觉特征的候选标签；确定不同候选标签之间的视觉区分度，若多个候选标签之间的视觉区分度低于视觉区分度阈值，则对该多个候选标签去重；从所述候选标签中滤除常见度低于预设常见度阈值的候选标签；从所述候选标签中滤除不具有特定用途的候选标签。4.根据权利要求1所述的方法，其特征在于，所述视觉标签的特征包括：视觉标签的类别定义，视觉标签的示例图像，视觉标签评分，视觉标签常见度，视觉标签的用户使用频率，视觉标签的外文名，视觉标签的场景，视觉标签所属的语句成分，视觉标签的词性，视觉标签的纠错词，视觉标签的同义词，视觉标签的近义词，视觉标签的联想搜索词；所述根据所述视觉标签的特征对所述节点添加节点属性，包括：将所述视觉标签的特征中的一种或多种，添加到所述节点的关联数据中，以作为所述节点的节点属性。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：识别图像中的对象，并确定所述对象在所述图像中的占比；若所述对象在所述图像中的占比超过预设阈值，则根据所述对象确定所述视觉标签的类别定义。6.根据权利要求1所述的方法，其特征在于，所述关系类型包括：上义词，下义词，相关词，推理映射词，相似标签；所述根据所述视觉标签之间的关系类型对所述边添加边属性，包括：根据两个视觉标签之间的关系所属的关系类型，确定所述两个视觉标签对应的两个节点之间的边的类别信息，将所述边的类别信息添加到所述边的边属性中。7.根据权利要求1所述的方法，其特征在于，所述边属性还包括标签条件概率；所述方法还包括：统计两个视觉标签中的一个出现时，另一个也出现的条件概率，得到所述两个视觉标签的标签条件概率，将所述标签条件概率添加到所述两个视觉标签对应的两个节点之间的边的边属性中。
8.一种图像描述方法，其特征在于，包括：获取视觉标签知识图谱，所述视觉标签知识图谱由权利要求1至7任一项所述的知识图谱构建方法所构建；根据对待描述图像进行识别的结果，得到所述待描述图像的主标签；利用所述视觉标签知识图谱对所述主标签进行映射，得到映射标签；基于所述主标签或者所述主标签和所述映射标签形成的标签词组，生成所述待描述图像的描述信息。9.根据权利要求8所述的方法，其特征在于，所述视觉标签知识图谱的节点的节点属性包括句子成分；所述基于所述主标签或者所述主标签和...

【专利技术属性】
技术研发人员：罗彤，李亚乾，
申请(专利权)人：上海瑾盛通信科技有限公司，
类型：发明
国别省市：