信息处理设备、推理方法及计算机可读记录介质技术

信息处理设备、推理方法及计算机可读记录介质使得对要学习的第一对象的多条第一类训练数据的每条——包括相关第一对象的第一图像信息、语义信息和类别，从第一图像信息生成第一图像HV、从第一语义信息生成第一语义HV、整合第一图像HV和第一语义HV生成第一整合HV、将第一整合HV与第一类别关联地存于存储单元，对要学习的第二对象的多条第二类训练数据的每条——包括相关第二对象的第二语义信息和类别而不包括图像信息，从第二语义信息生成第二语义HV、基于第二语义HV搜索存储单元、从存储单元获得从与第二语义HV匹配度最高的整合HV中选择的预定数量整合HV、基于预定数量整合HV生成第二类训练数据的第二整合HV并将第二整合HV与第二类别关联地存于存储单元。整合HV与第二类别关联地存于存储单元。整合HV与第二类别关联地存于存储单元。

【技术实现步骤摘要】
信息处理设备、推理方法及计算机可读记录介质


[0001]本文讨论的实施方式涉及信息处理设备、推理方法以及计算机可读记录介质。

技术介绍

[0002]如今，神经网络(neural network，NN)被积极地用于图像识别和其他领域。例如，通过使用深度学习(deep learning，DL)来显著提高图像识别的准确性。
[0003]然而，在使用DL的识别中，仅能够识别向其给出了训练数据的对象。相比之下，人类甚至能够在给出了其他线索信息的情况下识别他们实际上没有看到的图像。作为实现这样的人类识别的技术，存在零样本学习(zero
‑
shot learning，ZSL)。零样本学习使得能够通过提供线索信息在没有训练数据的情况下进行识别。
[0004]图12A和图12B是用于说明零样本学习的图。图12A示出了零样本学习中的训练，并且图12B示出了零样本学习中的推理。如图12A所示，训练数据中存在两种类型的数据。
[0005]第一类训练数据包括类别、图像信息和语义信息。语义信息是用于识别的线索信息。例如，“斑马”与作为语义信息的“四足”、“条纹”和“吃植物”相关，并且“狮子”与作为语义信息的“四足”、“棕色”和“吃肉”相关。“四足”、“条纹”、“吃植物”、“棕色”、“吃肉”等指示要识别的对象的属性。
[0006]第二类训练数据包括类别和语义信息而不包括图像信息。例如，“老虎”与作为语义信息的“四足”、“条纹”、“棕色”和“吃肉”相关，但是没有与“老虎”相关的图像信息。
[0007]如图12B所示，在给出“老虎”的图像信息并询问“这是什么动物？”时，推理设备提供答案“老虎”作为推理结果。虽然在训练中没有给出“老虎”的图像信息，但是推理设备以语义信息为线索输出“老虎”作为答案。
[0008]作为相关技术，存在准确且高效地找到语义相似或相同的内容项的特征生成设备。当输入表示特征生成的对象的内容的一个或更多个初始特征向量时，该特征生成设备生成并输出整合特征向量。例如，特征生成设备基于由多个预定量和分别对应于所述多个预定量的代表性向量定义的量化器，将每个初始特征向量分配给一个或更多个量。特征生成设备针对每个量获得被分配给该量的初始特征向量和与该量相对应的代表性向量的残差向量。特征生成设备通过将针对各个量计算的残差向量进行整合来获得整合特征向量，并且输出通过将预定变换矩阵应用于所获得的整合特征向量来执行去相关处理而获得的整合特征向量来作为内容的特征。
[0009]作为相关技术，存在基于查询图像执行搜索的系统。该系统根据从查询图像中提取的特征生成表示该查询图像的视觉词汇集，并将该视觉词汇集与索引图像的视觉词汇进行比较。在所述比较中，系统根据索引图像生成与一个或更多个视觉词汇相匹配的候选图像集。然后，系统执行多级排序对该候选图像集进行排序，并将多级排序的结果返回给提供查询图像的用户装置。
[0010]作为相关技术，还存在准确计算文本之间的相似度的文本相似度计算设备。该文本相似度计算设备计算图像相似度，该图像相似度是对应于第一文本并且通过转换第一文
本而获得的第一图像信息与对应于第二文本并且通过转换第二文本而获得的第二图像信息之间的相似度。文本相似度计算设备计算文本向量相似度，该文本向量相似度是表示第一文本的第一文本向量与表示第二文本的第二文本向量之间的相似度。文本相似度计算设备基于图像相似度和文本向量相似度计算第一文本与第二文本之间的相似度。
[0011]另外，作为相关技术，存在作为专注于大脑中的信息表达的非冯诺依曼计算技术之一的超维计算(hyperdimensional computing，HDC)。
[0012]日本公开特许公报第2017
‑
162009号、美国专利申请公布第2019/0236167号和日本公开特许公报第2020
‑
4322号被公开为相关技术。
[0013]Kanerva,P，“Hyperdimensional Computing:An Introduction to Computing in Distributed Representation with High
‑
Dimensional Random Vectors”，Cognitive Computation，卷1，第2期，第139至159页，2009也被公开为相关技术。
[0014]在零样本学习中，推理设备基于第一类训练数据和包括在第二类训练数据中的语义信息来构造第二类训练数据中不足的图像，并且将所构造的图像添加至知识数据。在接收到查询图像后，推理设备从包括所构造的图像的图像中搜索最接近查询图像的图像，并且输出该查询图像的类别作为答案。
[0015]图13是用于说明零样本学习中的训练和推理的图。如图13所示，在训练中，给出北极熊和斑马的图像信息和语义信息作为第一类训练数据。北极熊的语义信息包括：北极熊的颜色不包括黑色(黑色：否)、北极熊的颜色包括白色(白色：是)、北极熊的颜色包括棕色(棕色：是)、北极熊没有出现条纹(条纹：否)、北极熊是水栖动物(水：是)以及北极熊吃鱼(吃鱼：是)。斑马的语义信息包括：斑马的颜色包括黑色(黑色：是)、斑马的颜色包括白色(白色：是)、斑马的颜色不包括棕色(棕色：否)、斑马出现条纹(条纹：是)、斑马不是水栖动物(水：否)以及斑马不吃鱼(吃鱼：否)。
[0016]给出水獭和老虎的语义信息作为第二类训练数据。水獭的语义信息包括：水獭的颜色包括黑色(黑色：是)、水獭的颜色不包括白色(白色：否)、水獭的颜色包括棕色(棕色：是)、水獭没有出现条纹(条纹：否)、水獭是水栖动物(水：是)以及水獭吃鱼(吃鱼：是)。老虎的语义信息包括：老虎的颜色包括黑色(黑色：是)、老虎的颜色包括白色(白色：是)、老虎的颜色不包括棕色(棕色：否)、老虎出现条纹(条纹：是)、老虎不是水栖动物(水：否)以及老虎不吃鱼(吃鱼：否)。
[0017]根据北极熊和斑马的图像信息和语义信息以及水獭的语义信息生成水獭的构造图像。根据北极熊和斑马的图像信息和语义信息以及老虎的语义信息生成老虎的构造图像。
[0018]在推理中，当给出老虎的图像作为查询时，执行与北极熊、斑马、水獭和老虎的图像(包括构造图像)进行匹配，将老虎的图像检索为最相似图像，并且将老虎作为答案输出。
[0019]在相关技术的零样本学习中，主要使用基于神经网络的生成模型例如生成对抗网络(GAN)来生成构造图像。然而，存在构造图像的生成花费时间的问题。GAN是在不提供正确数据的情况下学习特征的“无监督学习”方法之一。该生成模型是通过对概率分布本身进行建模而形成的，其基于“假定基于某个概率分布生成当前可观测数据”的思想来生成当前可观测数据。
[0020]在一方面，本公开内容的目的是在短时间内生成设想图像。

技术实现思路

[0021]根据实施方式的一方面，一种计算机可读记录介质，其存储用于使计算机执行以下处理的推理程序，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机可读记录介质，存储用于使计算机执行处理的推理程序，所述处理包括：针对要学习的第一对象的多条第一类训练数据中的每条第一类训练数据进行如下操作，其中，所述第一类训练数据包括相关第一对象的第一图像信息、第一语义信息以及第一类别，根据所述第一图像信息生成第一图像超维向量，即第一图像HV，根据所述第一语义信息生成第一语义HV，通过整合所述第一图像HV和所述第一语义HV生成第一整合HV，以及将所述第一整合HV与所述第一类别相关联地存储在存储单元中；以及针对要学习的第二对象的多条第二类训练数据中的每条第二类训练数据进行如下操作，其中，所述第二类训练数据包括相关第二对象的第二语义信息和第二类别而不包括所述相关第二对象的图像信息，根据所述第二语义信息生成第二语义HV，基于所述第二语义HV在所述存储单元中进行搜索，从所述存储单元获得从展现出与所述第二语义HV的最高匹配度的整合HV中选择的预定数量的整合HV，基于所述预定数量的整合HV生成所述第二类训练数据的第二整合HV，以及将所述第二整合HV与所述第二类别相关联地存储在所述存储单元中。2.根据权利要求1所述的计算机可读记录介质，所述处理还包括：根据要识别的对象的第二图像信息生成第二图像HV；以及基于所述第二图像HV在所述存储单元中进行搜索以获得与存储在所述存储单元中的整合HV中的展现出与所述第二图像HV的最高匹配度的一个整合HV相关的类别。3.根据权利要求1或2所述的计算机可读记录介质，其中，根据所述第一图像信息生成所述第一图像HV包括：通过使用神经网络来提取指示所述第一图像信息的特征的图像特征，以及基于所提取的图像特征生成所述第一图像HV，并且根据所述第一语义信息生成所述第一语义HV包括：通过使用所述神经网络来提取指示所述语义信息的特征的语义特征，以及基于所提取的语义特征生成所述第一语义HV。4.根据权利要求1或2中任一项所述的计算机可读记录介质，其中，通过整合所述第一图像HV和所述第一语义HV生成所述第一整合HV包括：通过将所述第一图像HV与图像属性HV相乘生成图像属性空间向量，通过将所述第一语义HV与语义属性HV相乘生成语义属性空间向量，以及基于所述图像属性空间向量和所述语义属性空间向量生成所述第一整合HV。5.根据权利要求1或2中任一项所述的计算机可读记录介质，其中，根据所述第一图像信息生成所述第一图像HV包括：通过使用神经网络来提取指示所述第一图像信息的特征的图像特征，识别从所提取的...

【专利技术属性】
技术研发人员：广本正之，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：