用于检索图像的神经网络装置及其操作方法制造方法及图纸

本申请提供了一种神经网络装置和操作神经网络的方法。所述神经网络装置包括：处理器，其执行用于训练神经网络的操作；特征提取模块，其提取对应于未标记图像的未标记特征向量和对应于标记图像的标记特征向量；以及分类器，其对查询图像的类别进行分类，其中，所述处理器通过使用所述标记特征向量来执行关于多个码本的第一学习，并且通过基于所述标记特征向量和所述未标记特征向量的全部对熵进行优化来执行关于所述多个码本的第二学习。化来执行关于所述多个码本的第二学习。化来执行关于所述多个码本的第二学习。

【技术实现步骤摘要】
用于检索图像的神经网络装置及其操作方法
[0001]相关申请的交叉引用
[0002]本申请要求于2020年4月3日在韩国知识产权局提交的韩国专利申请No.10
‑
2020
‑
0041076和于2021年2月4日在韩国知识产权局提交的韩国专利申请No.10
‑
2021
‑
0016274的优先权，这两个申请的内容通过引用方式全部并入本文中。


[0003]本专利技术构思的实施例涉及一种神经网络装置及其操作方法，更具体地，涉及一种用于检索图像的神经网络装置及其操作方法。

技术介绍

[0004]对从散列(hash)函数获得的二进制散列码的使用在通过使用较小存储空间和提供高检索速率来检索图像方面展现出非凡的性能。随着深度学习方法的发展，已经提出了基于卷积神经网络的散列函数。
[0005]然而，当数据库中的标记图像不足以检索图像时，基于卷积神经网络的散列函数可能无法容易地获得期望的性能，因此，期望一种将未标记图像与标记图像一起使用的方法。

技术实现思路

[0006]本专利技术构思的实施例提供一种神经网络及其操作方法，所述神经网络能够通过除了使用标记图像之外还使用未标记图像来稳健地提高图像检索性能。
[0007]根据本专利技术构思的实施例，提供了一种神经网络装置，该神经网络装置包括：处理器，其执行训练神经网络的操作；特征提取模块，其提取对应于未标记图像的未标记特征向量和对应于标记图像的标记特征向量；以及分类器，其对查询图像的类别进行分类，其中，所述处理器通过使用标记特征向量来执行关于多个码本的第一学习，并且通过基于标记特征向量和未标记特征向量的全部对熵进行优化来执行关于所述多个码本的第二学习。
[0008]根据本专利技术构思的其他实施例，提供了一种操作神经网络的方法，该方法包括步骤：提取对应于未标记图像的未标记特征向量和对应于标记图像的标记特征向量；通过使用标记特征向量来执行关于多个码本的第一学习；以及通过基于标记特征向量和未标记特征向量的全部对熵进行优化，来执行关于所述多个码本的第二学习。
[0009]根据本专利技术构思的其他实施例，提供了一种操作神经网络装置的方法，该方法包括步骤：接收包括至少一个标记图像和至少一个未标记图像的多个生物特征图像；提取对应于所述多个生物特征图像的特征向量；通过使用特征向量来执行关于多个码本的学习；接收查询图像并根据所述多个生物特征图像计算距离值；基于计算出的距离值来估计对所述多个生物特征图像进行分类的类别的期望值；当期望值中的最大值超过预设阈值时，通过生物特征认证。
附图说明
[0010]图1是根据本专利技术构思的实施例的神经网络装置的框图。
[0011]图2示出了根据实施例的特征提取模块的处理。
[0012]图3A示出了根据本专利技术构思的实施例的神经网络装置。
[0013]图3B示出根据本专利技术构思的实施例的在特征空间中执行乘积量化的结果的示例。
[0014]图3C示出了根据本专利技术构思的实施例的子向量、码本(codebook)和量化的子向量之间的关系。
[0015]图3D示出了根据本专利技术构思的实施例的使用分类器的学习过程的示例。
[0016]图4是根据本专利技术构思的实施例的神经网络装置的操作的流程图；
[0017]图5是根据本专利技术构思的实施例的神经网络的学习过程的流程图，在该图中详细示出了图4中的操作S110。
[0018]图6是根据本专利技术构思的实施例的子空间的熵优化的流程图，在该图中详细示出了图5中的操作S230。
[0019]图7示出了根据本专利技术构思的实施例的改进的图像检索结果。
[0020]图8是根据本专利技术构思的实施例的神经网络操作的流程图。
具体实施方式
[0021]在下文中，将参照附图详细描述本专利技术构思的实施例。
[0022]图1是根据本专利技术构思的实施例的神经网络装置的框图。
[0023]参照图1，根据实施例的神经网络装置10包括处理器100、随机存取存储器(RAM)200、储存装置300和相机400。
[0024]根据实施例的神经网络装置10可以分析输入数据并提取有效信息，并且可以基于所提取的信息生成输出数据。输入数据可以是包括各种对象的图像数据，并且输出数据可以是图像检索结果，诸如查询图像的分类结果、或者与该查询图像最相似的图像。
[0025]在实施例中，图像数据可包括标记图像和未标记图像。标记图像包括关于图像中所示对象的分类的信息。未标记图像不包括关于图像中所示对象的分类的信息。
[0026]例如，当图像包括诸如猫的动物的形状时，标记图像包括关于用于对具有图像中所示形状并且被映射到该图像的对象进行分类的类别的信息，诸如具有较高类别信息的动物和具有较低类别信息的猫。例如，当图像不包括关于用于对具有图像中所示形状的对象进行分类的类别的信息时，该图像是未标记图像。
[0027]根据各种实施例，神经网络装置10可以被实现为个人计算机(PC)、物联网(IoT)装置或便携式电子装置。便携式电子装置可以被包括在诸如膝上型计算机、移动电话、智能电话、平板PC、个人数字助理(PDA)、企业数字助理(EDA)、数字静态相机、数字摄像机、音频装置、便携式多媒体播放器(PMP)、个人导航装置(PND)、MP3播放器、手持式游戏控制台、电子书(e
‑
book)或可穿戴装置等的各种装置中。
[0028]根据各种实施例，处理器100控制神经网络装置10。例如，处理器100基于学习图像来训练神经网络，并通过使用经训练的神经网络执行关于查询图像的图像检索。
[0029]根据各种实施例，处理器100包括中央处理单元(CPU)110和神经处理单元(NPU)120。CPU 110控制神经网络装置100的所有操作。CPU 110可以是单核处理器或多核处理器。
CPU 110可以处理或执行存储在存储装置300中的程序或数据。例如，CPU 110通过执行存储在储存装置300中的程序或模块来控制NPU 120的功能。
[0030]根据各种实施例，NPU 120生成神经网络，训练或学习神经网络，基于训练数据执行操作，并且基于执行结果生成信息信号，或者重新训练神经网络。
[0031]根据各种实施例，存在各种类型的神经网络模型，诸如卷积神经网络(CNN)(诸如GoogleNet、AlexNet或VGG NewWork)、具有卷积神经网络的区域(R
‑
CNN)、区域提出网络(RPN)、递归神经网络(RNN)、基于堆栈的深度神经网络(S
‑
DNN)、状态空间动态神经网络(S
‑
SDN)、去卷积网络、深度信念网络(DBN)、受限玻尔兹曼机(RBM)、完全卷积网络、长短期记忆(LSTM)网络或分类网络等，并且实施例不限于以上提及的模型。
[0032]根据各种实施例，NPU 120还包括用于存储对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络装置，包括：处理器，其执行训练神经网络的操作；特征提取模块，其提取对应于未标记图像的未标记特征向量和对应于标记图像的标记特征向量；以及分类器，其配置为对查询图像的类别进行分类，其中，所述处理器通过使用所述标记特征向量来执行关于多个码本的第一学习，并且通过基于所述标记特征向量和所述未标记特征向量的全部对熵进行优化来执行关于所述多个码本的第二学习。2.根据权利要求1所述的神经网络装置，其中，在所述第一学习中，所述处理器计算所述标记特征向量的代表值，将计算出的向量确定为原型向量，并且学习对应于所述标记特征向量的所述多个码本以使得所述标记特征向量邻近所述原型向量。3.根据权利要求2所述的神经网络装置，其中，所述代表值对应于所述标记特征向量的平均值、中值和众数中的一者。4.根据权利要求2所述的神经网络装置，其中，在所述第二学习中，所述处理器通过将原型向量的值调整为邻近所述未标记特征向量来使原型向量的熵最大化。5.根据权利要求4所述的神经网络装置，其中，在所述第二学习中，所述处理器学习对应于所述未标记特征向量的所述多个码本，以使得所述未标记特征向量邻近调整后的原型向量。6.根据权利要求5所述的神经网络装置，其中，所述处理器生成包括针对所述多个码本中的每一个的二进制散列码的散列表，其中所述二进制散列码代表与特征向量相似的码字。7.根据权利要求6所述的神经网络装置，其中，所述处理器接收查询图像，提取所接收的查询图像的特征向量，并且将所提取的特征向量与所述多个码本之间的差值存储在查找表中。8.根据权利要求7所述的神经网络装置，其中，所述处理器基于所述查找表和所述散列表计算所述查询图像、所述未标记图像和所述标记图像之间的距离值。9.根据权利要求8所述的神经网络装置，其中所述处理器识别与计算出的距离值中的最小值相对应的图像，并且将所识别的图像的类别分类为所述查询图像的类别。10.一种操作神经网络的方法，所述方法包括步骤：提取对应于未标记图像的未标记特征向量和对应于标记图像的标记特征向量；通过使用所述标记特征向量来执行关于多个码本的第一学习；以及通过基于所述标记特征向量和所述未标记特征向量的全部对熵进行优化来...

【专利技术属性】
技术研发人员：张荣均，赵南翊，
申请(专利权)人：首尔大学校产学协力团，
类型：发明
国别省市：