在根据本发明专利技术实施例的用于图像的复合特性分类和共同局部化的神经网络模型的学习方法中，所述神经网络模型包括：卷积层，所述卷积层利用卷积滤波器对输入图像执行卷积运算；池化层，所述池化层用于对所述卷积层的输出执行池化(pooling)；及多个按类别的全连接层(fullyconnected layer)，所述多个按类别的全连接层分别对应于复合特性被分类的多个类别，并输出对所述池化层的输出乘以按类别的权重(wfc(Tt))的值，所述方法包括以下步骤：(a)将输入图像输入到所述卷积层；(b)基于所述卷积层的输出运算多个按类别的观察图；(c)基于所述多个按类别的观察图运算共同于多个类别的观察损失(Lobs)；及(d)将基于所述观察损失(Lobs)的损失反向传播到所述神经网络模型。(Lobs)的损失反向传播到所述神经网络模型。(Lobs)的损失反向传播到所述神经网络模型。
【技术实现步骤摘要】
【国外来华专利技术】用于复合特性分类和共同局部化的神经网络模型的学习方法及装置
[0001]本专利技术涉及一种用于复合特性分类和共同局部化的神经网络模型的学习方法及装置。
技术介绍
[0002]图1(a)示出根据现有技术的神经网络模型。
[0003]参考图1(a)，神经网络模型包括输入层、一个以上的卷积层、池化层及全连接层。利用这样的神经网络模型，当有某个输入时，就可以输出A、B、C、D四个特性中的一个的结果值，或对应于各个特性的概率。此时，结果值的总和可以是100％。
[0004]但是，某些输入可以具有可能有多个结果的复合特性。例如，如果A是男性特性、B是女性特性、C是亚洲人特性、D是非亚洲人特性的情况下，A和C可以同时作为结果值。
[0005]然而，在现有神经网络模型的情况下，由于判断结果值的总和为100％，因此难以合乎标准地反映这些复合特性。
技术实现思路
[0006]要解决的技术问题
[0007]本专利技术实施例的目的在于，提供一种能够合乎标准地预测复合特性的神经网络模型的学习方法及装置。
[0008]解决问题的方案
[0009]在根据本专利技术实施例的用于图像的复合特性分类和共同局部化的神经网络模型的学习方法中，所述神经网络模型包括：卷积层，所述卷积层利用卷积滤波器对输入图像执行卷积运算；池化层，所述池化层用于对所述卷积层的输出执行池化(pooling)；及多个按类别的全连接层(fully connected layer)，所述多个按类别的全连接层分别对应于复合特性被分类的多个类别，并输出对所述池化层的输出乘以按类别的权重(w
fc
(T
t
))的值，所述方法包括以下步骤：(a)将输入图像输入到所述卷积层；(b)基于所述卷积层的输出运算多个按类别的观察图；(c)基于所述多个按类别的观察图运算共同于多个类别的观察损失(L
obs
)；及(d)将基于所述观察损失(L
obs
)的损失反向传播到所述神经网络模型。
[0010]所述步骤(c)包括以下步骤：(c
‑
1)基于所述多个按类别的观察图生成共同于所述多个类别的共同观察图；及(c
‑
2)利用所述共同观察图和所述输入图像的对象区域运算所述观察损失(L
obs
)。
[0011]所述共同观察图可以是所述按类别的观察图的平均值。
[0012]所述观察损失可以通过将对于第一值计算余弦距离来算出，所述第一值为将所述共同观察图和所述输入图像的对象区域分别沿横向和纵向方向进行投影的值连接(concatenate)的值。
[0013]在所述步骤(b)中，可以通过下式算出所述按类别的观察图。
[0014][0015](只是，T
t
表示类别、w
fc
(T
t
)表示按类别的全连接层的权重、o
conv
表示卷积层的输出、C表示通道数)
[0016]所述神经网络模型还可以包括：多个按类别的分类器，所述多个按类别的分类器分别对应于所述多个按类别的全连接层，并根据各个按类别的全连接层的输出运算按类别的特性概率。
[0017]所述步骤(d)可以包括以下步骤：(d
‑
1)基于所述多个按类别的分类器各个的输出结果运算按类别的分类损失(L
cls
(T
t
))；(d
‑
2)基于所述观察损失(L
obs
)和所述按类别的分类损失(L
cls
(T
t
))运算按类别的特性损失(L(T
t
))；及(d
‑
3)将所述按类别的特性损失(L(T
t
))按类别反向传播到所述多个按类别的分类器和所述多个按类别的全连接层。
[0018]在步骤(d
‑
2)中，可以通过下式算出所述按类别的特性损失(L(T
t
))。
[0019][0020](但是，0≤α≤1)
[0021]所述步骤(d)还可以包括：(d
‑
4)基于所述多个按类别的分类损失(L
cls
(T
t
))和所述观察损失(L
obs
)运算多标签分类损失(L(T))；及(d
‑
5)将所述多标签分类损失(L(T))反向传播到所述多个按类别的分类器、所述多个按类别的全连接层、所述池化层及所述卷积层。
[0022]所述池化层可以是全局平均池化层(global average pooling layer)。
[0023]根据本专利技术实施例的神经网络模型的学习装置，其为包括存储神经网络模型的存储器及处理器的用于图像的复合特性分类和共同局部化的神经网络模型的学习装置，所述神经网络模型包括：卷积层，所述卷积层利用卷积滤波器对输入图像执行卷积运算；池化层，所述池化层用于对所述卷积层的输出执行池化(pooling)；及多个按类别的全连接层(fully connected layer)，所述多个按类别的全连接层分别对应于复合特性被分类的多个类别，并输出对所述池化层的输出乘以按类别的权重(w
fc
(T
t
))的值，所述处理器将输入图像输入到所述卷积层，并基于所述卷积层的输出运算多个按类别的观察图，并基于所述多个按类别的观察图运算共同于多个类别的观察损失(L
obs
)，并将基于所述观察损失(L
obs
)的损失反向传播到神经网络模型。
[0024]专利技术的效果
[0025]根据本专利技术的实施例，可以合乎标准地分类复合特性。
[0026]根据本专利技术的实施例，可以反映类别之间的关联性。
[0027]根据本专利技术的实施例，可以实现复合特性之间的共同局部化。
附图说明
[0028]图1(a)示出根据现有技术的一对一模型，图1(b)示出根据比较例的使用两个一对一分类模型的情形，图1(c)示出根据本专利技术实施例的一对多模型的情形。
[0029]图2是示出根据本专利技术实施例的神经网络模型1的结构的图。
[0030]图3是示出根据本专利技术实施例的神经网络模型的学习方法的流程图。
[0031]图4是用于说明图3的学习方法的图。
[0032]图5和图6是用于说明根据本专利技术实施例的观察损失的运算方法的图。
[0033]图7是示出根据本专利技术实施例的神经网络模型的学习方法的流程图。
[0034]图8是示出根据本专利技术实施例的神经网络模型的学习方法的数据流程图。
[0035]图9是表示在图2的神经网络模型中相当于图7和图8的各步骤的部分的情形。
[0036]图10是示出根据本专利技术实施例的神经网络模型的学习装置的结构的图。
具体实施方式
[0037]基于专利技术人为了以本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于图像的复合特性分类和共同局部化的神经网络模型的神经网络模型的学习方法，其中，所述神经网络模型包括：卷积层，所述卷积层利用卷积滤波器对输入图像执行卷积运算；池化层，所述池化层用于对所述卷积层的输出执行池化；及多个按类别的全连接层，所述多个按类别的全连接层分别对应于复合特性被分类的多个类别，并输出对所述池化层的输出乘以按类别的权重(w
fc
(T
t
))的值，所述多个类别由相互不同的基准而区分，所述多个类别各个被分类为多个按类别的特性，所述神经网络模型，根据所述按类别的全连接层的输出，能够提供按类别的特性概率，按类别的特性概率为对于所述多个类别各个的按类别的特性的概率，所述方法包括以下步骤：(a)将输入图像输入到所述卷积层；(b)基于所述卷积层的输出运算对所述多个类别各个的按类别的观察图；(c)基于所述多个按类别的观察图运算共同于所述多个类别的观察损失(L
obs
)；及(d)将基于所述观察损失(L
obs
)的损失反向传播到所述神经网络模型，所述步骤(c)包括：(c
‑
1)基于所述多个按类别的观察图生成共同于所述多个类别的共同观察图；及(c
‑
2)利用所述共同观察图和所述输入图像的对象区域运算所述观察损失(L
obs
)，且各个步骤由计算机处理器执行。2.根据权利要求1所述的神经网络模型的学习方法，其特征在于，所述共同观察图是所述按类别的观察图的平均值。3.根据权利要求1所述的神经网络模型的学习方法，其特征在于，所述观察损失通过将对于第一值计算余弦距离来算出，所述第一值为将所述共同观察图和所述输入图像的对象区域分别沿横向和纵向方向进行投影的值连接的值。4.根据权利要求1所述的神经网络模型的学习方法，其特征在于，在所述步骤(b)中，可以通过下式算出所述按类别的观察图，(只是，T
t
表示类别、w
fc
(T
t
)表示按类别的全连接层的权重、o
conv
表示卷积层的输出、C表示通道数)。5.根据权利要求1所述的神经网络模型的学习方法，其特征在于，所述神经网络模型还包括：多个按类别的分类器，所述多个按类别的分类器分别对应于所述多个按类别的全连接层，并根据各个按类别的全连接层的输出运算按类别的特性概率。6.根据权利要求5所述的神经网络模型的学习方法，其特征在于，所述步骤(d)包括以下步骤：(d
‑
1)基于所述多个按类别的分类器各个的输出结果运算按类别的分类...
【专利技术属性】
技术研发人员：琴智秀，吴相一，金京男，
申请(专利权)人：株式会社威森，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。