半监督学习系统及半监督学习方法技术方案

本发明专利技术涉及一种半监督学习系统和一种半监督学习方法，半监督学习方法包括：取得一或多个源域的源域数据及一目标域的目标域数据；使用该源域数据及该目标域数据以训练一特征萃取模型；利用一域判别模型、一任务模型及一半监督学习机制以分别计算该特征萃取模型的域判别损失函数、任务损失函数及半监督损失函数；依据该域判别损失函数、该任务损失函数及该半监督损失函数以计算一总损失函数，并依据该总损失函数以更新该特征萃取模型、任务模型与域判别模型的权重；以及因应于整体模型满足模型收敛条件，结束整体模型的训练过程。结束整体模型的训练过程。结束整体模型的训练过程。

【技术实现步骤摘要】
半监督学习系统及半监督学习方法


[0001]本专利技术涉及机器学习，特别涉及一种半监督学习系统及半监督学习方法。

技术介绍

[0002]数据导向的分析建模技术在特定应用领域(下称源域，source domain)中搜集大量含标签数据标签后，训练所得的模型在同领域的预测表现多能逼近甚至能超越人类。然而当我们想要在另一新领域(下称目标域，target domain)重复利用该模型进行相同预测任务时，新领域的数据集往往和过去训练用数据分布有落差，导致模型的预测表现大幅折损。例如同一产品在多个工厂生产的情况下，使用A工厂生产数据建立出的外观缺陷识别系统，若直接套到B工厂进行识别时，可能因为拍摄角度、采光、相机型号等差别，在数据分布上有所差异，导致运行效果不如预期。

技术实现思路

[0003]有鉴于此，本专利技术是提供一种半监督学习系统及半监督学习方法以解决上述问题。
[0004]本专利技术提供一种半监督学习系统，包括：一非易失性存储器，用以存储一半监督学习应用程序；以及一处理器，用以执行该半监督学习应用程序以执行下列步骤：取得一或多个源域的源域数据及一目标域的目标域数据；使用该源域数据及该目标域数据以训练一特征萃取模型；利用一域判别模型、一任务模型及一半监督学习机制以分别计算该特征萃取模型的域判别损失函数、任务损失函数及半监督损失函数；依据该域判别损失函数、该任务损失函数及该半监督损失函数以计算一总损失函数，并依据该总损失函数以更新该特征萃取模型、该任务模型及该域判别模型的权重；以及因应于该整体模型满足模型收敛条件，结束该整体模型的训练过程，其中该整体模型包括该特征萃取模型、该任务模型及该域判别模型。
[0005]在一些实施例中，该特征萃取模型为ResNet50模型，该半监督学习机制为一致性正规化(consistency regularization)的未监督数据增强机制(unsupervised data augmentation)，该任务模型为一第一全连接层，且该域判别模型为一第二全连接层加上一梯度反转层(gradient reversal layer)。
[0006]在一些实施例中，该处理器分别指派第一超参数(Hyper Parameter)、第二超参数及第三超参数至该域判别损失函数、该任务损失函数及该半监督损失函数以计算该总损失函数。
[0007]在一些实施例中，该源域数据包括第一已标签数据及第一未标签数据，且该目标域数据包括第二已标签数据及第二未标签数据。该处理器使用该第一已标签数据、该第一未标签数据、该第二已标签数据及该第二未标签数据以计算该域判别函数，并依据该域判别损失函数以更新该特征萃取模型及该域判别模型的权重。该处理器使用该第一已标签数据及该第二已标签数据以计算该任务损失函数，并依据该任务损失函数以更新该特征萃取
模型的权重及该任务模型的该第二权重。该处理器使用该第一未标签数据及该第二未标签数据以计算该半监督损失函数，并依据该半监督损失函数以更新该特征萃取模型的权重。此外，该模型收敛条件表示该整体模型在固定训练批次(epoch)及固定训练时间下的该总损失函数的改善幅度低于临界值。
[0008]本专利技术更提供一种半监督学习方法，包括：取得一或多个源域的源域数据及一目标域的目标域数据；使用该源域数据及该目标域数据以训练一特征萃取模型；利用一域判别模型、一任务模型及一半监督学习机制以分别计算该特征萃取模型的域判别损失函数、任务损失函数及半监督损失函数；依据该域判别损失函数、该任务损失函数及该半监督损失函数以计算一总损失函数，并依据该总损失函数以更新相应于该特征萃取模型、该任务模型及该域判别模型的第一权重、第二权重及第三权重；以及因应于一整体模型满足模型收敛条件，结束该整体模型的训练过程，其中该整体模型包括该特征萃取模型、该任务模型及该域判别模型。
附图说明
[0009]图1为依据本专利技术一实施例中的半监督学习系统的示意图。
[0010]图2为依据本专利技术一实施例中的特征萃取模型的训练过程的示意图。
[0011]图3A
‑
3C为依据本专利技术一实施例中的源域数据及目标域数据的示意图。
[0012]图4为依据本专利技术一实施例中的半监督学习方法的流程图。
[0013]附图标记说明：
[0014]100：半监督学习系统
[0015]110：处理器
[0016]130：存储器单元
[0017]140：存储装置
[0018]141：特征萃取模型
[0019]142：半监督学习机制
[0020]143：任务模型
[0021]144：域判别模型
[0022]210
‑
21N：源域数据
[0023]220：目标域数据
[0024]210A
‑
21NA、220A：已标签数据
[0025]210B
‑
21NB、220B：未标签数据
[0026]231：特征向量
[0027]232：半监督损失函数
[0028]233：任务损失函数
[0029]234：域判别损失函数
[0030]S410
‑
S480：步骤
具体实施方式
[0031]以下说明为完成专利技术的优选实现方式，其目的在于描述本专利技术的基本构思，但并
不用以限定本专利技术。实际的
技术实现思路
必须参考之后的权利要求范围。
[0032]必须了解的是，使用于本说明书中的"包含"、"包括"等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
[0033]于权利要求中使用如"第一"、"第二"、"第三"等词是用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
[0034]图1为依据本专利技术一实施例中的半监督学习系统的示意图。
[0035]半监督学习系统100包括一或多个处理器110、一存储器单元130、一存储装置140及传输接口150。处理单元110例如可为中央处理器(CPU)、一般用途处理器(general
‑
purpose processor)等等，但本专利技术并不限于此。
[0036]存储器单元130为一随机存取存储器，例如是动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM)，但本专利技术并不限于此。存储装置140为一非易失性存储器(non
‑
volatile memory)，例如可为一硬盘机(hard disk drive)、一固态硬盘(solid
‑
state disk)、一快闪存储器(flash memory)、或一只读存储器(read
‑
only memo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种半监督学习系统，包括：一非易失性存储器，用以存储一半监督学习应用程序；以及一处理器，用以执行该半监督学习应用程序以执行下列步骤：取得一或多个源域的源域数据及一目标域的目标域数据；使用该源域数据及该目标域数据以训练一特征萃取模型；利用一域判别模型、一任务模型及一半监督学习机制以分别计算该特征萃取模型的域判别损失函数、任务损失函数及半监督损失函数；依据该域判别损失函数、该任务损失函数及该半监督损失函数以计算一总损失函数，并依据该总损失函数以更新相应于该特征萃取模型、该任务模型及该域判别模型的第一权重、第二权重及第三权重；以及因应于一整体模型满足模型收敛条件，结束该整体模型的训练过程，其中该整体模型包括该特征萃取模型、该任务模型及该域判别模型。2.如权利要求1所述的半监督学习系统，其中该特征萃取模型为ResNet50模型，该半监督学习机制为一致性正规化的未监督数据增强机制，该任务模型为一第一全连接层，且该域判别模型为一第二全连接层加上一梯度反转层。3.如权利要求1所述的半监督学习系统，其中该处理器分别指派第一超参数、第二超参数及第三超参数至该域判别损失函数、该任务损失函数及该半监督损失函数以计算该总损失函数。4.如权利要求3所述的半监督学习系统，其中该源域数据包括第一已标签数据及第一未标签数据，且该目标域数据包括第二已标签数据及第二未标签数据，其中，该处理器是使用该第一已标签数据、该第一未标签数据、该第二已标签数据及该第二未标签数据以计算该域判别损失函数，并依据该域判别损失函数以更新该特征萃取模型及该域判别模型的该第一权重，其中，该处理器使用该第一已标签数据及该第二已标签数据以计算该任务损失函数，并依据该任务损失函数以更新该特征萃取模型的该第一权重及该任务模型的该第二权重，其中，该处理器使用该第一未标签数据及该第二未标签数据以计算该半监督损失函数，并依据该半监督损失函数以更新该特征萃取模型的该第一权重。5.如权利要求2所述的半监督学习系统，其中该模型收敛条件表示该整体...

【专利技术属性】
技术研发人员：黄咏舜，苏育正，张晋维，
申请(专利权)人：台达电子工业股份有限公司，
类型：发明
国别省市：