标记图像的方法技术

本发明专利技术涉及一种标记图像的方法包括：取得目标物件的目标图像，依据目标图像及重建模型产生重建图像，其中重建模型采用多个参考图像及机器学习算法训练而得，每一参考图像为一参考物件的图像且该参考物件的缺陷程度落于具有上限值的可容许范围内，且每一参考物件关联于目标物件，依据目标图像及重建图像分别执行第一差异算法及第二差异算法以分别产生第一差异图像及第二差异图像，以及依据第一差异图像及第二差异图像执行像素尺度运算以产生输出图像，其中输出图像包括目标物件的缺陷的标记。记。记。

【技术实现步骤摘要】
标记图像的方法


[0001]本专利技术关于图像处理领域，特别是一种标记图像中的物件的缺陷的方法。

技术介绍

[0002]在最终出货给客户之前，笔记本电脑或平板电脑等产品需要由品质管理人员检查和确认。这些品质管理人员依据校验准则检查产品是否具有刮痕、凹痕或其他缺陷。如果缺陷的严重程度超出规格所允许的范围，则电脑产品被视为“不合格”；反之，则电脑产品被视为“通过”缺陷检测。
[0003]为了检测电脑产品外观上的缺陷，可以搜集电脑产品的多个表面图像，在图像上标记缺陷类型，然后训练用于在自动光学检查(Automatic Optical Inspection，AOI)机器中进行缺陷侦测的机器学习或深度学习(deep learning)模型。传统上，物件侦测(detection)和分类(classification)均以监督方式进行。在监督式学习的状况中，为了提高侦测准确度需要搜集大量带有标记(label)的训练数据，包括正常的样本以及有缺陷的样本。
[0004]更多的训练数据意味着更多的标记工作。然而，训练数据的搜集和标记需要大量的人力成本，而且可能相当困难。举例来说，电脑产品制造商若未设置用于搜集大数据(尤其是大量图像数据)的基础建设，而将数据搜集和标记任务外包，则数据的安全性、完整性和机密性可能会引起极大的关注。更重要的是，随着电脑产品的生命周期缩短，且产品设计趋向多元，以足够的多样性来搜集和标记电脑表面图像的缺陷显得不切实际。电脑产品的表面可能是任何颜色，也可以有任何纹理和材质。此外，表面缺陷具有许多类型，例如刮痕、凹痕，污渍等等。同一类型的表面缺陷可能有各种形状和大小。更严重的是，某些表面缺陷不易被归类。训练数据中不可避免地会出现不一致的标记。常规方法需要在训练数据中正确地对缺陷检测进行分类和标记，以使其具有良好的准确性。因此，很难收集具有足够种类的大量一致的标记数据。而等到搜集和标记足够的训练图像之后，这些训练图像所对应的电脑产品可能已经接近下市。

技术实现思路

[0005]有鉴于此，本专利技术提出一种标记图像的方法以满足大量训练数据的需求。
[0006]依据本专利技术一实施例叙述的一种标记图像的方法，所述的方法包括：取得目标物件的目标图像；依据目标图像及重建模型产生重建图像，其中重建模型采用多个参考图像及一机器学习算法训练而得，每一参考图像为一参考物件的图像且参考物件的缺陷程度落于具有上限值的可容许范围内，每一参考物件关联于目标物件；依据目标图像及重建图像分别执行第一差异算法及第二差异算法以分别产生第一差异图像及第二差异图像；以及依据第一差异图像及第二差异图像执行像素尺度运算以产生输出图像，其中输出图像包括目标物件的缺陷的标记。
[0007]综上所述，本专利技术提出的标记图像的方法适用于对电脑产品的原始图像进行分类
或侦测。本专利技术减少了大量标记图像以作为训练数据的需求。本专利技术提出的重建模型不会过度泛化(over-generalized)，以至于将某些缺陷视为正常区域中的纹理图案，故本专利技术可降低出现假阴性(false negative)的状况。本专利技术借由仅突出异常而忽略复杂背景的方式来模仿人类的感知。这种基于感知注意(perceptual-attention)的方法有效地减少了假阳性(false positive)的状况。
[0008]以上的关于本公开内容的说明及以下的实施方式的说明用以示范与解释本专利技术的精神与原理，并且提供本专利技术的专利申请范围更进一步的解释。
附图说明
[0009]图1是依据本专利技术一实施例的标记图像的方法示出的流程图。
[0010]图2是示出本专利技术一实施例中步骤S3的详细流程图。
[0011]图3是示出本专利技术一实施例中多阈值生成程序的流程图。
[0012]图4是本专利技术一实施例中目标图像的示例。
[0013]图5是本专利技术一实施例中重建图像的示例。
[0014]图6是本专利技术一实施例中第一差异图像的示例。
[0015]图7是本专利技术一实施例中第二差异图像的示例。
[0016]图8是本专利技术一实施例中第一输出图像的示例。
[0017]图9是本专利技术一实施例中第三输出图像的示例。
[0018]图10是本专利技术一实施例中第四输出图像的示例。
[0019]图11是本专利技术一实施例中第二输出图像的示例。
[0020]图12是本专利技术一实施例中人工标记图像中的缺陷的示例。
具体实施方式
[0021]以下在实施方式中详细叙述本专利技术的详细特征以及优点，其内容足以使任何本领域技术人员了解本专利技术的
技术实现思路
并据以实施，且根据本说明书所公开的内容、权利要求书及图式，任何本领域技术人员可轻易地理解本专利技术相关的目的及优点。以下的实施例进一步详细说明本专利技术的观点，但非以任何观点限制本专利技术的范围。
[0022]本专利技术提出的标记图像的方法，适用于侦测目标物件本身的缺陷，并且在具有目标物件的目标图像中增加关联于缺陷的标记(supplementary labels)。在一实施例中，目标物件是电脑产品的表面，像是笔记本电脑的上盖，缺陷则位于上盖的刮痕、凹痕或污渍等。在另一实施例中，目标物件是印刷电路板，缺陷则是零件的缺件、偏斜或错件等。
[0023]请参考图1，其示出本专利技术一实施例的标记图像的方法的流程图。请参考步骤S0，依据多个参考图像及机器学习算法产生重建模型。多个参考图像的每一个为一参考物件的图像，且此参考物件的缺陷程度落于具有上限值的可容许范围内。每一个参考物件关联于目标物件。详言之，参考物件为目标物件的合格样本，或称为可容许样本。参考物件例如是笔记本电脑的上盖。依据规格要求，参考物件不具有缺陷，或参考物件的缺陷的数量及程度落于可容许范围内。举例来说，请参考表格一，可容许范围例如包括第一级及第二级的缺陷类型，且上限值为第二级中定义的最大边界值(20mm、2条、1mm2和/或2个)或者例如包括第一级的缺陷类型，且上限值为第一级中定义的最大边界值(12mm、2条、0.7mm2和/或3个)。为
便于叙述，后文将“缺陷程度落于可容许范围内”简称为“不具有缺陷”。
[0024]表格一
[0025][0026]在一实施例中，步骤S0所述的机器学习算法是自编码器(auto-encoder)。在另一实施例中，步骤S0所述的机器学习算法是单一类别的支持向量机(one-class support vector machine)。机器学习算法以拍摄多个参考物件所获得的多个参考图像作为训练数据并训练出重建模型。重建模型，或称为生成模型(generative model)，其用来描述合格样本的模型。在步骤S0的重建模型预先训练完成之后，图1所示的步骤S1～S5为实际运行阶段。
[0027]请参考步骤S1，取得目标图像。本步骤S1例如以摄像装置拍摄目标物件的目标图像。目标物件例如是笔记本电脑的上盖或印刷电路板。为便于说明，目标物件具有一个或多个在可容许范围外的缺陷。然而在执行本专利技术提出的标记图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标记图像的方法，其特征在于，所述的方法包括：取得目标物件的目标图像；依据该目标图像及重建模型产生重建图像，其中该重建模型采用多个参考图像及机器学习算法训练而得，每一该些参考图像为参考物件的图像且该参考物件的缺陷程度落于具有上限值的可容许范围内，每一该参考物件关联于该目标物件；依据该目标图像及该重建图像分别执行第一差异算法及第二差异算法以分别产生第一差异图像及第二差异图像；以及依据该第一差异图像及该第二差异图像执行像素尺度运算以产生输出图像，其中该输出图像包括该目标物件的缺陷的标记。2.如权利要求1所述的标记图像的方法，其特征在于，该重建模型是自编码器。3.如权利要求1所述的标记图像的方法，其特征在于，该第一差异算法包括：依据该目标图像及神经网络模型产生第一特征图；依据该重建图像及该神经网络模型产生第二特征图；以及计算该第一特征图及该第二特征图之间的差异度，其中该第一差异图像中包含该差异度。4.如权利要求3所述的标记图像的方法，其特征在于...

【专利技术属性】
技术研发人员：陈怡君，陈佩君，陈文柏，陈维超，
申请(专利权)人：英业达股份有限公司，
类型：发明
国别省市：