图像识别系统技术方案

本发明专利技术提供一种图像识别系统。在对图像中包含的形状进行识别的图像识别系统中，即使在图像内映现有多个形状的情况下，也能够针对这些形状的单独的预测结果判定其成功与否的技术。本发明专利技术所涉及的图像识别系统按照在图像内识别出的每个对象形状并且按照特征量的每个种类，计算特征量的重要度，按照每个所述对象形状对所述重要度和特征量的每个种类的统计量进行比较，由此判定识别结果是否正确。由此判定识别结果是否正确。由此判定识别结果是否正确。

【技术实现步骤摘要】
图像识别系统


[0001]本专利技术涉及识别图像中包含的形状的图像识别系统。

技术介绍

[0002]在半导体、液晶面板等的生产线中，若在工序初期产生不良，则之后的工序的作业浪费。因此，在每个工序的重要位置处设置检查工序，在确认/维持得到给定的成品率的同时进行制造。在这些检查工序中，例如使用应用了扫描型电子显微镜(SEM：Scanning Electron Microscope)的测长SEM(CD
‑
SEM：Critical Dimension
‑
SEM，临界尺寸
‑
SEM)、缺陷复查SEM(Defect Review SEM)等。
[0003]在检查工序中，对检查装置拍摄的图像确认有无缺陷、异常。近年来，能够通过机器学习中构建的图像处理模型进行高精度的自动检查。但是，成为检查对象的试样的特征根据制造工艺而变化，因此为了维持高精度的检查精度，需要在制造现场对图像处理模型进行再学习。在该情况下，需要进行再学习模型与现有模型之间的性能比较评价、再学习模型是否正常地发挥功能的确认。即，需要图像识别模型的性能评价。通常，性能评价通过标注有标签(label)的数据或第三者的确认来实施，但在制造现场，从成本、时间等的观点出发，难以实施这些。因此，需要通过无标签数据自动地评价模型的性能。
[0004]作为本
的
技术介绍
，例如有专利文献1那样的技术。专利文献1以“提供一种在基于图像的特征量来进行分类的图像分类装置以及图像分类方法中，能够以简便的方法提示与分类结果的可靠性(確
からしさ
)相关的信息的技术。”为课题，记载了以下的技术：“将通过任意的分类算法分类为类别A的缺陷图像X作为计算对象，计算其分类结果的准确度。针对多种特征量V1～V8的每一个，预先求出属于该分类类别的典型的图像所具有的值的范围作为典型范围。在表示计算对象图像X的各特征量中，对其值处于典型范围内的特征量进行投票，将得票数相对于特征量的种类数的比作为准确度输出。”(参照摘要)。
[0005]在先技术文献
[0006]专利文献
[0007]专利文献1：日本特开2013
‑
077127号公报
[0008]上述专利文献1的技术输出表示基于分类算法(图像识别模型)的分类结果的可靠性的准确度。由此，由于能够判定图像识别模型的分类结果是否正确，因此可以认为，能够通过无标签数据自动地评价模型的性能。
[0009]然而，专利文献1记载的以往的图像分类装置针对一个输入图像整体计算特征量。换言之，即使在图像内存在多个缺陷的情况下，也计算识别该多个缺陷的整体的特征量。于是，根据其特征量来识别的是多个缺陷的集合体，并非单独识别各个缺陷。因此，难以针对各个缺陷的预测结果判定其成功与否。

技术实现思路

[0010]本专利技术是鉴于上述那样的课题而完成的，其目的在于提供一种在识别图像中包含
的形状的图像识别系统中，即使在图像内映现有多个形状的情况下，也能够针对这些形状的单独的预测结果判定其成功与否的技术。
[0011]本专利技术所涉及的图像识别系统针对在图像内识别出的每个对象形状并且按特征量的每个种类计算特征量的重要度，针对每个所述对象形状对所述重要度和特征量的每个种类的统计量进行比较，由此判定识别结果是否正确。
[0012]‑
专利技术效果
‑
[0013]根据本专利技术所涉及的图像识别系统，在对图像中包含的形状进行识别的图像识别系统中，即使在图像内映现有多个形状的情况下，也能够针对这些形状的单独的预测结果判定其成功与否。上述以外的课题、结构、效果通过以下的实施方式的说明而变得明确。
附图说明
[0014]图1是概念性地表示实施方式1所涉及的图像识别系统100的结构的图。
[0015]图2是表示图像识别系统100的结构的框图。
[0016]图3是说明图像识别系统100的动作的流程图。
[0017]图4是表示特征量重要度计算部14的处理的流程图。
[0018]图5是由特征量重要度计算部14求出的结果的1例。
[0019]图6是表示图像识别系统100的结构的框图。
[0020]图7是说明统计量计算部21求出统计量的过程的流程图。
[0021]图8A是在S114中向特征量重要度数据库(DB)20存储的数据的1例。
[0022]图8B是在S116中向统计信息数据库(DB)15存储的数据的1例。
[0023]图9是概念性地表示基于分布的比较的预测结果的正确与否判定的图。
[0024]图10是表示实施方式2所涉及的图像识别系统100的结构的框图。
[0025]图11是说明实施方式2中的图像识别系统100的动作的流程图。
[0026]图12是显示判定结果数据库(DB)26中保存的误识别判定结果和评价结果数据库(DB)28中保存的模型评价结果的GUI的例子。
[0027]图13是显示比较结果数据库(DB)30中保存的比较结果的GUI的例子。
[0028]图14是说明实施方式3所涉及的图像识别系统100的动作的流程图。
[0029]图15是显示部31输出的GUI的例子。
[0030]‑
符号说明
‑
[0031]100：图像识别系统
[0032]2：图像识别部
[0033]6：误识别判定部
[0034]9：试样
[0035]10：检查装置
[0036]14：特征量重要度计算部
[0037]15：统计信息数据库(DB)
[0038]16：比较部
[0039]20：特征量重要度数据库(DB)
[0040]21：统计量计算部
[0041]22：模型数据库(DB)
[0042]23：模型读入部
[0043]26：判定结果数据库(DB)
[0044]27：模型评价部
[0045]28：评价结果数据库(DB)
[0046]29：模型比较部
[0047]30：比较结果数据库(DB)
[0048]31：显示部
[0049]32：模型监视部
[0050]33：监视数据库(DB)。
具体实施方式
[0051]<实施方式1>
[0052]图1是概念性地表示本专利技术的实施方式1所涉及的图像识别系统100的结构的图。图像识别系统100具备图像识别部2和误识别判定部6等。图像识别部2通过对摄像图像1实施预测来取得预测结果3。误识别判定部6判定预测结果3是否正确。
[0053]如预测结果3所示，图像识别部2将摄像图像1中映现的缺陷的种类和位置分别如预测结果4和预测结果5那样单独地预测。误识别判定部6将由图像识别部2预测出的结果作为输入，单独地判定这些结果是否正确。换句话说，误识别判定部6判定预测的结果的每个区域中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别系统，对图像中包含的形状进行识别，其特征在于，具备：图像识别部，基于实施了机器学习的结果从输入图像提取特征量，使用所述特征量来识别所述输入图像所包括的对象形状；以及误识别判定部，判定所述图像识别部的识别结果是否正确，所述误识别判定部具备：特征量重要度计算部，计算所述特征量的重要度；统计信息数据库，存储与所述重要度相关的统计量；以及比较部，通过对所述重要度和所述统计量进行比较，从而判定所述识别结果是否正确，所述特征量重要度计算部按照所述图像识别部识别出的每个所述对象形状并且按照所述特征量的每个种类计算所述重要度，所述统计信息数据库按照所述对象形状的每个种类并且按照所述特征量的每个种类，存储所述统计量，所述比较部通过按照所述图像识别部识别出的每个所述对象形状，对于所述特征量重要度计算部计算出的所述特征量的每个种类的所述重要度和所述统计信息数据库所存储的所述特征量的每个种类的所述统计量进行比较，从而按照所述图像识别部识别出的每个所述对象形状来判定所述识别结果是否正确。2.根据权利要求1所述的图像识别系统，其中，所述特征量重要度计算部使用表示所述图像识别部识别所述对象形状时的所述特征量的影响的大小的特征量重要度参数，计算所述重要度，所述特征量重要度计算部除了使用所述特征量重要度参数以外，还使用表示所述图像识别部识别所述对象形状时的所述输入图像内的图像区域的影响的大小的区域重要度参数，计算所述重要度。3.根据权利要求1所述的图像识别系统，其中，所述特征量重要度计算部使用表示所述图像识别部识别所述对象形状时的所述特征量的影响的大小的特征量重要度参数，计算所述重要度，所述特征量重要度计算部使用所述识别结果的确信度得分的增量相对于所述输入图像的每个像素位置的所述特征量的增量的比率，计算所述特征量重要度参数。4.根据权利要求1所述的图像识别系统，其中，所述特征量重要度计算部使用表示所述图像识别部识别所述对象形状时的所述输入图像内的图像区域的影响的大小的区域重要度参数，计算所述重要度，所述特征量重要度计算部通过按照每个所述图像区域求出通过所述特征量对所述识别结果的确信度得分进行微分而得到的微分值与所述输入图像内的所述微分值的最大值之间的比率，计算所述区域重要度参数。5.根据权利要求1所述的图像识别系统，其中，所述图像识别系统还具备创建所述统计信息数据库的统计量计算部，所述统计量计算部按照所述图像识别部识别出的每个所述对象形状，创建按照所述重要度从高到低的顺序列举了第一个数的所述特征量的种类的第一列表，所述统计量计算部按照所述图像识别部识别出的每个所述对象形状，将各所述第一列表中包括的按照频度从高到低的顺序列举了第二个数的所述特征量的种类的第二列表作
为所述统计量存储在所...

【专利技术属性】
技术研发人员：山内俊典，石川昌义，柿沼武史，长谷川正树，大平健太郎，丰田康隆，
申请(专利权)人：株式会社日立高新技术，
类型：发明
国别省市：