已制造幅材产品数字样品的计算机辅助评级分配制造技术

本发明专利技术描述了一种计算机化评级工具，所述计算机化评级工具帮助用户有效和一致地为代表给定产品样品的大型训练图像集合分配专家评级(即标注)。所述评级工具提供了用于以直观和可配置的方式可视化训练图像的机制，包括对所述训练图像进行聚类和排序。在一些实施例中，所述评级工具提供了易用界面，所述易用界面用于探究所述数据中表示的多种缺陷类型，以及用于有效地分配专家评级。在其他实施例中，所述计算机自动为所述相应的集群分配评级(即标注)，所述集群包含代表所述样品的大型数字图像集合。此外，所述计算机化工具有适用于为非常大的数据集标注的能力，包括能够自动识别并选择所述图像最相关子集的缺陷，以及能够将标注从所述子集自动传送到剩余图像，而无需进一步的用户交互。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及自动检测系统，例如用于检测移动幅材的计算机化系统。
技术介绍
已经证明用于分析移动幅材的计算机化检测系统对现代制造操作至关重要。例如，部署基于图像的检测系统的做法正变得日益普遍，该基于图像的检测系统可自动根据用光学检器(如照相机)获取的数字图像对已制造产品的质量进行分类。这些检测系统通常依赖于复杂的技术，如机器学习、图案识别和计算机视觉技术。一些检测系统采用了通常称之为“分类器”的算法，该算法为每个已获取的数字图像(即“样品”)分配评级，从而指示出样品是可接受的还是不可接受的，或在最简单的情况下，是对应于变化程度或质量水平的更复杂的标注组。这些类型的检测系统通常在两个单独的处理阶段中执行任务。第一个步骤是离线执行步骤，称之为“训练阶段”。在训练阶段中，由一组专家为一组代表性样品图像手动分配评级(本文也称为“标注”)。专家可以是(例如)在手动检查幅材产品并确定潜在缺陷方面具有丰富经验的工艺工程师。根据样品图像，为训练数据开发一种可由计算机化检测系统使用的分类模型。这样，可将训练阶段视为检查工艺的学习部分。—旦从训练数据中开发出了模型，就可在处理过程的“分类阶段”将其实时应用于从新制造产品中获取的新样品。即，分类模型可由计算机化幅材检测系统在线使用，以通过为每个样品分配标注来对新样品图像进行分类。计算机化检测系统对新样品图像的正确评级能力与用于训练系统的初始训练数据(即，样品图像及其由专家分配的相应标注)的质量和准确性直接相关。例如，训练集中的样品应代表整个数据分布，即期望从给定幅材应用中获得的数据分布。因此，拥有大量的训练样品总体上是有利的，这可帮助更有效地训练模型以及减少过度拟合的影响，其特征在于这样一个模型，该模型区分训练样品之间的噪声或不显著差异，但对于训练样品集之外的范围具有较差的预测性能。然而，大量样品的手动标注任务对专家而言可能会非常费时和繁琐。更糟糕的是，该标注任务是主观任务，对产品非常熟悉的专家会由于任务性质而产生不一致的标注。此外，会在不同的专家评估者之间出现不一致。这些困难会随训练集规模的增长而增加，并会因以下事实而加剧:相同的幅材可应用于不同的最终用途，该不同的最终用途具有不同的验收公差。因此，产品对于一种最终用途而言可能被视为是不可接受的，但对于另一种最终用途而言可能是可接受的。
技术实现思路
概括地讲，本专利技术描述了一种计算机化评级工具，该计算机化评级工具可帮助用户有效和一致地为代表给定产品样品的大型数字图像集合分配专家评级(即，标注)。举例来说，标注可对应于样品中存在的特定非均匀性缺陷的严重级别。与用户分别为每个样品标注不同(这可能是乏味的、主观的，而且容易出错，并可能导致不一致的标注)，计算机化工具通过自动化最繁琐的方面简化了任务，同时为用户提供直观的可视化反馈和方法以与数据进行交互。在一些示例性实施例中，计算机化工具以视觉吸引力方式向用户显示图像，并通过允许用户在空间上可视化样品之间的关系而简化了分配一致标注的任务。在其他实施例中，计算机自动为代表样品的大型数字图像集合分配评级(即标注)。在一些示例性实施例中，所述计算机化评级工具提供了用于以直观和可配置的方式可视化数据的机制，包括对图像进行聚类和排序。在某些示例性实施例中，计算机化工具提供了易用界面，该易用界面用于探究数据中表示的多种缺陷类型，以及用于有效地分配专家评级。此外，计算机化工具有适用于为非常大的数据集标注的能力，包括能够自动识别并选择最相关图像子集的缺陷，以及能够将标注从该子集自动传送到剩余图像，而无需进一步的用户交互。在一个示例性实施例中，装置包括处理器或计算机，该计算机包括处理器和存储器，该存储器存储有要在处理器上执行的多个训练样品和评级软件。该评级软件包括特征提取模块，用于通过以下方式从多个训练图像的每一个中提取特征:通过相应训练图像的像素值计算每个训练图像的数值描述符。评级软件执行第一聚类过程以处理训练图像的数值描述符，从而自动选择训练图像的代表性子集并计算训练图像代表性子集的多个图像集群。在一些示例性实施例中，至少一个评级软件在处理器或该评级软件提供的用户界面上运行，并提供输入机制以接收来自用户的输入，所述评级软件指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组评级标注。在某些示例性实施例中，用户界面包括输入机制以接收输入，所述输入针对每个指定的缺陷类别将相应的评级标注分配到每个图像集群。在另外的或可供选择的示例性实施例中，处理器或计算机用于确定代表性训练图像中存在的多个缺陷类别，并针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。在一些具体的示例性实施例中，在处理器上运行的评级软件指定代表性训练图像中存在的多个缺陷类别，并针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。在上述任意示例性实施例中，评级软件可将已分配到每个图像集群缺陷类别的每个相应的评级标注自动传送到相应图像集群中的所有训练图像。在另外的实施例中，该方法包括在计算机上运行评级软件以通过以下方式从多个训练图像的每一个中提取特征:通过相应训练图像的像素值计算每个训练图像的数值描述符。该方法还包括使用评级软件处理训练图像的数值描述符，以自动选择训练图像的代表性子集，以及使用评级软件执行第一聚类过程以处理训练图像代表性子集的数值描述符并计算训练图像代表性子集的多个图像集群。在一些示例性实施例中，评级软件在处理器上运行，其中评级软件包括用于通过以下方式从多个训练图像的每一个中提取特征的特征提取模块:通过相应训练图像的像素值计算每个训练图像的数值描述符，并且其中评级软件执行第一聚类过程以处理训练图像的数值描述符，从而自动选择训练图像的代表性子集并计算训练图像代表性子集的多个图像集群。至少一个评级软件在处理器或该评级软件提供的用户界面上运行，并提供输入机制以接收来自用户的输入，所述评级软件指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组相应的评级标注。因此，在一些具体的示例性实施例中，该方法还包括:使用评级软件提供用户界面以接收来自用户的输入，所述用户输入指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组评级标注；接收输入，所述输入针对每个指定的缺陷类别将相应的评级标注分配到每个图像集群；以及针对每个图像集群，使用评级软件将已分配到图像集群缺陷类别的每个相应的评级标注自动传送到相应图像集群中的所有训练图像。然而，在其他另外的或可供选择的示例性实施例中，该方法还包括接收来自计算机的输入，所述输入指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组评级标注。在某些此类实施例中，接收来自计算机的输入还包括使用计算机确定代表性训练图像中存在的多个缺陷类别，以及针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。本专利技术技术可提供一种或多种优点。例如，针对对大型训练数据集手动标注的固有问题，本文所述计算机化工具将对大型数据集标注这一繁琐过程的一部分加以自动化，同时还以有效利用自身专业知识的方式在循环中保留了人工操作。这可允许将通过监督/半监督分类算法的训练阶段开发的模型成功地应用于计算机化检测系统。本专利技术的一个或多个实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.10.19 US 61/394,4281.一种方法，其包括: 在计算机上运行评级软件以通过以下方式从多个训练图像的每一个中提取特征:通过所述相应训练图像的像素值计算每个所述训练图像的数值描述符； 使用所述评级软件处理所述数训练图像的所述数值描述符以自动选择所述训练图像的代表性子集； 使用所述评级软件执行第一聚类过程以处理所述训练图像的所述代表性子集的所述数值描述符，并且计算所述训练图像代表性子集的多个图像集群； 接收来自至少一个用户或所述计算机的输入，所述输入针对每个指定的缺陷类别将相应的评级标注分配到所述多个图像集群中的每一个， 其中接收来自所述用户的输入还包括使用所述评级软件提供用户界面以接收来自所述用户的输入，所述用户输入指定所述多个训练图像中存在的一个或多个缺陷类别，并且可任选的是 其中接收来自所述计算机的输入还包括使用所述计算机确定所述代表性训练图像中存在的多个缺陷类别，以及针对每个所指定的缺陷类别将严重级别标注分配到所述多个图像集群中的每一个；和 针对每个所述图像集群，使用所述评级软件将已分配到所述图像集群的所述缺陷类别的每个所述相应的评级标注自动传送到相应图像集群中的所有所述训练图像。2.根据权利要求1所述的方法，还包括使用所述评级软件将评级标注自动分配到未包括在每个所述缺陷类别的所述训练图像的所述代表性子集内的所述训练图像的所有剩余图像。3.根据权利要求1所述的方法，其中对于未包括在所述训练图像的所述训练子集内的每个未标注训练图像而言，使用所述评级软件自动分配评级标注包括: 计算未标注训练图像数值描述符到所述训练图像的代表性子集内的每个已标注图像的所述数值描述符的成对距离； 计算每个指定缺陷类别的概率集合，其中每个缺陷类别的所述概率集合包括为所述缺陷类别指定的每个所述评级标注的概率，并且指出了所述未标注训练图像成为已分配了相应特定缺陷类别的 相应特定评级标注的所述训练图像一员的概率；和 分配到所述评级标注在每个所述缺陷类别范围内具有最高概率的所述未标注训练图像。4.根据权利要求1所述的方法，其中计算每个所述训练图像的数值描述符包括: 针对每个所述训练图像，根据所述像素相对于多个相邻像素的一个或多个强度值导数，计算所述训练图像的每个像素上的特征矢量；和 根据所述训练图像的所述每个像素的特征矢量，计算所述训练图像的协方差矩阵。5.根据权利要求1所述的方法，其中计算每个所述训练图像的数值描述符包括，对于每个所述训练图像，使用一个或多个过滤器卷积所述训练图像的所述像素值，以计算所述训练图像的所述数值描述符。6.根据权利要求1所述的方法，其中计算每个所述训练图像的数值描述符包括，对于每个所述训练图像，计算所述训练图像的像素强度值直方图，以及通过所述强度值直方图计算所述训练图像的所述数值描述符。7.根据权利要求1所述的方法，其中自动选择所述训练图像的代表性子集包括: 使用所述评级软件处理所述训练图像的所述数值描述符以计算每个训练样品的像素强度方差；和 使用所述评级软件识别具有最高像素强度方差的所述训练图像的第一子集以包括在训练图像的所述代表性子集内。8.根据权利要求7所述的方法，其中自动选择所述训练图像的代表性子集还包括:在选择所述第一子集并且计算所述代表性子集之后，运行所述评级软件以从剩余训练图像中随机选择第二子集，以将所述训练图像的所述第二子集包括在内。9.根据权利要求8所述的方法，还包括提供所述评级软件的用户界面以接收第一可配置参数和第二可配置参数，所述第一可配置参数指定了训练图像的所述第一子集的训练图像目标大小，所述第二可配置参数指定了训练图像的所述第二子集的目标大小。10.根据权利要求8所述的方法，其中对于未包括在所述第一子集或所述第二子集内的每个所述训练图像而言，自动选择所述训练图像的代表性子集还包括: 使用所述评级软件在与所述数值描述符相关的特征空间中识别所述训练图像的多个最近邻数值描述符； 计算到所述训练图像的所述数值描述符的每个最近邻的距离；和当到所述训练图像的所述最近邻的所有距离均超出表示所述训练图像为异常训练图像的异常阈值时，将所述训练图像包括在所述代表性子集内。11.根据权利要求10所述的方法，还包括提供所述评级软件的用户界面以接收第一可配置参数和第二可配置参数 ，所述第一可配置参数在确定训练图像是否为异常训练图像时指定要识别的最近邻数量，而所述第二可配置参数指定所述异常阈值。12.根据权利要求1所述的方法，还包括提供所述评级软件的用户界面以接收来自所述用户的输入，所述输入指定所述训练图像是否构成了大型数据集，并且引导所述评级软件自动识别所述训练图像的所述代表性子集以进行聚类。13.根据权利要求1所述的方法，其中使用所述评级软件执行第一聚类过程包括处理所述训练图像的所述代表性子集的所述数值描述符，以计算多个所述图像集群。14.根据权利要求13所述的方法，其中计算分层包括: 提供户界面以接收来自所述用户的输入，所述输入指定所述图像集群的所需数量；对训练图像的所述代表性子集应用自下而上聚合的聚类算法以根据所述代表性子集内的每个所述训练图像的所述数值描述符形成树；和 在生成所述树时截断所述聚类过程，以产生至少符合所述用户指定的所述图像集群所需数量的多个叶节点。15.根据权利要求13所述的方法，还包括: 根据所述图像集群的图像之间的相似性计算所述图像集群的顺序； 使用所述评级软件提供用户界面，所述用户界面显示所述多个图像集群并且包括输入机制，所述输入机制允许所述用户根据所述排序浏览所述多个图像集群；和 根据所述计算顺序控制所述图像集群在所述用户界面中的显示，以使得在所述用户界面上以彼此更接近的方式显示多于相异图像集群的类似图像集群。16.根据权利要求15所述的方法，其中计算所述图像集群的顺序包括:对于每一对所述图像集群，处理所述数值描述符以计算所述对的第一图像集群中的每个图像与所述对的第二图像集群的每个图像之间的各个距离； 计算所述各个距离的中值以确定每个所述图像集群对的集群间距离；和 将所述顺序计算为第二树以根据成对集群间距离对所述图像集群排序。17.根据权利要求16所述的方法，其中使用允许所述用户查看和导航所述多个图像集群的所述评级软件来提供用户界面包括:使用所述第二树的叶节点布置来控制所述多个图像集群在所述用户界面中的所述显示。18.根据权利要求16所述的方法，其中在所述评级软件的所述用户界面中提供集群查看窗口包括: 显示来自每个集群的单个代表性图像； 接收来自所述用户的输入，所述输入用于选择所述图像集群中的其中一个的所述代表性图像；和 对应所述选择，更新所述用户界面以显示分配到所述相应图像集群的所述训练图像。19.根据权利要求18所述的方法，还包...

【专利技术属性】
技术研发人员：E·J·里布尼克，K·G·布里泰恩，G·D·科斯塔施，C·P·塔诺维斯基，D·H·贾斯泰斯，G·萨皮罗，S·D·赫伯特，D·L·霍菲尔特，
申请(专利权)人：三M创新有限公司，
类型：
国别省市：