用于预测在装配单元中的缺陷的方法技术

用于预测制造缺陷的方法的一个变形包括：访问由光学检查站记录的装配单元集合的一组检查图像；对于在该组检查图像中的每个检查图像，检测在检查图像中的特征集合，并生成在多维特征空间中表示该特征集合的向量；将在多维特征空间中的相邻向量分组到向量组集合内；以及响应于接收到指示在该装配单元集合中的与在该向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果，而用缺陷标注第一向量组，并且将与第一向量组中的第二向量相关联的第二装配单元标记为展示缺陷的特性。

A method for predicting defects in assembly units

【技术实现步骤摘要】
【国外来华专利技术】用于预测在装配单元中的缺陷的方法相关申请的交叉引用本申请要求于2017年4月13日提交的美国临时申请第62/485,209号的利益，该临时申请通过此引用被全部并入。
本专利技术总体上涉及光学检查的领域，且更具体地涉及在光学检查的领域中用于预测在装配单元中的缺陷的一种新的和有用的方法。附图简述图1是方法的流程图表示；以及图2是方法的一个变形的流程图表示；图3是方法的一个变形的流程图表示；图4是方法的一个变形的流程图表示；图5是方法的一个变形的流程图表示；以及图6是方法的一个变形的流程图表示。实施例的描述本专利技术的实施例的下面的描述并不意图将本专利技术限制到这些实施例，而是意图使本领域中的技术人员能够制造并且使用本专利技术。本文所描述的变形、配置、实现、示例实现和示例是可选的，并且不排除它们描述的变形、配置、实现、示例实现和示例。本文所描述的专利技术可以包括这些变形、配置、实现、示例实现和示例的任何和所有的排列。1.方法如图1和图2所示，方法S100包括：在块S110中访问在特定装配类型的装配单元集合的生产期间由光学检查站记录的装配单元集合的一组检查图像；对于在该组检查图像中的每个检查图像，在块S120中检测在检查图像中的特征集合，并在块S124中生成在向量集合中的在多维特征空间中表示特征集合的向量；以及在块S130中将在多维特征空间中的向量集合中的邻近向量分组到向量组集合内。1.1方法：智能召回和缺陷传播>在图1和图5所示的一个变形(在该变形中方法S100被实现来传播在过去完成的对在装配单元中的缺陷的检测)中，方法S100还包括响应于接收到指示在装配单元集合中的与在向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果：在块S140中，用缺陷标注第一向量组；以及在块S150中，将与第一向量组中的第二向量相关联的第二装配单元标记为展示缺陷的特性。1.2方法：缺陷源隔离在图2所示的另一变形(在该变形中方法S100被实现来预测缺陷模式(例如，指示在装配单元中的故障或缺陷的特征组))中，方法S100还包括：在块S140中，用在装配单元集合中的与在向量组集合中的第一向量组中的向量相关联的第一装配单元子集的检查结果中指示的缺陷来标注第一向量组；在块S140中，基于在装配单元集合中的与在向量组集合中的第二向量组中的向量相关联的第二装配单元子集的检查结果，用缺陷的缺乏标注第二向量组；在块S160中，识别以在第一向量组中的向量表示的并且与第二向量组中的向量不同的特征范围的模型集合；以及在块S162中，将模型特征集合与缺陷关联起来。在该变形中，方法S100可以类似地被实现来预测指示在装配单元中的缺陷的缺乏的特征组。在该变形中，方法S100可以另外或替代地包括：在块S160中，识别在第二向量组中的向量共有的并且从第一向量组中的向量中排除的模型特征集合；以及在块S162中，将模型特征集合与特定装配类型的特定功能的正确操作关联起来。1.3方法：实时产量保护在图6所示的另一变形(在该变形中方法S100被实现来检测随着时间的推移朝向有缺陷的装配单元的特性的制造漂移)中，方法S100还包括：在块S140中，基于指示在第一装配单元集合中的与在第一向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果，用缺陷标注第一向量组；访问在第一时间段之后的第二时间段内在特定装配类型的第二装配单元集合的生产期间由光学检查站记录的第二装配单元集合的第二检查图像序列；对于在第二检查图像序列中的每个检查图像，检测在检查图像中的特征集合，并生成在第二向量集合中的在多维特征空间中表示特征集合的向量；以及响应于第二向量集合在第二时间段内趋向于第一向量组，在块S170中生成检查在光学检查站之前的生产的提示。在类似的变形(在该变形中方法S100被实现来检测随着时间的推移远离功能性的装配单元的特性的制造漂移)中，方法S100还包括：在块S140中基于第一检查结果来将在第一向量组集合中的第一向量组标注为功能性的，第一检查结果指示在第一装配单元集合中的与在第一向量组中的第一向量相关联的第一装配单元的完整功能；访问在第一时间段之后的第二时间段内在特定装配类型的第二装配单元集合的生产期间由光学检查站记录的第二装配单元集合的第二检查图像序列；对于在第二检查图像序列中的每个检查图像，检测在检查图像中的特征集合，并生成在第二向量集合中的在多维特征空间中表示特征集合的向量；以及响应于第二向量集合在第二时间段内从第一向量组向外趋向，生成检查在光学检查站之前的生产的提示。1.4方法：实时异常检测在图3所示的又一变形(在该变形中方法S100被实现来在生产期间检测新装配单元中的异常)中，方法S100还包括：访问在第一时间段之后的第二时间在特定装配类型的第二装配单元的生产期间由光学检查站记录的第二装配单元的第二检查图像；检测在第二检查图像中的第二特征集合；生成在多维特征空间中表示第二特征集合的第二向量；以及在块S150中响应于第二向量与向量组集合偏离多于阈值差而标注第二装配单元。2.应用通常，方法S100可以由本地或远程计算机系统(在下文中被称为“系统”)执行以：聚集在生产期间记录的装配单元的数字摄影检查图像；将这些装配单元中的每一个表示为体现从相应检查图像中检测到并提取的多个(例如，“n个”)特征的多维(例如，“n维”)向量；以及将这些向量分组到展示在多维特征空间的某些或所有维上的(相对)高程度的相似性的向量组(或“簇”)内。特别是，方法S100可以被执行以从许多装配单元的检查图像中自动识别代表性特征(例如，角、边、表面、表面轮廓、几何形状、相对位置、相对方向等)，并基于这些特征但在对这些特征如何影响这些装配单元的美学和功能完好性没有直接或显性知识的情况下，自动识别相似装配单元的组(其中相似装配单元可以展示相似的美学和功能完好性或缺陷)。如下所述，系统可以执行方法S100的块以：生成对装配单元的美学和/或功能缺陷的异步和实时预测；主要或完全基于这些装配单元的视觉数据(以及有限的测试和检查数据)来识别异常装配单元；隔离预测缺陷的特征；以及正好在非预期变化影响产量之前沿着装配线检测在装配单元的生产期间出现的这些非预期变化。2.1应用：智能召回和缺陷传播在图5所示的一个应用中，系统：访问由布置在装配线上的特定装配步骤之后的光学检查站记录的在过去生产的装配单元的库(corpus)中的检查图像的数据库；分割这些检查图像；将来自这些检查图像中的每一个的图像片段(例如，与光学检查站相关联的感兴趣的图像片段的子集)传递到从每个图像片段检测和提取特征(例如，数千个特征)的卷积神经网络中；以及然后对于每个装配单元将这些特征的定量表示编译成一个向量。系统然后可以：实现结构化数据分析技术(例如，线性回归分析、聚类分析、k均值聚类和/或其他统计分析和机器学习技术)以将表示装配单元的向量分组到离散向量组(在下文被称为“本文档来自技高网...

【技术保护点】
1.一种用于预测制造缺陷的方法，所述方法包括：/n●访问在特定装配类型的装配单元集合的生产期间由光学检查站记录的所述装配单元集合的一组检查图像；/n●对于在所述一组检查图像中的每个检查图像：/n○检测在所述检查图像中的特征集合；以及/n○生成在向量集合中的在多维特征空间中表示所述特征集合的向量；/n●将在所述多维特征空间中的所述向量集合中的邻近向量分组到向量组集合内；以及/n●响应于接收到指示在所述装配单元集合中的与在所述向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果：/n○用所述缺陷标注所述第一向量组；以及/n○将与所述第一向量组中的第二向量相关联的第二装配单元标记为展示所述缺陷的特性。/n

【技术特征摘要】
【国外来华专利技术】20170413 US 62/485,2091.一种用于预测制造缺陷的方法，所述方法包括：
●访问在特定装配类型的装配单元集合的生产期间由光学检查站记录的所述装配单元集合的一组检查图像；
●对于在所述一组检查图像中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述向量集合中的邻近向量分组到向量组集合内；以及
●响应于接收到指示在所述装配单元集合中的与在所述向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果：
○用所述缺陷标注所述第一向量组；以及
○将与所述第一向量组中的第二向量相关联的第二装配单元标记为展示所述缺陷的特性。


2.根据权利要求1所述的方法，其中，检测在所述一组检查图像中的特征集合包括对于在所述一组检查图像中的每个检查图像：
●将所述检查图像分成图像片段集合；
●在所述图像片段集合中选择与和在沿着装配线布置的一组光学检查站中的所述光学检查站相关联的感兴趣的装配单元区域对应的图像片段子集；
●对于在所述图像片段子集中的每个图像片段，从所述图像片段提取特征子集；以及
●将从所述图像片段子集提取的特征子集编译成在所述检查图像中的所述特征集合。


3.根据权利要求2所述的方法：
●其中，访问所述一组检查图像包括从数据库访问所述一组检查图像，所述一组检查图像在第一时间段内由所述光学检查站记录；
●还包括：
○接收在所述第一时间段之后的第二时间由所述光学检查站记录的所述第二装配单元的第二检查图像；
○将所述第二检查图像分成第二图像片段集合；
○在所述第二图像片段集合中选择对应于与所述光学检查站相关联的所述感兴趣的装配单元区域的第二图像片段子集；
○从所述第二图像片段集合中的每个图像片段提取特征子集；
○将从所述第二图像片段子集提取的特征子集编译成在所述第二检查图像中的第二特征集合；以及
○生成在所述多维特征空间中表示所述第二特征集合的所述第二向量；以及
●其中，标记所述第二装配单元包括响应于基于在所述多维特征空间中所述第二向量与所述第一向量的接近度而将所述第二向量与所述第一向量组关联起来，在大约所述第二时间向用户门户提供检查所述第二装配单元以找到所述缺陷的提示。


4.根据权利要求3所述的方法，其中，向所述用户门户提供检查所述第二装配单元的所述提示包括向在与操作员相关联的且在所述第二时间位于所述装配线附近的移动计算设备上执行的所述用户门户提供所述提示。


5.根据权利要求1所述的方法：
●还包括：
○向用户门户提供所述第一装配单元的第一检查图像；以及
○经由所述用户门户接收对在所述第一检查图像中的感兴趣区域的手动选择，在所述第一检查图像中的所述感兴趣区域由用户预测为描绘所述缺陷的源；
●其中，检测在所述一组检查图像中的特征集合包括对于在所述一组检查图像中的每个检查图像：
○将所述感兴趣区域从所述第一检查图像投射到所述检查图像上；以及
○从所述检查图像中的所述感兴趣区域提取所述特征集合；
●其中，将向量分组到向量组内包括基于在所述多维特征空间中与所述第一向量的接近度来将在所述向量集合中的向量分组到所述第一向量组内；以及
●其中，用所述缺陷标注所述第一向量组包括预测在所述装配单元集合中的与所述第一向量组中的向量相关联的装配单元子集中的所述缺陷的存在。


6.根据权利要求5所述的方法，还包括：
●接收包括指示在以前被售出并作为有缺陷的被返回的所述第一装配单元中的所述缺陷的所述第一检查结果；以及
●自动生成所述特定装配类型的序列号的列表，所述序列号的列表对应于在以前被售出的所述装配单元子集中的装配单元。


7.根据权利要求5所述的方法：
●还包括接收包括指示包含美学缺陷的所述缺陷的所述第一检查结果；以及
●其中，标记所述第二装配单元包括：
○将所述感兴趣区域从所述第一检查图像投射到所述第二装配单元的第二检查图像上；
○通过用户门户向用户提供在所述第二检查图像中的所述感兴趣区域；以及
○提示所述用户确认在所述第二检查图像中的所述感兴趣区域中的所述美学缺陷的存在。


8.根据权利要求1所述的方法，其中，标记所述第二装配单元包括：
●基于在所述多维特征空间中对应向量与所述第一向量的接近度来计算在所述装配单元集合中的装配单元中的所述缺陷的概率；
●响应于在所述第二装配单元中的所述缺陷的概率超过在所述装配单元集合中的其他装配单元中的所述缺陷的概率而生成检查所述第二装配单元的提示。


9.根据权利要求1所述的方法：
●其中，将邻近向量分组到所述向量组集合中包括：
○定义将包含所述第一向量和所述第二向量的第一多维体积与包含第三向量的第二多维体积划界的流形；以及
○将在所述第一多维体积内的向量分组到所述第一向量组中；
●其中，针对所述缺陷而标记所述第二装配单元包括生成检查所述第二装配单元以找到所述缺陷的提示；以及
●还包括：
○响应于检查所述第二装配单元的所述提示而接收对在所述第二装配单元中的所述缺陷的缺乏的确认；
○响应于对在所述第二装配单元中的所述缺陷的缺乏的确认，计算描绘包含所述第一向量的第一修正多维体积和包含所述第二向量的第二修正多维体积的修正流形；
○将在所述第一修正多维体积内的向量分组到修正的第一向量组内；以及
○生成检查与在所述修正的第一向量组中的第四向量相关联的第四装配单元以找到所述缺陷的第二提示。


10.一种用于预测制造缺陷的方法，所述方法包括：
●访问在特定装配类型的装配单元集合的生产期间由光学检查站记录的所述装配单元集合的一组检查图像；
●对于在所述一组检查图像中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述向量集合中的邻近向量分组到向量组集合内；以及
●用在所述装配单元集合中的与在所述向量组集合中的第一向量组中的向量相关联的第一装配单元子集的检查结果中指示的缺陷来标注所述第一向量组；
●基于在所述装配单元集合中的与在所述向量组集合中的第二向量组中的向量相关联的第二装配单元子集的检查结果，用所述缺陷的缺乏来标注所述第二向量组；
●识别以在所述第一向量组中的向量表示的并且不同于所述第二向量组中的向量所表示的特征范围的模型集合；以及
●将所述模型特征集合与所述缺陷关联起来。


11.根据权利要求10所述的方法：
●其中，标注所述第一向量组包括：
○选择代表第一向量组的第一向量；
○经由用户门户向用户提供检查在所述装配单元集合中的第一装配单元以找到缺陷的第一提示，所述第一装配单元与所述第一向量相关联；以及
○响应于接收到指示在所述第一装配单元中的所述缺陷的所述第一检查结果而用所述缺陷标注所述第一向量组；以及
●其中，标注所述第二向量组包括：
○选择代表第二向量组的第二向量；
○经由所述用户门户向所述用户提供检查在所述装配单元集合中的第二装配单元以找到缺陷的第二提示，所述第二装配单元与所述第二向量相关联；以及
○响应于接收到不包括在所述第二装配单元中的所述缺陷的指示的所述第二检查结果而用所述缺陷的缺乏来标注所述第二向量组。


12.根据权利要求10所述的方法：
●其中，访问所述一组检查图像包括访问包括在第一时间段内由所述光学检查站记录的数字彩色摄影图像的所述一组检查图像；
●还包括：
○接收在所述第一时间段之后的第二时间由所述光学检查站记录的第二装配单元的第二检查图像；
○检测在所述第二检查图像中的第二特征集合；以及
○响应于所述第二特征集合接近所述模型特征集合，在大约所述第二时间向用户门户提供检查所述第二装配单元的提示，所述用户门户在所述光学检查站附近的计算设备上执行。


13.根据权利要求10所述的方法，还包括：
●识别与在所述装配单元集合中的第三装配单元相关联的第三向量，所述第三向量在所述多维特征空间中位于所述第一向量组和所述第二向量组之间；
●向用户门户提供检查所述第三装配单元以找到所述缺陷的提示；以及
●响应于接收到对在所述第三装配单元中的特定限定的确认：
○更新所述第一向量组以包含所述第三向量；
○识别在所述第一向量组中的向量共有的并且从所述第二向量组中的向量排除的修正的特征集合；以及
○将所述模型特征集合与所述缺陷关联起来。


14.根据权利要求10所述的方法：
●其中，识别所述模型特征集合包括识别在所述第一向量组中的向量共有的并且从所述第二向量组中的向量排除的第一特征和第二特征；以及
●还包括：
○识别表示第三装配单元、包含所述第一特征并且排除所述第二特征的第三向量；
○生成检查所述第三装配单元以找到所述缺陷的提示；以及
○响应于对来自所述第三装配单元的所述缺陷的缺乏的确认，将所述第一特征与所述缺陷解除关联。


15.根据权利要求10所述的方法：
●还包括：
○向用户门户提供第一装配单元的第一检查图像；以及
○经由所述用户门户接收对在所述第一检查图像中的感兴趣区域的手动选择，在所述第一检查图像中的所述感兴趣区域由用户预测为描绘在所述第一装配单元中的所述缺陷的源；
●其中，检测在所述一组检查图像中的特征集合包括对于在所述一组检查图像中的每个检查图像：
○将所述感兴趣区域从所述第一检查图像投射到所述检查图像上；以及
○从在所述检查图像中的所述感兴趣区域提取所述特征集合；
●其中，将向量分组到向量组内包括基于在所述多维特征空间中与所述第一向量的接近度来将在所述向量集合中的向量分组到所述第一向量组内；以及
●还包括：
○预测在与所述第一向量组中的向量相关联的第三装配单元子集中的所述缺陷的存在，所述第三装配单元子集被包含在所述装配单元集合中并且不同于所述第一装配单元子集；以及
○生成检查所述第三装配单元子集以找到所述缺陷的提示。


16.根据权利要求10所述的方法，还包括：
●选择代表所述第一向量组并与在所述装配单元集合中的第一装配单元相关联的第一向量；
●选择代表所述第二向量组并与在所述装配单元集合中的第二装配单元相关联的第二向量；
●检测在所述第一检查图像和所述第二检查图像中的公共参考特征；以及
●在计算设备上执行的用户门户内，在渲染所述第一检查图像和渲染所述第二检查图像之间切换，所述第一检查图像和所述第二检查图像在所述用户门户内通过所述公共参考特征被实质上对准。


17.根据权利要求16所述的方法，其中，在渲染所述第一检查图像和渲染所述第二检查图像之间切换包括在所述用户门户内为从渲染所述第一检查图像到渲染所述第二检查图像的过渡设置动画，所述第二检查图像通过所述公共参考特征在旋转和定向上与所述第一检查图像实质上对准。


18.一种用于预测制造缺陷的方法，所述方法包括：
●访问在特定装配类型的装配单元集合的生产期间由光学检查站记录的所述装配单元集合的一组检查图像；
●对于在所述一组检查图像中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述向量集合中的邻近向量分组到向量组集合内；以及
●用在所述装配单元集合中的与在所述向量组集合中的第一向量组中的向量相关联的第一装配单元子集的检查结果中指示的缺陷来标注所述第一向量组，所述缺陷对应于所述特定装配类型的特定功能；
●基于在所述装配单元集合中的与在所述向量组集合中的第二向量组中的向量相关联的第二装配单元子集的检查结果，用所述缺陷的缺乏来标注所述第二向量组；
●识别在所述第二向量组中的向量共有的并且从所述第一向量组中的向量排除的模型特征集合；以及
●将所述模型特征集合与所述特定装配类型的特定功能的正确操作关联起来。


19.根据权利要求18所述的方法：
●其中，识别所述模型特征集合包括检测在所述第二向量组中表示的所述模型特征集合中的特定特征的范围，该特定特征的范围与在所述第一向量组中表示的相应特征的范围不同；
●其中，将所述模型特征集合与所述特定功能的充分操作关联起来包括将在所述模型特征集合中的所述特定特征的所述范围与所述特定功能的充分操作关联起来；以及
●还包括：
○识别表示所述特定特征的所述范围的在所述第二向量组中的向量子集；
○在对应于所述向量子集的装配单元的检查图像的子集中定位所述特定特征；
○将在所述检查图像的子集中的所述特定特征的位置的差异转换成尺寸；以及
○将所述尺寸存储为制造公差。


20.根据权利要求18所述的方法：
●其中，访问所述一组检查图像包括访问包括在第一时间段内由所述光学检查站记录的数字彩色摄影图像的所述一组检查图像；以及
●还包括：
○接收在所述第一时间段之后的第二时间由...

【专利技术属性】
技术研发人员：塞缪尔·布鲁斯·韦斯，安娜卡特里娜·谢德列茨基，西蒙·科兹罗夫，安娜·乌林，米哈伊尔·奥库涅夫，伊萨克·苏金，
申请(专利权)人：英卓美特公司，
类型：发明
国别省市：美国;US