用于视觉检查的图像采样制造技术

一种用于对图像进行采样的方法包括：接收自动成像设备在第一检查周期期间生成的第一图像组，以及将最初由该第一图像组组成的图像库存储在存储器中。然后在相应的检查周期期间依次接收多个新图像组(302)。在接收这些新图像组(302)的同时，更新该存储器中存储的该图像库。更新该图像库包括，针对每个新图像组，将分布在该新图像组中的一定数量的图像添加到该图像库，并从该图像库中移除分布在该图像库的当前实例中的相同数量的图像(308)。该图像库中被重写的图像的数量从一个检查周期到下一个检查周期减小。

【技术实现步骤摘要】
【国外来华专利技术】用于视觉检查的图像采样相关申请的交叉引用本申请要求于2018年7月26日提交的美国临时专利申请号62/736,975的优先权，该专利申请的全部内容通过援引并入本文。
本申请总体上涉及自动视觉检查系统，诸如那些出于质量控制目的用于分析药物产品的系统，并且更具体地涉及用于对自动成像设备生成的图像进行采样的技术。
技术介绍
可以通过人工(即，通过人眼)的方式检查药物产品，也可以通过自动视觉检查系统更有效地检查药物产品。对于自动系统，视觉检查配方(算法等)可能比较复杂，并且检查配方的开发可能需要许多样品图像，以便对自动检查过程进行微调。特别地，自动视觉检查系统可以采用机器学习模型，如果要满足严格的质量控制标准，则必须使用大量的训练图像来训练这些机器学习模型。在初始配方开发之后，可以在运行时操作期间(例如，在处理生产批次时)保存额外的图像，并将其用于对检查配方进行微调和/或故障排除。对于单个生产批次这些额外的图像可能有数百万个，从而导致了巨大的存储需求。例如，如果八个相机各自捕获一个样品的20个图像，一个生产批次包含500,000个样品，并且每个图像需要4兆字节(MB)的存储空间，则仅一个生产批次的完整图像组就需要320太字节(TB)的存储空间。为了减少存储需求，已经使用了多种不同采样技术。例如，可以仅保存和分析倒数(最近的)X个图像，或者可以仅保存和分析每Y个图像中的一个图像。前一种技术(仅保存最近的X个图像)可能是有利的，因为它基本上确保了将整套样本保存下来，即使该批次的视觉检查被过早地中断也是如此。但是，该技术并未贯穿整个批次保存图像，例如，如果样品和/或操作条件在整个批次检查过程中发生变化，则可能会出现问题。另一方面，后一种技术(保存每Y个图像中的一个图像)贯穿整个批次收集样本，但是如果该批次的检验被过早地中断，则可能无法提供整套样本。这是有问题的，因为常常会过早地中断检查过程(例如，如果质量控制程序表明存在太多的假正例(falsepositive)和/或假负例(falsenegative))，尤其是在为新产品开发新算法时。因此，需要保留上述两种方法的优点的图像采样技术，即，贯穿整个批次获得样本，同时即使在检查过程的早期也具有整套样本。样本的多样性会允许在检查生产批次时对检查模型进行更有效的微调，而整套样本的可获得性会允许在检查过程被过早中断的情况下进行更有效的故障排除。
技术实现思路
本文描述的实施例涉及对自动视觉检查系统中生成的图像进行采样的常规技术进行改进的系统和方法。在自动视觉检查周期期间，首先将整套图像保存到图像库中(例如，通过保存前X个图像，其中X是整套的)。“整套”可以看作是例如充分地训练分类/预测模型或者充分地对此类模型进行微调或故障排除所需的某个最小数量的图像(或图像子组)。自动视觉检查系统的设计者可以相应地选择X的值。随着视觉检查过程的继续，图像库中的图像将以在整个检查过程中或基本在整个检查过程中满足(或基本满足)两个要求的方式逐步替换：(1)图像库包含整套图像(例如，一旦已经生成前X个图像，如果X是整套)；以及(2)图像库包含分布贯穿整个检验批次分布的图像(即，贯穿该批次到目前为止已检查的整个部分)。在一个这样的实施例中，当接收到第n个图像组时，将图像库中的每第n个图像替换为该第n个图像组的第n个图像，而图像库中的其他图像则保持不变。例如，如果整套是250个图像，则可以保存前250个图像中的所有图像。当得到图像251至图像500时，将所保存的图像的每第二个图像替换为图像251至图像500的每第二个图像(例如，使得编号为252的图像替换编号为2的图像，编号为254的图像替换编号为4的图像，编号为256的图像替换编号为256的图像，依此类推)。当得到图像501至图像750时，将所保存的图像的每第三个图像替换为图像501至图像750的每第三个图像(例如，使得编号为503的图像替换编号为3的图像，编号为506的图像替换编号为256的图像，依此类推)。例如，可以重复进行该采样过程，直到生成最后一组250个图像(或其某一部分)为止，或者可以在生成第250组图像的第250个图像之后修改该过程，等等。当使用这种技术时，图像库在每次迭代/历程之后提供了良好的图像分布，并且至少在第一次迭代/历程完成后就包含了整套图像。此外，即使在多次迭代/历程后，也会保有这些有用的特征。也可以使用该技术的变体。例如，可以替换图像库中的每第n个子组的两个或更多个图像(例如，其中各子组与不同产品样品或不同成像器视角等相对应)，而不是替换每第n个图像。附图说明本领域的技术人员将理解，本文描述的附图是出于说明的目的而包括的，而非限制本披露。附图不一定是按比例绘制，而是将重点放在说明本披露的原理上。应理解，在一些情况下，所描述的实施方式的不同方面可以被扩大或放大，以有助于理解所描述的实施方式。在附图中，贯穿各附图，相似的附图标记通常指代功能相似和/或结构相似的部件。图1是可以实施本文描述的图像采样技术的示例自动视觉检查系统的简化框图。图2A是示出了图1的自动视觉检查系统中可能生成的一系列相继图像组的示例的表格。图2B是示出了当接收到图2A的相继图像组时可以执行的对于图像库的一系列相继图像替换操作的示例的表格。图2C是示出了当接收到图2A的相继图像组并应用图2B的相继图像替换操作时图像库的一系列相继内容的示例的表格。图3是用于对自动成像设备生成的图像进行采样的示例算法的流程图。图4是用于对自动成像设备生成的图像进行采样的示例方法的流程图。具体实施方式以上介绍的以及在下文更详细地讨论的不同构思可以以多种方式中的任一种实施，并且所描述的构思不限于任何特定的实施方式。出于说明的目的，提供了实施方式的示例。图1是可以实施本文描述的图像采样技术的示例自动视觉检查系统100的简化框图。系统100包括成像设备102、通信联接到成像设备102的计算机104以及通过网络108通信联接到计算机104的数据库服务器106。网络108可以是单个通信网络，或者可以包括一种或多种类型的多个通信网络(例如，一个或多个有线和/或无线局域网(LAN)、和/或一个或多个有线和/或无线广域网(WAN)，诸如互联网)。成像设备102可以包括一个或多个成像器(例如，电荷耦合器件(CCD))以及光学系统(例如，一个或多个透镜，以及可能的一个或多个反射镜等)，它们被共同配置用于捕获用于视觉检查的样品的数字图像。被检查的样品(图1未示出)可以是能够表现出对特定应用重要的视觉属性或特征的任何东西。在药物情形中，例如，被检查的样品可以是盛有流体(例如，药物产品)的注射器、小瓶或其他容器，其中任何给定的流体可能包含或者不包含非期望的微粒(或具有某些视觉属性的微粒等)；和/或，被检查的样品可以是容器本身，其中任何给定的容器可能出现或不出现裂缝和/或其他缺陷。在这样的实施例中，视觉特征/属性对于例如满足质量控制标准的目的来说可能是关键的。这些样品可本文档来自技高网...

【技术保护点】
1.一种用于对自动成像设备生成的图像进行采样的计算机实施的方法，该方法包括：/n接收该自动成像设备在第一检查周期期间生成的第一图像组；/n将图像库存储在存储器中，该图像库最初由该第一图像组组成；/n依次接收该自动成像设备在多个后续检查周期期间生成的多个后续图像组；以及/n更新该存储器中存储的该图像库，其中，/n更新该存储器中存储的该图像库包括，针对每个后续图像组，将分布在该后续图像组中的j个图像添加到该图像库，并从该图像库中移除分布在该图像库的当前实例中的j个图像，j是大于零的整数，并且/n对于该多个后续图像组中的每个相继图像组，j减小。/n

【技术特征摘要】
【国外来华专利技术】20180926 US 62/736,9751.一种用于对自动成像设备生成的图像进行采样的计算机实施的方法，该方法包括：
接收该自动成像设备在第一检查周期期间生成的第一图像组；
将图像库存储在存储器中，该图像库最初由该第一图像组组成；
依次接收该自动成像设备在多个后续检查周期期间生成的多个后续图像组；以及
更新该存储器中存储的该图像库，其中，
更新该存储器中存储的该图像库包括，针对每个后续图像组，将分布在该后续图像组中的j个图像添加到该图像库，并从该图像库中移除分布在该图像库的当前实例中的j个图像，j是大于零的整数，并且
对于该多个后续图像组中的每个相继图像组，j减小。


2.如权利要求1所述的计算机实施的方法，其中，(i)该图像库、(ii)该第一图像组和(iii)该多个后续图像组中的每一个图像组各自都包括相同数量的图像。


3.如权利要求1或2所述的计算机实施的方法，其中：
接收第一图像组包括，接收该自动成像设备接续生成的第一组X个图像，X是大于1的整数；以及
依次接收该多个后续图像组包括，针对每个后续图像组，接收该自动成像设备接续生成的新的一组X个图像。


4.如权利要求1至3中任一项所述的计算机实施的方法，其中，更新该存储器中存储的该图像库包括，针对每个后续图像组，从该图像库中移除该图像库的当前实例中的每第n个图像，n是其间生成该后续图像组的检查周期的编号。


5.如权利要求1至4中任一项所述的计算机实施的方法，其中，更新该存储器中存储的该图像库包括，针对每个后续图像组，将该后续图像组中的每第n个图像添加到该图像库，并从该图像库中移除该图像库的当前实例中的每第n个图像，n是其间生成该后续图像组的检查周期的编号。


6.如权利要求1至3中任一项所述的计算机实施的方法，其中，更新该存储器中存储的该图像库包括，针对每个后续图像组，将该后续图像组中的每第n个子组的Y个图像添加到该图像库，并从该图像库中移除该图像库的当前实例中的每第n个子组的Y个图像，n是其间生成该后续图像组的检查周期的编号，Y是大于1的整数。


7.如权利要求1至6中任一项所述的计算机实施的方法，其中：
该存储器位于服务器内或通信联接到服务器；
接收该第一图像组包括，在计算机处接收该第一图像组；
将该图像库存储在该存储器中包括，通过网络将该第一图像组发送到该服务器，该服务器将该第一图像组存储在该存储器中；
依次接收该多个后续图像组包括，在该计算机处依次接收该多个后续图像组；以及
更新该存储器中存储的该图像库包括，针对每个后续图像组，
该服务器将分布在该后续图像组中的该j个图像添加到该图像库，以及
该服务器从该图像库中移除分布在该图像库的当前实例中的该j个图像。


8.如权利要求1或7所述的计算机实施的方法，其中：
接收第一图像组包括，接收该自动成像设备接续生成的第一组X个图像，X是大于1的整数；
依次接收该多个后续图像组包括，针对每个后续图像组，接收该自动成像设备接续生成的新的一组X个图像；以及
更新该存储器中存储的该图像库包括，针对每个后续图像组，将该后续图像组中的每第n个图像或图像子组添加到该图像库，并从该图像库中移除该图像库的当前实例中的每第n个图像或图像子组，n是其间生成该后续图像组的检查周期的编号。


9.一种自动视觉检查系统，包括：
自动成像设备，该自动成像设备包括一个或多个成像器并被配置用于捕获样品的图像；
存储器；以及
一个或多个处理器，该一个或多个处理器被配置用于：
接收该自动成像设备在第一检查周期期间生成的第一图像组，
将图像库存储在该存储器中，该图像库最初由该第一图像组组成，
依次接收该自动成像设备在多个后续检查周期期间生成的多个后续图像组，以及
更新该存储器中存储的该图像库，其中，
更新该存储器中存储的该图像库包括，针对每个后续图像组，将分布在该后续图像组中的j个图像添加到该图像库，并从该库中移除分布在该图像库的当前实例中的j个图像，j是大于零的整数，并且
对于该多个后续图像组中的每个相继图像组，j减小。


10.如权利要求9所述的系统，其中，(i)该图像库、(ii)该第一图像组和(iii)该多个后续图像组中的每一个图像组各自都包括相同数量的图像。

...

【专利技术属性】
技术研发人员：K·莱恩，
申请(专利权)人：安进公司，
类型：发明
国别省市：美国;US