用于缺陷检测的分层图像分解制造技术

本发明专利技术的各方面公开了一种用于在推理时改进高分辨率图像中的对象检测的方法、计算机程序产品和系统。该方法包括接收高分辨率图像的一个或多个处理器。该方法还包括一个或多个处理器将所接收的图像分解为分层组织的图像层。每层包括接收的图像的至少一个图像块。每个图像块具有适合于基线图像识别算法的对应分辨率。该方法还包括一个或多个处理器将基线算法应用于每一层的每个图像块。该方法还包括一个或多个处理器执行基线算法应用的结果到层的图像块的结果聚合。层的图像块的结果聚合。层的图像块的结果聚合。

【技术实现步骤摘要】
用于缺陷检测的分层图像分解

技术介绍

[0001]本专利技术一般涉及对象检测领域，并且更具体地涉及高分辨率图像中的对象检测。
[0002]研究组织和企业在实现AI(人工智能)驱动的应用方面已经做出了巨大的努力，以便使过程自动化、实现更加人性化的用户界面或者帮助分析大量数据。深度学习方法已经证明了显著的成功并且已经胜过经典的机器学习解决方案。两个主要因素，主要是性能计算基础设施的可用性和大的标记数据集的可用性，已经推动了深度学习技术的成功。深度学习方法经常用于图像分类、对象检测、视频分析、文本翻译和音频类型分类，仅举几个例子。特别地，利用像素数据操作的最近和更高级的模型可以利用卷积神经网络。由此，处理图像数据的深度学习方法可以被分成三个主要任务：a)分类，b)检测，和c)分割。所有三个任务共享单个输入，但是它们定义了该方法必须产生什么。对于分类，预测单个类标签(例如，示出看门狗的图像)，为了检测，产生边界框(例如，看门狗位于矩形[X，Y，dX，dY])中；对于分割，预测属于预期目标的像素(例如，像素p1、p2、p3、...、pN表示看门狗)。
[0003]自动缺陷检测定义了对象检测的一般任务的子集，其中目标是标识(检测和/或分割)工业图像上的缺陷。应用可以包括来自各种域的使用情况，包括医学域(例如，根据X射线扫描来标识人类的解剖结构)、材料制造业(例如，标识所生产的钢铁或其他产品上的缺陷)或者民事基础设施(例如，桥梁或高楼)上的缺陷检测。

技术实现思路

[0004]本专利技术的各方面公开了一种用于以推理时间改进高分辨率图像中的对象检测的方法、计算机程序产品和系统。该方法包括接收高分辨率图像的一个或多个处理器。该方法还包括一个或多个处理器将所接收的图像分解为图像的分层组织的层。每层包括所接收的图像的至少一个图像块。每个图像块具有适合于基线图像识别算法的对应分辨率。该方法还包括一个或多个处理器将基线算法应用于每层的每个图像块。该方法还包括一个或多个处理器对将基线算法应用于层的图像块的结果执行结果聚合。
[0005]在另一实施例中，执行基线算法应用的结果到层的图像块的结果聚合还包括一个或多个处理器聚合每层的基线算法的结果，一个或多个处理器执行基线算法的结果与相邻的成对层比较，以及一个或多个处理器根据成对层比较执行基线算法结果的分层聚合。
附图说明
[0006]应当注意，本专利技术的实施例是参考不同的主题来描述的。特别地，一些实施例是参考方法类型权利要求来描述的，而其他实施例是参考装置类型权利要求来描述的。然而，本领域技术人员将从以上和以下描述中了解到，除非另外指出，除了属于一种类型的主题的特征的任何组合之外，与不同主题相关的特征之间的任何组合，特别是方法类型权利要求的特征与装置类型权利要求的特征之间的任何组合，也被认为是在本文件内公开的。
[0007]从下文将描述的实施例的示例中，本专利技术的上述方面和其它方面是显而易见的，并且将参考实施例的示例进行解释，但是本专利技术不限于此。将仅通过示例并参考以下附图
来描述本专利技术的优选实施例。
[0008]图1描绘了根据本专利技术的实施例的用于以推理时间改进高分辨率图像中的对象检测的方法的实施例的框图。
[0009]图2描述了根据本专利技术的实施例的框图，其中原始高分辨率图像被用作所述处理的基础。
[0010]图3描绘了根据本专利技术的实施例的详述将输入图像块集合馈送到对象识别基线算法的框图。
[0011]图4描述了根据本专利技术实施例的详细描述用于产生最终结果的成对层比较和最终取并聚合步骤的框图。
[0012]图5描绘了根据本专利技术实施例的在区块的边缘处进行处理的边界区域的图。
[0013]图6描绘根据本专利技术的实施例的用于改进推理时间时高分辨率图像中的对象检测的对象辨识系统的框图。
[0014]图7描绘根据本专利技术的实施例的包括本专利技术的对象识别系统的计算系统的实施例的框图。
具体实施方式
[0015]本专利技术的实施例认识到，即使在使用最新的深度学习方法时，对象检测的许多用例也定义了非常具有挑战性的问题实例。原因是多方面的，并且可以通过光的变化来解释，光的变化包括但不限于：不同的光条件、不同的图像分辨率、用于捕获图像的不同相机(例如，不同的镜头失真、相机的灵敏度(ISO)等)、不同的视点、不同的缩放水平、来自障碍物(例如，桥梁的柱子前方的树)的遮挡、以及不同的背景(例如，与两个桥梁不同的外观)、背景中不期望的障碍物对象(例如，桥梁附近的人、汽车和船，其中桥梁及其缺陷是主要主体)。另外，许多缺陷不具有清晰的边界，这使得缺陷难以作为对象被检测到。
[0016]本专利技术的进一步实施例认识到传统的深度学习方法通常在相对较小的图像大小上操作。例如，在CIFAR
‑
10数据集上评估的最先进的图像分类算法使用形状为32乘以32像素的输入。此外，广泛的图像网络提供不同的图像大小，大多数算法遵循统一的训练和评估设置，其中图像被调整为224乘以224像素的固定大小。对象检测算法，例如掩膜R
‑
CNN(基于区域的卷积神经网络)在1024像素的固定尺度上运行。然而，与此相反，本专利技术的实施例认识到高分辨率图像如今几乎可以免费获得；许多相机支持2K、4K和8K模式，也有支持16K到64K的高端相机。在这种设置下捕获图像会导致处理像素宽度比检测器原始公式的预期大小大2到64倍的图像。
[0017]本专利技术的实施例认识到缺陷主要是小特征，其仅位于高分辨率图像中的一些稀疏位置处。此后，简单地将图像调整大小到较小的分辨率是有问题的，因为那样会损失分辨率的实质因素。另外，将一个高分辨率图像分块为单独处理的较小图像确实有助于保持高分辨率。然而，分块伴随有处理重叠区域(例如，一个块上的部分可见缺陷)所必需的额外开销，且其将一个图像的工作负荷扩展到从所述图像提取的块的数目，从而导致较大工作负荷。本专利技术的实施例认识到，如在深度学习方法中所要求的，为了得到深度学习方法的良好泛化行为，重要的是训练和测试图像遵循相同的统计。通过不同的分块设置进行实验，并确保训练匹配中一个图像块的统计，测试场景中图像块的统计正在成为重要的任务。此外，本
专利技术的实施例认识到触发模型的再训练的在训练域中应用的Modifi阳离子在计算上非常密集，因此是无效的和昂贵的。
[0018]本专利技术的附加实施例认识到，为了实现第一开发周期，通常已知的对象标识算法被反复地重复使用。算法通常依赖于固定的图像分辨率。然而，相机分辨率迅速增加，使得已知对象标识算法的假定图像分辨率可能落后于其开发。另外，即使对象标识算法将跟上越来越高分辨率相机的可用性，本专利技术的实施例也认识到，用于重新训练现有神经网络及其超参数的重新配置的计算工作将是巨大的，这被认为是传统方法的关键缺点。为了克服这种死锁情况，本专利技术的实施例认识到需要提供立体对象标识能力，而不需要重新训练现有的图像识别算法。
[0019]在本说明书的上下文中，可以使用以下惯例、术语和/或表达。
[0020]术语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：由一个或多个处理器接收高分辨率图像；由一个或多个处理器将所接收的所述图像分解为图像的分层组织的层，其中每层包括所接收的所述图像的至少一个图像块，并且其中所述图像块中的每个图像块具有适合于基线图像识别算法的对应分辨率；由一个或多个处理器将所述基线算法应用于每层的所述图像块中的每个图像块；以及由一个或多个处理器对将所述基线算法应用于所述层的所述图像块的结果执行结果聚合。2.根据权利要求1所述的方法，其中对将所述基线算法应用于所述层的所述图像块的结果执行所述结果聚合还包括：由一个或多个处理器按层聚合所述基线算法的结果；由一个或多个处理器对所述基线算法在相邻的成对层的结果执行成对层比较；以及由一个或多个处理器根据所述成对层比较来执行所述基线算法结果的分层聚合。3.根据权利要求2所述的方法，其中对将所述基线算法应用于所述层的所述图像块的结果执行所述结果聚合还包括：由一个或多个处理器提取对所识别的对象的形状进行编码的多边形；以及由一个或多个处理器将用于所述图像块的局部多边形坐标映射至用于具有最高对应分辨率的所述图像块的全局坐标，由此压缩所述基线算法的结果中具有较高分辨率的多边形的形状，使得经压缩的所述形状与具有较低分辨率的块中的形状是相当的。4.根据权利要求3所述的方法，还包括：由一个或多个处理器消除相应层的相邻图像块边界之间的重叠区域；以及由一个或多个处理器将所述相邻图像块的检测到的部分对象合并到一个检测到的对象中。5.根据权利要求4所述的方法，其中，执行成对层比较还包括：由一个或多个处理器比较相邻层的图像块的经压缩的相关形状；以及由一个或多个处理器基于对所述经压缩的相关形状的所述比较来构建形状的交集，由此构建N个中间图像层，其中N比分层组织的层的数目小1。6.根据权利要求5所...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：