本发明专利技术提出一种针对姿态多样性物体缺陷的二阶段异常检测方法，包括，获取待检测的图像，将图像输入空间变换网络，进行图像内容的姿态校正；将校正的图像利用训练好的自编码器模型进行特征提取，获取高层次特征；在高层次特征和预先构建的核心子集库中的进行特征匹配，并通过最近邻算法计算同一位置的差异得分；通过差异得分输出异常分数和异常图像。通过本发明专利技术提出的方法，提高了异常样本的检出率。率。率。
【技术实现步骤摘要】
一种针对姿态多样性物体缺陷的二阶段异常检测方法
[0001]本专利技术属于视觉图像领域。
技术介绍
[0002]异常检测是指针对不匹配预期模式或特定范围内的内容、事件或观测值的识别，异常也通常称为离群值、噪音、偏差、例外。在视觉图像领域的异常检测任务中，通常假设在训练阶段能够获取大量正常（无异常）的样本，而测试阶段可以筛选出与正常样本差异较大的异常样本或缺陷样本。
[0003]随着机械自动化水平的不断提高和产品智能化不断普及的趋势，人们对于产品细节的要求越来越高。带有微小瑕疵的产品往往会给使用者的体验带来不好的影响，针对微波瑕疵即异常的检测成为产品质量检验的必备环节。许多基于机器学习的方法开始研究如何通过大量的数据样本，训练出高效可靠的模型，用于自动识别异常信息。然而在现实场景中，正常图像样本数据的获取过程相对容易，正常图像样本的数量和多样性也较多，但包含异常的图像数据并不常见。更重要的是，期望收集到所有类型的异常数据不太现实，往往只能获得少量异常样本示例。这种数据的分布偏差，对于检测异常样本的任务带来了很大的困难。有研究学者提出了异常检测的概念，异常检测是一种在训练阶段仅需要正常数据，在测试阶段却可以识别那些在正常数据中从未出现过的异常的手段，期望能够快速且高准确率地检测出异常。
[0004]相比于普通的分类任务，异常检测任务本身附带隐含的样本局限性，即正常类别样本与异常类别样本的分布是极度不均衡的。在计算机视觉领域，异常检测任务通常假设在训练阶段能够给出大量正常（无缺陷）样本，而测试阶段出现的样本集合中可能包含与正常样本差异较大的缺陷样本目前主流方案通常是基于特征空间的方法，通过正常样本与缺陷样本特征分布之间的差异来判断是否出现异常数据。首先使用成熟的特征提取模型（比如 ImageNet 数据集训练的卷积神经网络模型）对输入数据进行特征抽取，并使用高斯混合模型对特征分布进行建模。对于测试数据，当提取出来的特征在高斯混合模型中获得较低概率的样本时将会被认为是异常样本。从现有技术路线来看，近几年已经有若干工作在 MVTec AD 数据集上取得了较好的效果，部分方法使用 ResNet 网络架构作为模型基础，使用有最大表达力的正常区块特征存储库，在实现高精度的情况下同时加快推理速度。相关方法的核心思想在于，在方案中确保最大化可用的测试时段的正常信息（nominal information），降低模型相对于 ImageNet 数据集中分类类别的偏置信息，同时保持高的推理速度。在相关技术中，通常会使用到数据增广、特征多样性探索和预训练模型等成熟技术，最大程度利用已有的特征空间信息对异常缺陷的分布进行建模。
[0005]基于自编码器的异常检测方式，通过自编码器获取正常数据的特征信息，构成一个特征池，在测试阶段输入图像，得到提取的特征与特征池中最邻近特征之间的差异，依据差异大小确定是否存在异常及异常区域。这种方式对于相差很大的异常可以成功，但是对
于相似度很高的异常，效果比较差，究其原因，是因为在训练阶段，仅包含正常样本，测试阶段提取到的特征没有异常分布的因素在里面，导致对于相似异常的样本，提取到的特征无法将其区分开来。同时对于姿态变化很大的图像数据，使用自编码器提取的特征在图像同一位置没有趋于同一分布，其正常图像的内部差异过大，导致在测试阶段，不同姿态图像获取的特征差异过大，无法对齐，异常特征与姿态特征混杂，在计算异常差异过程中异常特征不突出，造成异常检测低效。
[0006]使用数据增广（Data Augmentation）可以有效地增加数据样本的多样性，扩充其特征表示所覆盖的特征空间。然而，针对原始图像的数据增广在扩充能力上有限，无法覆盖实际应用中物体姿态随意摆放的多样性，导致基于当前数据样本训练得到的异常检测模型的鲁棒性无法适应更加广阔的实际应用场景。
技术实现思路
[0007]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0008]为此，本专利技术的目的在于提出一种针对姿态多样性物体缺陷的二阶段异常检测方法，用于提高异常样本的检出率。
[0009]为达上述目的，本专利技术第一方面实施例提出了一种针对姿态多样性物体缺陷的二阶段异常检测方法，包括：获取待检测的图像，将所述图像输入空间变换网络，进行图像内容的姿态校正；将校正的图像利用训练好的自编码器模型进行特征提取，获取高层次特征；在所述高层次特征和预先构建的核心子集库中的进行特征匹配，并通过最近邻算法计算同一位置的差异得分；通过所述差异得分输出异常分数和异常图像。
[0010]另外，根据本专利技术上述实施例的一种针对姿态多样性物体缺陷的二阶段异常检测方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述将所述图像输入空间变换子网络，进行图像内容的姿态校正，包括：将所述图像输入空间转换器；通过定位网络采用卷积操作提取特征，根据提取到的特征通过隐藏的网络层推理出空间变换的参数，由格点生成器根据参数得到变换前后像素点坐标的对应关系；使用采样器以双线性插值的方式，通过变换前后像素点坐标的对应关系生成经过空间变换之后的图像。
[0011]进一步地，在本专利技术的一个实施例中，在将校正的图像利用训练好的自编码器模型进行特征提取之前，还包括：获取原始图像的正常样本集，通过对所述正常样本集进行模拟异常生成异常样本集；通过空间变换网络对所述正常样本集和所述异常样本集进行位置矫正，并将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，获取完成的自编码器模型；
将所述正常样本集输入自编码器模型进行特征提取，并通过提取的特征进行核心子集库的构建。
[0012]进一步地，在本专利技术的一个实施例中，所述将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，包括：S1：定义当前异常检测方法的训练数据集合为S，训练数据数量为N；S2：选择一张图像Image_i = Image_i∈S,i ∈{1，N}；S3：随机裁剪所述图像的一个矩形区域rect_ik = Crop(Image_i, l_k, t_k, r_k, b_k)，其中，Crop是裁剪操作，l_k, t_k, r_k, b_k 表示第k个裁剪矩形框的左上、右下两个顶点；S4：对所述图像随机进行数据增广rect_ik
′ꢀ
= Aug_m(rect_ik)，其中 ，Aug_m为一个集合，所述集合中包括比例缩放、长宽比调整、旋转、平移；S5：在所述集合中随机一张图像Image_j（Image_j∈S,j∈{1，N}）,将所述矩形区域的图像随机粘贴到 Image_j 上：Syn_image_ik_j = Syn(rect_ik
′
, Image_j)其中 ，Syn 表示泊松融合方式；S6：不断循环S1
‑
S5，将生成的模拟异常图像和集合S进行混合，构成新的训练数据集合Y，使用集合Y作为新的训练数据集合，进行后续模型的训练。
[0013]进一步地，在本专利技术的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种针对姿态多样性物体缺陷的二阶段异常检测方法，其特征在于，包括以下步骤：获取待检测的图像，将所述图像输入空间变换网络，进行图像内容的姿态校正；将校正的图像利用训练好的自编码器模型进行特征提取，获取高层次特征；在所述高层次特征和预先构建的核心子集库中的进行特征匹配，并通过最近邻算法计算同一位置的差异得分；通过所述差异得分输出异常分数和异常图像。2.根据权利要求1所述的方法，其特征在于，所述将所述图像输入空间变换子网络，进行图像内容的姿态校正，包括：将所述图像输入空间转换器；通过定位网络采用卷积操作提取特征，根据提取到的特征通过隐藏的网络层推理出空间变换的参数，由格点生成器根据参数得到变换前后像素点坐标的对应关系；使用采样器以双线性插值的方式，通过变换前后像素点坐标的对应关系生成经过空间变换之后的图像。3.根据权利要求1所述的方法，其特征在于，在将校正的图像利用训练好的自编码器模型进行特征提取之前，还包括：获取原始图像的正常样本集，通过对所述正常样本集进行模拟异常生成异常样本集；通过空间变换网络对所述正常样本集和所述异常样本集进行位置矫正，并将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，获取完成的自编码器模型；将所述正常样本集输入自编码器模型进行特征提取，并通过提取的特征进行核心子集库的构建。4.根据权利要求3所述的方法，其特征在于，所述将进行位置矫正后的正常样本集和异常样本集作为训练数据集进行初始自编码器模型的训练，包括：S1：定义当前异常检测方法的训练数据集合为S，训练数据数量为N；S2：选择一张图像Image_i = Image_i∈S,i ∈{1，N}；S3：随机裁剪所述图像的一个矩形区域rect_ik = Crop(Image_i, l_k, t_k, r_k, b_k)，其中，Crop是裁剪操作，l_k, t_k, r_k, b_k 表示第k个裁剪矩形框的左上、右下两个顶点；S4：对所述图像随机进行数据增广rect_ik
′ꢀ
= Aug_m(rect_ik)，其中 ，Aug_m为一个集合，所述集合中包括比例缩放、长宽比调整、旋转、平移；S5：在所述集合中随机一张图像Image_j（Image_j∈S,j∈{1，N}）,将所述矩形区域的图像随机粘贴到 Image_j 上：Syn_image_ik_j = Syn(rect_ik
′
, Image_j)其中 ，Syn 表示泊松融合方式；S6：不断循环S1
‑
S5，将生成的模拟异常图像和集合S进行混合，构成新的训练数据集合Y，使用集合Y作为新的训练数据集合，进行后续模型的训练。5.根据权利要求1所述的方法，其特征在于，在通过所述差异得分输出异常分数和异常图像之后，还包括：...
【专利技术属性】
技术研发人员：丁贵广，申耀华，陈凯，陈仕江，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。