一种图像处理方法及装置制造方法及图纸

本公开涉及一种图像处理方法，用于对输入图像进行分割，包括：获取所述输入图像；使用图像分割模型，对所述输入图像进行处理；输出经处理后的输出图像；其中，所述图像分割模型是嵌入全局特征获取模块的第一卷积神经网络，并且，所述全局特征获取模块嵌入所述第一卷积神经网络的卷积层与池化层之间。根据本公开，提供一种图像分割方法，可以在更大视野上对图像进行分割，对于目标物较大的情形更为有效。对于目标物较大的情形更为有效。对于目标物较大的情形更为有效。

【技术实现步骤摘要】
一种图像处理方法及装置


[0001]本公开涉及图像处理领域，具体地，本公开涉及一种对图像中的特定对象进行分割的处理方法和装置。

技术介绍

[0002]对图像进行分割是图像处理科学的重要任务，卷积神经网络是重要的图像分割工具，但是，对于图像中大尺寸的对象，单层卷积仅能感受局部的视野，为感受更大视野，仅能通过叠加多个卷积层，这样造成效率很低。

技术实现思路

[0003]有鉴于此，本公开提供一种图像处理方法和装置。
[0004]根据本公开的示例性实施例，一种图像处理方法，用于对输入图像进行分割，包括：获取所述输入图像；使用图像分割模型，对所述输入图像进行处理；输出经处理后的输出图像；其中，所述图像分割模型是嵌入全局特征获取模块的第一卷积神经网络，并且，所述全局特征获取模块嵌入所述第一卷积神经网络的卷积层与池化层之间。
[0005]根据本公开的示例性实施例，所述第一卷积神经网络是由下采样层和上采样层构成的U型卷积神经网络。
[0006]根据本公开的示例性实施例，所述全局特征获取模块对特征从坐标空间映射到交互空间，使用图卷积网络进一步推理来获取全局特征，最后反映射回坐标空间。
[0007]根据本公开的示例性实施例，所述全局特征获取模块是GloRe单元。
[0008]根据本公开的示例性实施例，所述U型卷积神经网络是UNet模型，所述图像分割模型的下采样层由五组卷积层组和一个GloRe单元组成，其中，GloRe单元插入第一个卷积层组和第二个卷积层组之间。
[0009]根据本公开的示例性实施例，在获取输入图像前，还包括：获取第一图像；对所述第一图像进行缩放，得到第二图像；将所述第二图像采用滑动窗口进行分块操作，得到多个输入图像；得到所述输出图像后，还包括：对每个输入图像得到的输出图像进行拼接，得到分割图像。
[0010]根据本公开的示例性实施例，一种图像处理装置，其特征在于，包括：至少一个处理器；计算机存储介质，存储有计算机程序，所述计算机程序在被所述至少一个处理器执行时实现本公开实施例中的方法。
[0011]根据本公开的示例性实施例，一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在被处理器执行时实现本公开实施例中的方法。
[0012]根据本公开的示例性实施例，一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现本公开实施例中的方法。
[0013]根据本公开提供的图像处理方法，可以对图像中较大的对象有效进行分割。
附图说明
[0014]下面将通过参照附图详细描述本专利技术的优选实施例，使本领域的普通技术人员更清楚本专利技术的上述及其它特征和优点，附图中：
[0015]图1为本公开示例性的基于嵌入图卷积语义分割的金属表面瑕疵检测方法的流程图；
[0016]图2为本公开示例性实施例中预处理后的部分数据样本；
[0017]图3为本公开示例性实施例中图卷积GloRe方法的原理图；
[0018]图4为本公开示例性实施例中基于嵌入图卷积的UNet网络模型图；
[0019]图5为本公开示例性实施例中部分瑕疵预测结果图；
具体实施方式
[0020]为使本公开的目的、技术方案和优点更加清楚，以下举实施例对本公开进一步详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
[0021]在一个示例性的实施例中，本公开的一种图像处理方法，用于对输入图像进行分割，包括：获取所述输入图像；使用图像分割模型，对所述输入图像进行处理；输出经处理后的输出图像；其中，图像分割模型是嵌入全局特征获取模块的第一卷积神经网络，并且，全局特征获取模块嵌入所述第一卷积神经网络的卷积层与池化层之间。加入全局特征获取模块是重要的，可以克服卷积神经网络每个卷积层视野较小的问题，可以高效的完成较大尺寸对象的分割问题，避免了叠加多个卷积层来获取较大感受野。这里，全局特征获取模块插入卷积层和池化层之间是重要的，以在池化前获取全局的信息。全局获取模块可以有多种，只要其能获取各个模块间的关系，利于获取全局信息即可。
[0022]在一个示例性的实施例中，第一卷积神经网络是由下采样层和上采样层构成的U型卷积神经网络。U型卷积神经网络包括编码(下采样)和解码(上采样)的过程，最后得到特征图。在编码的过程中，逐步对图像进行卷积和池化，得到特征图，再反向的解码，最终形成一个和原始图像相同大小的黑白图像，用于对不同对象进行区分，得到分割图像。示例性的，可使用UNet模型。当然，例如DeeplabV3、DeeplabV3+等模型也可以替代UNet模型，其中UNet模型具有简单、高效、推理速度快、容易构建等优点使得模型部署更简单，监测速度更快。
[0023]在一个示例性的实施例中，全局特征获取模块对特征从坐标空间映射到交互空间，使用图卷积网络进一步推理来获取全局特征，最后反映射回坐标空间。示例性的可使用GloRe单元，基本思想是利用图卷积GloRe 单元将感兴趣的特征从坐标空间投影到交互空间，进行关系推理，然后再返回到原始坐标空间，这样，在网络模型的早期阶段就可以进行关系推理。其它可以获得全局特征的插件也是可以的，只要其能够在该步骤中获取各部分之间的关系。在一个示例性的实施例中，U型卷积神经网络是UNet 模型，UNet对于小数据集特别有效，可以使用较少的样本进行训练。图像分割模型的下采样层由五组卷积层组和一个GloRe单元组成，其中， GloRe单元插入第一个卷积层组和第二个卷积层组之间。插入这里可以在较早时间获取全局特征，当然，其它层之间的插入也是可以的，在哪些层插入取决于网络的具体形式和识别对象的特点。
[0024]在一个示例性实施例中，其中每个卷积层组包括两个卷积层和一个池化层，每经过一次下采样，通道数翻倍。这里的数量是举例性质的，其它数量的卷积层也是可以的，根据实际情况进行选择。
[0025]在一个示例性实施例中，在获取输入图像前还包括：获取第一图像；对第一图像进行缩放，得到第二图像；将所述第二图像采用滑动窗口进行分块操作，得到多个输入图像；得到所述输出图像后还包括：对每个输入图像得到的输出图像进行拼接，得到分割图像。这里首先对图像进行预处理，预处理的图像缩放便于后续操作，对于较大图像，本实施例先进行分块，对每块分别进行处理，再对各块进行拼接，得到最终的分割图像。
[0026]在一个示例性的实施例中，特别参见图1，将图像处理方法应用于金属表面图像处理
，即，使用基于嵌入图卷积语义分割来进行金属表面的瑕疵检测。在金属材料(例如铝型材、钢材、铁轨、金属零件等) 的生产过程中，由于各种不确定因素可能会导致其表面随机性地产生一些瑕疵，常见的瑕疵有擦花、凸粉、脏点、油渣等。这些瑕疵的存在不仅影响金属材料的外观，也影响到这些材料的正常使用，某些瑕疵会导致产品的等级降低，直接影响到企业的经济效益，因此金属材料的瑕疵检测在金属材料的生产中起着至关重要的作用。目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，用于对输入图像进行分割，其特征在于，包括：获取所述输入图像；使用图像分割模型，对所述输入图像进行处理；输出经处理后的输出图像；其中，所述图像分割模型是嵌入全局特征获取模块的第一卷积神经网络，并且，所述全局特征获取模块嵌入所述第一卷积神经网络的卷积层与池化层之间。2.根据权利要求1所述的图像处理方法，所述第一卷积神经网络是由下采样层和上采样层构成的U型卷积神经网络。3.根据权利要求2所述的图像处理方法，所述全局特征获取模块对特征从坐标空间映射到交互空间，使用图卷积网络进一步推理来获取全局特征，最后反映射回坐标空间。4.根据权利要求3所述的图像处理方法，所述全局特征获取模块是GloRe单元。5.根据权利要求4所述的图像处理方法，所述U型卷积神经网络是UNet模型，所述图像分割模型的下采样层由五组卷积层组和一个GloRe单元组成，其中，GloRe单元插入第一个卷积层组和第二个卷积层组之间。6.根据权利要求5所述的图像处理方...

【专利技术属性】
技术研发人员：王孝星，张庆，田晓伟，纪海晶，李岳阳，
申请(专利权)人：西门子爱克斯射线真空技术无锡有限公司，
类型：发明
国别省市：