改进图像分割学习方法和装置及使用其的测试方法和装置制造方法及图纸

一种用于改进图像分割的学习方法，包括步骤：(a)如果获得训练图像，则通过编码层获取第(1‑1)特征图至第(1‑K)特征图；(b)通过将H个编码滤波器的每个输出分别输入到第(3‑1)滤波器至第(3‑H)滤波器来获取第(3‑1)特征图至第(3‑H)特征图；(c)通过(i)允许各个H个解码滤波器分别使用第(3‑1)特征图至第(3‑H)特征图和从各个H个解码滤波器的各个先前解码滤波器获得的特征图或者通过(ii)允许与第(3‑1)滤波器至第(3‑H)滤波器无关的各个K‑H解码滤波器使用从各个K‑H解码滤波器的各个先前解码滤波器获得的特征图，执行顺序地获取第(2‑K)特征图至第(2‑1)特征图的过程；以及(d)调整CNN的参数。

Improvement of image segmentation learning method and device and test method and device using it

A learning method for improving image segmentation includes the following steps: (a) if the training image is obtained, the eigenvalues from (1 1) to (1 K) are obtained through the coding layer; (b) the eigenvalues from (3 1) to (3 H) are obtained by inputting each output of the H coding filters into (3 1) filters to (3 H) filters respectively; (c) the eigenvalues from (3 1) to (3 H) are obtained; (c) each H solution is allowed by (i). Code filters use (3 1) to (3 H) feature diagrams and feature diagrams obtained from each previous decoding filter of each H decoding filter, respectively, or by (ii) allowing K H decoding filters unrelated to (3 1) to (3 H) filters to use the feature diagrams obtained from each previous decoding filter of each K H decoding filter, and sequentially obtain them. The process of taking (2 K) feature map to (2 1) feature map and (d) adjusting the parameters of CNN.

【技术实现步骤摘要】
改进图像分割学习方法和装置及使用其的测试方法和装置
本专利技术涉及一种用于改进图像分割的学习方法和学习装置及使用它们的测试方法和测试装置，并且更具体地，涉及一种通过使用学习装置改进图像分割的学习方法及学习装置，以及使用它们的测试方法和测试装置，其中，学习装置包括：(i)编码层，具有通过对训练图像应用一个或多个卷积运算分别生成第(1-1)特征图至第(1-K)特征图的第(1-1)滤波器至第(1-K)滤波器中的每一个；(ii)解码层，具有通过对第(1-K)特征图应用一个或多个去卷积运算分别生成第(2-K)特征图至第(2-1)特征图的第(2-K)滤波器至第(2-1)滤波器中的每一个；以及(iii)中间层，具有分别布置于包括在编码层中的K个滤波器中的H个编码滤波器的每一个与包括在解码层中的K个滤波器中的H个解码滤波器的每一个之间的第(3-1)滤波器至第(3-H)滤波器中的每一个，所述学习方法包括以下步骤：(a)如果获得训练图像，则学习装置通过编码层获取第(1-1)特征图至第(1-K)特征图；(b)学习装置通过将H个编码滤波器的每个输出分别输入到第(3-1)滤波器至第(3-H)滤波器获取第(3-1)特征图至第(3-H)特征图；(c)通过(i)允许各个H个解码滤波器分别使用第(3-1)特征图至第(3-H)特征图和从各个H个解码滤波器的各个先前解码滤波器获得的特征图，或者通过(ii)允许与第(3-1)滤波器至第(3-H)滤波器无关的各个K-H解码滤波器使用从各个K-H解码滤波器的各个先前解码滤波器获得的特征图，学习装置执行顺序地获取第(2-K)特征图至第(2-1)特征图的过程；以及(d)通过利用地面真值(GT)标签图像与第(2-1)特征图之间的差异执行反向传播过程，学习装置调整第(2-1)滤波器至第(2-K)滤波器、第(3-1)滤波器至第(3-H)滤波器和第(1-1)滤波器至第(1-K)滤波器的至少一部分的参数。
技术介绍
深度卷积神经网络，或深度CNN，是深度学习领域显著发展的核心。尽管CNN在20世纪90年代已经被用于解决字符识别问题，但直到最近CNN才在机器学习中得到广泛应用。由于最近的研究，卷积神经网络(CNN)已经成为机器学习领域非常有用和强大的工具。例如，在2012年，深度CNN在年度软件竞赛ImageNet大规模视觉识别挑战赛中的表现明显优于其竞争对手，并赢得了比赛。因此，出现了使深度学习技术适应图像分割的新趋势。作为参考，图像分割可以包括将输入图像(例如，训练图像或测试图像)划分为多个语义片段并且产生具有清晰边界的一组语义片段以使得语义片段共同覆盖整个输入图像的过程。图像分割的结果是所谓的标签图像。图1是示出根据现有技术的能够执行图像分割的CNN的学习过程的图。参考图1，通过编码层中的多个滤波器(即卷积滤波器)对输入图像多次应用卷积运算，获取对应于输入图像(即训练图像)的特征图。然后，通过对特定特征图(即来自编码层的最终输出)多次应用去卷积运算，获得对应于输入图像的标签图像。详细地，通过卷积运算对输入图像进行编码以获得其对应的特征图并对来自编码层的最终输出进行解码以获得标签图像的CNN的配置被称为编码-解码网络，即U-Net。在编码过程期间，每当执行卷积运算时，输入图像的大小或其对应的特征图的大小可以减小到一半，而输入图像的通道数或其对应的特征图的通道数可以增加。这是为了通过缩小输入图像或其对应的特征图的大小来减少计算量，并通过增加的通道数来提取复杂图案。缩小大小的特征图不具有太多其高频区域，而是保留关于其低频区域的信息，所述低频区域表示输入图像的语义和详细部分，例如，天空、道路、建筑和汽车等。输入图像的这些有意义的部分用于通过在解码过程期间执行去卷积运算来推断标签图像。最近，已经努力以使用U-Net来改进图像分割过程的性能。因此，本专利技术的申请人旨在公开一种允许在解码过程中使用关于从编码层获得的特征图的信息的新方法，以便提高图像分割的性能。
技术实现思路
本专利技术的一个目的是提供一种在执行图像分割时有效地表示关于边缘的信息的方法。本专利技术的另一个目的是提供一种通过向解码器提供通过使用从编码层获取的特征图而获得的关于边缘的信息来找到最佳参数的方法。本专利技术的又一个目的是提供一种通过使用最佳参数精确地执行图像分割的方法和装置。根据本专利技术的一个方面，提供了一种用于通过使用学习装置来改进图像分割的学习方法，所述学习装置包括：(i)编码层，具有通过对训练图像应用一个或多个卷积运算分别生成第(1-1)特征图至第(1-K)特征图的第(1-1)滤波器至第(1-K)滤波器中的每一个；(ii)解码层，具有通过对第(1-K)特征图应用一个或多个去卷积运算分别生成第(2-K)特征图至第(2-1)特征图的第(2-K)滤波器至第(2-1)滤波器中的每一个；以及(iii)中间层，具有分别布置于包括在编码层中的K个滤波器中的H个编码滤波器的每一个与包括在解码层中的K个滤波器中的H个解码滤波器的每一个之间的第(3-1)滤波器至第(3-H)滤波器中的每一个，所述学习方法包括以下步骤：(a)如果获得训练图像，则学习装置通过编码层获取第(1-1)特征图至第(1-K)特征图；(b)学习装置通过将H个编码滤波器的每个输出分别输入到第(3-1)滤波器至第(3-H)滤波器获取第(3-1)特征图至第(3-H)特征图；(c)通过(i)允许各个H个解码滤波器分别使用第(3-1)特征图至第(3-H)特征图和从各个H个解码滤波器的各个先前解码滤波器获得的特征图，或者通过(ii)允许与第(3-1)滤波器至第(3-H)滤波器无关的各个K-H解码滤波器使用从各个K-H解码滤波器的各个先前解码滤波器获得的特征图，学习装置执行顺序地获取第(2-K)特征图至第(2-1)特征图的过程；以及(d)通过利用地面真值(GT)标签图像与第(2-1)特征图之间的差异执行反向传播过程，学习装置调整第(2-1)滤波器至第(2-K)滤波器、第(3-1)滤波器至第(3-H)滤波器和第(1-1)滤波器至第(1-K)滤波器的至少一部分的参数。根据本专利技术的另一方面，提供了一种用于通过使用学习装置对作为输入图像的测试图像执行图像分割的测试方法，包括以下步骤：(a)测试装置获取或支持另一装置获取测试图像，条件是：(I)学习装置包括(i)编码层，具有通过对训练图像应用一个或多个卷积运算分别生成用于训练的第(1-1)特征图至第(1-K)特征图的第(1-1)滤波器至第(1-K)滤波器中的每一个；(ii)解码层，具有通过对用于训练的第(1-K)特征图应用一个或多个去卷积运算分别生成用于训练的第(2-K)特征图至第(2-1)特征图的第(2-K)滤波器至第(2-1)滤波器中的每一个；以及(iii)中间层，具有分别布置于包括在编码层中的K个滤波器中的H个编码滤波器的每一个与包括在解码层中的K个滤波器中的H个解码滤波器的每一个之间的第(3-1)滤波器至第(3-H)滤波器中的每一个；(II)学习装置执行以下过程：(i)如果获得训练图像，则通过编码层获取用于训练的第(1-1)特征图至第(1-K)特征图；(ii)通过将H个编码滤波器的每个输出分别输入到第(3-1)滤波器至第(3-H)滤波器获取用于训练的第(3-1)特征图本文档来自技高网...

【技术保护点】
1.一种用于通过使用学习装置来改进图像分割的学习方法，其中，所述学习装置包括：(i)编码层，具有通过对作为输入图像的训练图像应用一个或多个卷积运算分别生成第(1‑1)特征图至第(1‑K)特征图的第(1‑1)滤波器至第(1‑K)滤波器中的每一个；(ii)解码层，具有通过对所述第(1‑K)特征图应用一个或多个去卷积运算分别生成第(2‑K)特征图至第(2‑1)特征图的第(2‑K)滤波器至第(2‑1)滤波器中的每一个；以及(iii)中间层，具有分别布置于包括在所述编码层中的K个滤波器中的H个编码滤波器的每一个与包括在所述解码层中的K个滤波器中的H个解码滤波器的每一个之间的第(3‑1)滤波器至第(3‑H)滤波器中的每一个，所述学习方法包括以下步骤：(a)如果获得所述输入图像，则所述学习装置通过所述编码层获取或支持另一装置获取所述第(1‑1)特征图至所述第(1‑K)特征图；(b)通过将所述H个编码滤波器的每个输出分别输入到所述第(3‑1)滤波器至所述第(3‑H)滤波器，所述学习装置获取或支持另一装置获取第(3‑1)特征图至第(3‑H)特征图；(c)通过(i)允许各个H个解码滤波器分别使用所述第(3‑1)特征图至所述第(3‑H)特征图和从各个H个解码滤波器的各个先前解码滤波器获得的特征图，或者通过(ii)允许与所述第(3‑1)滤波器至所述第(3‑H)滤波器无关的各个K‑H解码滤波器使用从各个K‑H解码滤波器的各个先前解码滤波器获得的特征图，所述学习装置执行顺序地获取所述第(2‑K)特征图至第所述(2‑1)特征图的过程；以及(d)通过利用地面真值(GT)标签图像与所述第(2‑1)特征图之间的差异执行反向传播过程，所述学习装置调整第(2‑1)滤波器至第(2‑K)滤波器、第(3‑1)滤波器至第(3‑H)滤波器和第(1‑1)滤波器至第(1‑K)滤波器的至少一部分的参数。...

【技术特征摘要】
2017.10.04 US 15/724,9941.一种用于通过使用学习装置来改进图像分割的学习方法，其中，所述学习装置包括：(i)编码层，具有通过对作为输入图像的训练图像应用一个或多个卷积运算分别生成第(1-1)特征图至第(1-K)特征图的第(1-1)滤波器至第(1-K)滤波器中的每一个；(ii)解码层，具有通过对所述第(1-K)特征图应用一个或多个去卷积运算分别生成第(2-K)特征图至第(2-1)特征图的第(2-K)滤波器至第(2-1)滤波器中的每一个；以及(iii)中间层，具有分别布置于包括在所述编码层中的K个滤波器中的H个编码滤波器的每一个与包括在所述解码层中的K个滤波器中的H个解码滤波器的每一个之间的第(3-1)滤波器至第(3-H)滤波器中的每一个，所述学习方法包括以下步骤：(a)如果获得所述输入图像，则所述学习装置通过所述编码层获取或支持另一装置获取所述第(1-1)特征图至所述第(1-K)特征图；(b)通过将所述H个编码滤波器的每个输出分别输入到所述第(3-1)滤波器至所述第(3-H)滤波器，所述学习装置获取或支持另一装置获取第(3-1)特征图至第(3-H)特征图；(c)通过(i)允许各个H个解码滤波器分别使用所述第(3-1)特征图至所述第(3-H)特征图和从各个H个解码滤波器的各个先前解码滤波器获得的特征图，或者通过(ii)允许与所述第(3-1)滤波器至所述第(3-H)滤波器无关的各个K-H解码滤波器使用从各个K-H解码滤波器的各个先前解码滤波器获得的特征图，所述学习装置执行顺序地获取所述第(2-K)特征图至第所述(2-1)特征图的过程；以及(d)通过利用地面真值(GT)标签图像与所述第(2-1)特征图之间的差异执行反向传播过程，所述学习装置调整第(2-1)滤波器至第(2-K)滤波器、第(3-1)滤波器至第(3-H)滤波器和第(1-1)滤波器至第(1-K)滤波器的至少一部分的参数。2.根据权利要求1所述的方法，其中，在所述步骤(a)中，所述学习装置通过分别允许所述第(1-1)滤波器至所述第(1-K)滤波器分别减小其相应特征图的大小同时增加其通道数来生成所述第(1-1)特征图至所述第(1-K)特征图；其中，在所述步骤(b)中，所述学习装置通过从所述H个编码滤波器的输出中提取边缘信息的所述第(3-1)滤波器至所述第(3-H)滤波器生成所述第(3-1)特征图至所述第(3-H)特征图；并且其中，在所述步骤(c)中，所述学习装置通过分别允许所述第(2-K)滤波器至所述第(2-1)滤波器分别增加其相应特征图的大小同时减少其通道数来生成所述第(2-K)特征图至所述第(2-1)特征图。3.根据权利要求2所述的方法，其中，在所述步骤(b)中，所述学习装置通过从所述H个编码滤波器的输出提取频率变化等于或大于预定阈值的部分，来获取所述第(3-1)特征图至所述第(3-H)特征图。4.根据权利要求1所述的方法，其中，如果H等于K，则所述学习装置(i)通过将所述第(1-1)特征图至所述第(1-K)特征图的每一个输入到第(3-1)滤波器至第(3-K)滤波器来生成第(3-1)特征图至第(3-K)特征图的每一个，然后(ii)将所述第(3-1)特征图至所述第(3-K)特征图的每一个中继到第(2-1)滤波器至第(2-K)滤波器。5.根据权利要求1所述的方法，其中，所述第(3-1)滤波器至所述第(3-H)滤波器中的至少一个执行扩张卷积运算。6.根据权利要求5所述的方法，其中，所述第(3-1)滤波器至所述第(3-H)滤波器中的至少一个执行卷积运算。7.根据权利要求5所述的方法，其中，所述中间层中的每个滤波器的感受野的在所述第(3-1)滤波器至所述第(3-H)滤波器中执行扩张卷积运算的一部分被配置为用零填充。8.根据权利要求1所述的方法，其中，在所述步骤(c)中，所述学习装置通过使用关于所述第(3-1)特征图至所述第(3-H)特征图的信息以及关于从各个H个解码滤波器的各个先前解码滤波器获得的特征图的信息执行去卷积运算，并从所述H个解码滤波器获取第(2-1)特征图至第(2-K)特征图中的特征图。9.根据权利要求1所述的方法，其中，如果所述第(3-H)滤波器与所述第(1-K)滤波器相互作用，则在所述步骤(c)中，所述学习装置通过允许所述第(2-K)滤波器对从所述第(3-H)滤波器获得的所述第(3-H)特征图执行去卷积运算来获取所述第(2-K)特征图。10.根据权利要求1所述的方法，其中，如果所述第(3-H)滤波器与所述第(1-K)滤波器相互作用，则在所述步骤(c)中，所述学习装置通过允许所述第(2-K)滤波器对所述第(1-K)特征图和从所述第(3-H)滤波器获得的所述第(3-H)特征图执行去卷积运算来获取所述第(2-K)特征图。11.一种用于通过使用学习装置对作为输入图像的测试图像执行图像分割的测试方法，包括以下步骤：(a)测试装置获取或支持另一装置获取所述测试图像，条件是：(I)所述学习装置包括(i)编码层，具有通过对训练图像应用一个或多个卷积运算分别生成用于训练的第(1-1)特征图至第(1-K)特征图的第(1-1)滤波器至第(1-K)滤波器中的每一个；(ii)解码层，具有通过对用于训练的所述第(1-K)特征图应用一个或多个去卷积运算分别生成用于训练的第(2-K)特征图至第(2-1)特征图的第(2-K)滤波器至第(2-1)滤波器中的每一个；以及(iii)中间层，具有分别布置于包括在所述编码层中的K个滤波器中的H个编码滤波器的每一个与包括在所述解码层中的K个滤波器中的H个解码滤波器的每一个之间的第(3-1)滤波器至第(3-H)滤波器中的每一个；(II)所述学习装置执行以下过程：(i)如果获得所述训练图像，则通过所述编码层获取用于训练的所述第(1-1)特征图至所述第(1-K)特征图；(ii)通过将所述H个编码滤波器的每个输出分别输入到所述第(3-1)滤波器至所述第(3-H)滤波器获取用于训练的第(3-1)特征图至第(3-H)特征图；(iii)通过允许各个H个解码滤波器分别使用用于训练的所述第(3-1)特征图至所述第(3-H)特征图和从各个H个解码滤波器的各个先前解码滤波器获得的用于训练的特征图，或者通过允许与所述第(3-1)滤波器至所述第(3-H)滤波器无关的各个K-H解码滤波器使用从各个K-H解码滤波器的各个先前解码滤波器获得的用于训练的特征图，从所述解码层顺序地获取用于训练的所述第(2-K)特征图至所述第(2-1)特征图；以及(iv)通过利用地面真值(GT)标签图像与用于训练的所述第(2-1)特征图之间的差异执行反向传播过程，调整第(2-1)滤波器至第(2-K)滤波器、第(3-1)滤波器至第(3-H)滤波器和第(1-1)滤波器至第(1-K)滤波器的至少一部分的参数；(b)如果获得所述输入图像，则所述测试装置通过所述编码层获取或支持另一装置获取用于测试的所述第(1-1)特征图至所述第(1-K)特征图；(c)通过将所述H个编码滤波器的每个输出分别输入到所述第(3-1)滤波器至所述第(3-H)滤波器，所述测试装置获取或支持另一个装置获取用于测试的所述第(3-1)特征图至所述第(3-H)特征图；以及(d)通过(i)允许各个H个解码滤波器分别使用用于测试的所述第(3-1)特征图至所述第(3-H)特征图和从各个H个解码滤波器的各个先前解码滤波器获得的用于测试的特征图，或者通过(ii)允许与所述第(3-1)滤波器至所述第(3-H)滤波器无关的各个K-H解码滤波器使用从各个K-H解码滤波器的各个先前解码滤波器获得的用于测试的特征图，所述测试装置执行顺序地获取用于测试的所述第(2-K)特征图至所述第(2-1)特征图的过程。12.根据权利要求11所述的方法，其中，在所述步骤(b)中，所述测试装置通过分别允许所述第(1-1)滤波器至所述第(1-K)滤波器分别减小其相应特征图的大小同时增加其通道数来生成用于测试的所述第(1-1)特征图至所述第(1-K)特征图；其中，在所述步骤(c)中，所述测试装置通过从所述H个编码滤波器的输出中提取边缘信息的所述第(3-1)滤波器至所述第(3-H)滤波器生成用于测试的所述第(3-1)特征图至所述第(3-H)特征图；并且其中，在所述步骤(d)中，所述测试装置通过分别允许所述第(2-K)滤波器至所述第(2-1)滤波器分别增加其相应特征图的大小同时减少其通道数来生成用于测试的所述第(2-K)特征图至所述第(2-1)特征图。13.根据权利要求12所述的方法，其中，在所述步骤(c)中，所述测试装置通过从所述H个编码滤波器的输出提取频率变化等于或大于预定阈值的部分，来获取用于测试的所述第(3-1)特征图至所述第(3-H)特征图。14.根据权利要求11所述的方法，其中，所述第(3-1)滤波器至所述第(3-H)滤波器中的至少一个执行扩张卷积运算。15.根据权利要求11所述的方法，其中，在所述步骤(d)中，所述测试装置通过使用关于用于测试的所述第(3-1)特...

【专利技术属性】
技术研发人员：金镕重，南云铉，夫硕焄，成明哲，吕东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国,KR