The invention discloses a learning method for improving the performance of CNN by using a feature up-sampling network. The learning method includes the following steps: (a) allowing the down-sampling block to acquire the down-sampling image; (b) allowing each filter block from (1 1) to (1 k) to acquire each of the feature maps from (1 1) to (1 k) respectively; (c) allowing the application of the dedicated sampling block: (i) receiving a specific feature map from its corresponding filter block, and (i i) receiving another from its previous up-sampling block. Specific feature mapping, and then the size of the specific feature mapping is re-adjusted to the same size as the specific feature mapping, and (i I i) specific operations are applied to the specific feature mapping and the re-adjusted specific feature mapping to generate a specific feature mapping of the upper sample block; and (d) (i) application block is allowed to obtain application-specific output, and (i i) the first back propagation is performed. Handle.
【技术实现步骤摘要】
用特征上采样网络提高CNN性能的学习方法和装置及用特征上采样网络的测试方法和装置
本专利技术涉及一种通过使用特征上采样网络(FUN)提高CNN的性能的学习方法和学习装置，以及使用特征上采样网络的测试方法和测试装置，并且更具体地，涉及包括以下步骤的学习方法以及使用上述学习方法的学习装置、测试方法和测试装置：(a)如果获得输入图像，则所述学习装置允许下采样块通过对所述输入图像应用预定操作以减小其尺寸来获取下采样图像；(b)如果获得所述下采样图像，则所述学习装置允许第(1-1)至第(1-k)过滤块中的每一个通过对所述下采样图像应用一个或多个卷积运算来分别获取第(1-1)至第(1-k)特征映射中的每一个；(c)所述学习装置(I)允许所述第(2-1)上采样块(i)从所述下采样块接收所述下采样图像，(ii)从第(2-2)上采样块接收第(2-2)特征映射，然后将所述第(2-2)特征映射的尺寸重新调节为与所述下采样图像的尺寸相同，并且(iii)对所述下采样图像和所述第(2-2)重新调节后的特征映射应用特定操作，从而获取第(2-1)特征映射，并且所述学习装置(II)允许第(2-...
【技术保护点】
1.一种学习方法，通过使用学习装置中包括的特征上采样网络提高CNN的性能，所述特征上采样网络即FUN，其中，所述学习装置包括：(i)下采样块，用于减小输入图像的尺寸；(ii)第(1‑1)过滤块至第(1‑k)过滤块中的每一个，通过执行一个或多个卷积运算从所述第(1‑1)过滤块至所述第(1‑k)过滤块中的每一个获取第(1‑1)特征映射至第(1‑k)特征映射中的每一个；(iii)第(2‑k)上采样块至第(2‑1)上采样块，所述第(2‑k)上采样块至所述第(2‑1)上采样块中的每一个与所述第(1‑1)过滤块至所述第(1‑k)过滤块中的每一个相对应地相互作用，并由此生成第(2‑k)特...
【技术特征摘要】
2017.10.04 US 15/724,6431.一种学习方法，通过使用学习装置中包括的特征上采样网络提高CNN的性能，所述特征上采样网络即FUN，其中，所述学习装置包括：(i)下采样块，用于减小输入图像的尺寸；(ii)第(1-1)过滤块至第(1-k)过滤块中的每一个，通过执行一个或多个卷积运算从所述第(1-1)过滤块至所述第(1-k)过滤块中的每一个获取第(1-1)特征映射至第(1-k)特征映射中的每一个；(iii)第(2-k)上采样块至第(2-1)上采样块，所述第(2-k)上采样块至所述第(2-1)上采样块中的每一个与所述第(1-1)过滤块至所述第(1-k)过滤块中的每一个相对应地相互作用，并由此生成第(2-k)特征映射至第(2-1)特征映射中的每一个；(iv)应用块，所述应用块用于通过使用所述第(2-k)特征映射至所述第(2-1)特征映射中的至少一部分来生成应用专用输出；以及(v)应用专用损失块，用于通过对由所述应用块生成的应用专用输出和地面真值之间进行比较来计算损失，所述学习方法包括以下步骤：(a)如果获得所述输入图像，则所述学习装置允许所述下采样块通过对所述输入图像应用预定操作以用于减小所述输入图像的尺寸来获取下采样图像；(b)如果获得所述下采样图像，则所述学习装置允许所述第(1-1)过滤块至所述第(1-k)过滤块中的每一个通过对所述下采样图像应用所述一个或多个卷积运算来分别获取所述第(1-1)特征映射至所述第(1-k)特征映射中的每一个；(c)所述学习装置：(I)允许所述第(2-1)上采样块，(i)从所述下采样块接收所述下采样图像，(ii)从第(2-2)上采样块接收第(2-2)特征映射，然后将所述第(2-2)特征映射的尺寸重新调节为与所述下采样图像的尺寸相同，并且(iii)对所述下采样图像和第(2-2)重新调节后的特征映射应用特定操作，从而获取所述第(2-1)特征映射，并且所述学习装置(II)允许第(2-(M+1))上采样块：(i)从第(1-M)过滤块接收第(1-M)特征映射，并且(ii)从第(2-(M+2))上采样块接收第(2-(M+2))特征映射，然后将所述第(2-(M+2))特征映射的尺寸重新调节为与所述第(1-M)特征映射的尺寸相同，并且(iii)对所述第(1-M)特征映射和第(2-(M+2))重新调节后的特征映射应用特定操作，从而生成第(2-(M+1))特征映射，由此获得所述第(2-k)特征映射至第(2-2)特征映射，其中M为大于或等于1的整数；并且(d)所述学习装置：(i)允许所述应用块通过对所述第(2-k)特征映射至所述第(2-1)特征映射的至少一部分应用应用专用操作来获取所述应用专用输出，并且所述学习装置：(ii)允许所述应用专用损失块通过将所述应用专用输出与所述地面真值进行比较来获取损失；并由此在第一反向传播处理的过程中通过使用损失来调节所述应用块、所述第(2-k)上采样块至所述第(2-1)上采样块以及所述第(1-1)过滤块至所述第(1-k)过滤块中的至少一部分的参数。2.根据权利要求1所述的学习方法，其中，所述学习装置进一步包括：(vi)教师编码层，所述教师编码层包括第(T-1)过滤块至第(T-k)过滤块，所述第(T-1)过滤块至所述第(T-k)过滤块分别生成第(T-1)特征映射至第(T-k)特征映射，所述第(T-1)特征映射至所述第(T-k)特征映射的各自的尺寸与所述第(2-1)特征映射至第(2-k)特征映射的各尺寸对应，并且所述第(T-1)特征映射至所述第(T-k)特征映射通过向所述输入图像应用一个或多个卷积运算而获取，而不经由所述下采样块；以及(vii)回归损失块，并且其中，所述学习方法进一步包括以下步骤：(e)所述学习装置允许所述回归损失块通过使用所述第(2-1)特征映射至所述第(2-k)特征映射中的每一个、以及所述第(T-1)特征映射至所述第(T-k)特征映射中的每一个来生成回归损失，然后允许在第二反向传播处理的过程中通过使用所述回归损失来调整所述第(1-1)过滤块至所述第(1-k)过滤块、以及所述第(2-1)上采样块至所述第(2-k)上采样块中的至少一部分的参数。3.根据权利要求2所述的学习方法，其中，所述教师编码层中的所述第(T-1)过滤块至所述第(T-k)过滤块使用在预训练处理的过程中获取的固定参数。4.根据权利要求1所述的学习方法，其中，在步骤(c)中，在M是大于或等于1且小于或等于(k-2)的整数的情况下，所述学习装置允许所述第(2-(M+1))上采样块执行以下处理：(i)获得第(1-M)调整后的特征映射，所述第(1-M)调整后的特征映射的通道数通过所述第(2-(M+1))上采样块中的第一过滤器对所述第(1-M)特征映射应用卷积运算而被修改；(ii)获得第(2-(M+2))调整后的特征映射，所述第(2-(M+2))调整后的特征映射的通道数通过所述第(2-(M+1))上采样块中的第二过滤器对所述第(2-(M+2))特征映射应用卷积运算而被修改；然后通过对所述第(2-(M+2))调整后的特征映射应用上采样操作来获得第2-(M+2))重新调节后的特征映射；(iii)利用所述第(2-(M+2))重新调节后的特征映射计算所述第(1-M)调整后的特征映射，从而生成所述第(2-(M+1))特征映射；(iv)向第(2-M)上采样块中继从所述第(2-(M+1))上采样块获取的所述第(2-(M+1))特征映射，由此获取第(2-(k-1))特征映射至第(2-2)特征映射。5.根据权利要求4所述的学习方法，其中，在步骤(c)中，所述学习装置允许所述第(2-1)上采样块通过执行以下处理来获取所述第(2-1)特征映射：(i)获得所述下采样图像的调整后的特征映射，所述下采样图像的调整后的特征映射的通道数通过由所述第(2-1)上采样块中的第一过滤器对所述下采样图像应用卷积运算而被修改；(ii)获得第(2-2)调整后的特征映射，所述第(2-2)调整后的特征映射的通道数通过由所述第(2-1)上采样块中的第二过滤器对所述第(2-2)特征映射应用卷积运算而被修改；然后通过对所述第(2-2)调整后的特征映射应用所述上采样操作来获得第(2-2)重新调节后的特征映射；并且(iii)利用所述第(2-2)重新调节后的特征映射计算所述下采样图像的调整后的特征映射，从而生成所述第(2-1)特征映射。6.根据权利要求4所述的学习方法，其中，在步骤(c)中，所述学习装置允许所述第(2-k)上采样块通过执行以下处理来获取所述第(2-k)特征映射：(i)获得第(1-(k-1))调整后的特征映射，所述第(1-(k-1))调整后的特征映射的通道数通过由所述第(2-k)上采样块中的第一过滤器对第(1-(k-1))特征映射应用卷积运算而被修改；(ii)通过对所述第(1-k)特征映射应用所述上采样操作来获得第(1-k)重新调节后的特征映射；(iii)利用所述第(1-k)重新调节后的特征映射计算所述第(1-(k-1))调整后的特征映射，从而生成所述第(2-k)特征映射；并且(iv)向所述第(2-(k-1))上采样块中继从所述第(2-k)上采样块获取的所述第(2-k)特征映射。7.根据权利要求4所述的学习方法，其中，所述第(2-(M+1))上采样块中的第一过滤器的卷积运算是用于将所述第(1-M)特征映射的通道数调整为与所述第(2-(M+2))调整后的特征映射的通道数相同的运算，并且其中，使用所述第(2-1)上采样块中的第一过滤器的卷积运算是用于将所述下采样图像的通道数调整为与所述第(2-2)调整后的特征映射的通道数相同的运算。8.根据权利要求1所述的学习方法，其中，在步骤(b)中，所述装置经由所述第(1-1)过滤块对从所述下采样块获取的所述下采样图像应用卷积运算以获得所述第(1-1)特征映射，然后经由第(1-(M+1))过滤块对从所述第(1-M)过滤块获取的所述第(1-M)特征映射应用卷积运算以获得第(1-(M+1))特征映射，其中M是2至(k-1)的整数。9.一种测试方法，通过使用测试装置中包括的具有特征上采样网络的CNN向作为输入图像的测试图像应用操作来获取应用专用输出，所述特征上采样网络即FUN，所述测试方法包括以下步骤：(a)所述测试装置在使用学习装置执行以下处理的条件下获取所述测试图像，所述学习装置包括：(i)下采样块，所述下采样块用于减小训练图像的尺寸；(ii)第(1-1)过滤块至第(1-k)过滤块中的每一个，通过对其执行一个或多个卷积运算来从所述第(1-1)过滤块至所述第(1-k)过滤块中的每一个获取第(1-1)特征映射至第(1-k)特征映射中的每一个；(iii)第(2-k)上采样块至第(2-1)上采样块，所述第(2-k)上采样块至所述第(2-1)上采样块中的每一个与所述第(1-1)过滤块至所述第(1-k)过滤块中的每一个相对应地相互作用；(iv)应用块，用于通过使用第(2-k)特征映射至第(2-1)特征映射中的至少一部分来生成所述应用专用输出；以及(v)应用专用损失块，用于通过对由所述应用块生成的应用专用输出与地面真值之间进行比较来计算损失，所述处理包括：(1)如果获得所述训练图像，则允许所述下采样块通过对所述训练图像应用预定操作以减小其尺寸来获取用于训练的下采样图像；(2)如果获得用于训练的所述下采样图像，则允许所述第(1-1)过滤块至所述第(1-k)过滤块中的每一个通过对用于训练的所述下采样图像应用所述一个或多个卷积运算来分别获取用于训练的第(1-1)特征映射至第(1-k)特征映射中的每一个；(3)(I)允许所述第(2-1)上采样块：(i)从所述下采样块接收所述下采样图像，(ii)从第(2-2)上采样块接收第(2-2)特征映射，然后将所述第(2-2)特征映射的尺寸重新调节为与所述下采样图像的尺寸相同，并且(iii)对所述下采样图像和第(2-2)重新调节后的特征映射应用特定操作，从而获取所述第(2-1)特征映射，并且(II)允许第(2-(M+1))上采样块：(i)从第(1-M)过滤块接收第(1-M)特征映射，(ii)从第(2-(M+2))上采样块接收第(2-(M+2))特征映射，然后将所述第(2-(M+2))特征映射的尺寸重新调节为与所述第(1-M)特征映射的尺寸相同，并且(iii)对所述第(1-M)特征映射和第(2-(M+2))重新调节后的特征映射应用特定操作，从而生成第(2-(M+1))特征映射，由此获得所述第(2-k)特征映射至第(2-2)特征映射，其中M为大于或等于1的整数；并且(4)(i)允许所述应用块通过对用于训练的所述第(2-k)特征映射至所述第(2-1)特征映射中的至少一部分应用应用专用操作来获取所述应用专用输出，并且(ii)允许所述应用专用损失块通过将所述应用专用输出与所述地面真值进行比较来获取损失；并由此在反向传播处理已被执行的期间通过使用损失来调节所述应用块、所述第(2-k)上采样块至所述第(2-1)上采样块、以及所述第(1-1)过滤块至所述第(1-k)过滤块中的至少一部分的参数；(b)如果获得所述测试图像，则所述测试装置允许所述下采样块通过对所述测试图像应用预定操作以用于减小其尺寸来获取用于测试的下采样图像；(c)如果获得用于测试的所述下采样图像，则所述测试装置允许所述第(1-1)过滤块至所述第(1-k)过滤块中的每一个通过对用于测试的所述下采样图像应用所述一个或多个卷积运算来分别获取用于测试的所述第(1-1)特征映射至所述第(1-k)特征映射中的每一个；(d)所述测试装置：(I)允许所述第(2-1)上采样块：(i)从所述下采样块接收用于测试的所述下采样图像，(ii)从所述第(2-2)上采样块接收用于测试的所述第(2-2)特征映射，然后将用于测试的所述第(2-2)特征映射的尺寸重新调节为与用于测试的所述下采样图像的尺寸相同，并且(iii)对用于测试的所述下采样图像和用于测试的所述第(2-2)重新调节后的特征映射应用特定操作，从而获取用于测试的所述第(2-1)特征映射，并且(II)允许所述第(2-(M+1))上采样块：(i)从所述第(1-M)过滤块接收用于测试的所述第(1-M)特征映射，(ii)从所述第(2-(M+2))上采样块接收用于测试的所述第(2-(M+2))特征映射，然后将用于测试的所述第(2-(M+2))特征映射的尺寸重新调节为与用于测试的所述第(1-M)特征映射的尺寸相同，并且(iii)对用于测试的所述第(1-M)特征映射和用于测试的第(2-(M+2))重新调节后的特征映射应用特定操作，从而生成用于测试的所述第(2-(M+1))特征映射，由此获取用于测试的所述第(2-k)特征映射至所述第(2-2)特征映射，其中M是大于或等于1的整数；并且(e)所述测试装置允许所述应用块通过对用于测试的所述第(2-k)特征映射至所述第(2-1)特征映射中的至少一部分应用应用专用操作来获取所述应用专用输出。10.根据权利要求9所述的测试方法，其中，在步骤(d)中，如果M是大于或等于1且小于或等于(k-2)的整数，则所述测试装置允许所述第(2-(M+1))上采样块执行以下处理：(i)获得用于测试的第(1-M)调整后的特征映射，用于测试的所述第(1-M)调整后的特征映射的通道数通过由所述第(2-(M+1))上采样块中的第一过滤器对用于测试的所述第(1-M)特征映射应用卷积运算而被修改；(ii)获得用于测试的第(2-(M+2))调整后的特征映射，用于测试的所述第(2-(M+2))调整后的特征映射的通道数通过由所述第(2-(M+1))上采样块中的第二过滤器对用于测试的所述第(2-(M+2))特征映射应用卷积运算而被修改；然后通过对用于测试的所述第(2-(M+2))调整后的特征映射应用上采样操作来获得用于测试的第(2-(M+2))重新调节后的特征映射；(iii)利用用于测试的所述第(2-(M+2))重新调节后的特征映射计算用于测试的所述第(1-M)调整后的特征映射；(iv)向所述第(2-M)上采样块中继用于测试的所述第(2-(M+1))特征映射，从而获取用于测试的第(2-(k-1))特征映射至第(2-2)特征映射。11.根据权利要求10所述的测试方法，其中，在步骤(d)中，所述测试装置允许所述第(2-1)上采样块执行以下处理：(i)获得用于测试的下采样图像的调整后的特征映射，用于测试的所述下采样图像的调整后的特征映射的通道数通过由所述第(2-1)上采样块中的第一过滤器对用于测试的所述下采样图像应用卷积运算而被修改；(ii)获得用于测试的第(2-2)调整后的特征映射，用于测试的所述第(2-2)调整后的特征映射的通道数通过由所述第(2-1)上采样块中的第二过滤器对用于测试的所述第(2-2)特征映射应用卷积运算而被修改；然后通过对用于测试的所述第(2-2)调整后的特征映射应用上采样操作来获得用于测试的第(2-2)重新调节后的特征映射；并且(iii)利用用于测试的所述第(2-2)重新调节后的特征映射计算用于测试的所述下采样图像的调整后的特征映射，从而生成用于测试的所述第(2-1)特征映射。12.根据权利要求10所述的测试方法，其中，在步骤(d)中，所述测试装置允许所述第(2-k)上采样块执行以下处理：(i)获得用于测试的第(1-(k-1))调整后的特征映射，用于测试的所述第(1-(k-1))调整后的特征映射的通道数通过由所述第(2-k)上采样块中的第一过滤器对用于测试的第(1-(k-1))特征映射应用卷积运算而被修改；(ii)通过对用于测试的所述第(1-k)特征映射应用所述上采样操作来获得用于测试的第(1-k)重新调节后的特征映射；(iii)利用用于测试的所述第(1-k)重新调节后的特征映射计算用于测试的所述第(1-(k-1))调整后的特征映射，从而生成用于测试的所述第(2-k)特征映射；并且(iv)向第(2-(k-1...
【专利技术属性】
技术研发人员：金镕重，南云铉，夫硕焄，成明哲，吕东勋，柳宇宙，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国,KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。