机器学习方法、机器学习装置以及机器学习程序制造方法及图纸

全尺寸的学习图像被图像缩小部(11)缩小后输入到FCN(全卷积神经网络)运算部(13)，FCN运算部(13)进行所设定的滤波器系数下的运算并输出缩小标签图像。缩小标签图像被图像放大部(14)放大到全尺寸，误差计算部(15)基于损失函数，来计算该放大后的标签图像与全尺寸的正确图像之间的误差，参数更新部(16)根据该误差来更新滤波器系数。通过学习控制部(17)的控制来重复学习，由此能够制作包含图像放大时产生的误差地执行最佳的分割那样的学习模型。另外，通过在学习模型中包括图像放大处理，能够输出全尺寸的标签图像，也能够高精度地进行模型的精度评价。型的精度评价。型的精度评价。

【技术实现步骤摘要】
【国外来华专利技术】机器学习方法、机器学习装置以及机器学习程序


[0001]本专利技术涉及一种以图像信息为对象的机器学习方法、机器学习装置以及机器学习用的计算机程序，更详细地说，涉及一种用于通过监督学习来制作对图像执行语义分割(semantic segmentation)的学习模型的机器学习方法、机器学习装置以及机器学习程序。

技术介绍

[0002]近年来，在自动驾驶、医疗用图像诊断等各种领域中，利用着使用机器学习、特别是深度学习(deep learning)的语义分割等图像处理技术。在使用深度学习的图像处理中，广泛地利用了卷积神经网络(Convolutional Neural Network：下面简称为“CNN”)。CNN通常具有：卷积层，其通过利用多个滤波器的卷积处理来提取图像的特征；池化层，其通过汇总一定区域的响应的池化处理来赋予局部的数据的位置不变性；以及全连接层，其将通过卷积层和池化层提取出特征部分后的图像数据连接于一个节点，输出通过激活函数变换得到的值(特征变量)。另外，最近提出了将构成CNN的全连接层变为卷积层的全(完全)卷积神经网络(Fully Convolutional Neural Network：下面简称为“FCN”)(参照非专利文献1)，特别是在语义分割中的应用正在发展。
[0003]总之，在包括上述CNN、FCN在内的机器学习中，一般是使用参数w对输入数据x构建模型函数f(w,x)，定义该模型函数中的相对于预先准备的正确数据的损失，并修正参数w以使该损失最小化，由此来求出适当的模型函数。这样的方法作为误差反向传播算法(Back Propagation)而被周知。在语义分割中，上述正确数据是指构成标签图像的数据，该标签图像是对输入图像正确地进行分割而得到的结果。
[0004]一般地，在以图像数据为对象的深度学习的学习中，其计算量庞大。因此，所输入的图像数据通常是通过被设计为专用于图像计算处理的GPU(Graphics Processing Unit：图形处理单元)来进行处理的。但是，在该情况下，也难以一次性处理大量的图像，因此实施如下的处理：将输入的图像按规定的张数进行划分，针对划分出的每一个集合的图像计算损失函数。视为一个集合的图像的张数被称为批尺寸(batch size)，作为机器学习时的一个重要的参数而被预先设定。
[0005]虽然使批尺寸增大时学习快速且高效，但是因GPU的存储器容量的限制，能够设定的批尺寸存在限制。另外，在输入图像的尺寸极大的情况下，有时即使将批尺寸设定为最小值，学习所需要的数据尺寸也超出了GPU的存储器容量，从而无法执行处理。例如本申请人们在PCT/JP2018/008483号、PCT/JP2018/009046号等中提出了针对由全息显微镜得到的细胞观察图像应用机器学习来识别在培养多能干细胞的过程中产生的脱离未分化状态的细胞的方法。在这样的情况下，由于原始的细胞观察图像的清晰度非常高且摄影范围也广，因此图像数据的尺寸庞大，与其相伴地，在学习时使用的暂时性存储器的尺寸也变得庞大，因此有时一张图像的学习所需要的数据尺寸超出了GPU的存储器容量。
[0006]因此，以往为了使批尺寸尽可能地大、或者为了处理数据尺寸极大的图像，而采用了使所输入的图像和与其对应的正确图像的尺寸同样地缩小并使用该缩小后的图像来实
施学习的方法。作为图像缩小的算法，已知有双线性插值法、双三次插值法、最近邻法、兰索斯(Lanczos)插值法等。
[0007]现有技术文献
[0008]非专利文献
[0009]非专利文献1：Jonathan Long、及其他2名、“Fully Convolutional Networ ks for Semantic Segmentation(用于语义分割的全卷积网络)”、The IEEE Con ference on Computer Vision and Pattern Recognition(IEEE计算机视觉与模式识别会议)、2015年、pp.3431-3440、(网址<URL:https://people.eecs.berkel ey.edu/～jonlong/long_shelhamer_fcn.pdf>)

技术实现思路

[0010]专利技术要解决的问题
[0011]然而，在上述以往的机器学习方法中存在如下问题。
[0012]在机器学习中，一般而言，在通过使用学习图像和正确图像的学习制作出学习模型之后，实施该学习模型是否适当的精度评价。在进行该学习模型的精度评价时，使用测试图像和与该测试图像对应的正确图像，但是作为将该测试图像输入到学习模型而得到的结果来从该学习模型输出的标签图像是被缩小了的图像。因此，在将该缩小了的标签图像通过双线性插值法等进行放大来恢复为与正确图像相同的全尺寸(full size)的图像之后，将两个图像进行比较来进行评价。可是，有时由于在将缩小了的标签图像进行放大时产生的像素信号的误差，两个图像间的微小区域的差异变得明显，导致评价精度降低。
[0013]本专利技术是为了解决上述问题而完成的，其目的在于提供如下一种机器学习方法、机器学习装置以及机器学习程序：能够制作即使在学习时因输入图像的尺寸大而需要缩小图像的情况下也输出全尺寸的高精度的标签图像的学习模型。
[0014]用于解决问题的方案
[0015]为了解决上述问题而完成的本专利技术所涉及的机器学习方法利用机器学习来制作用于对输入图像进行语义分割的学习模型，所述机器学习方法的特征在于，包括以下步骤：
[0016]a)图像缩小步骤，使所输入的学习图像的尺寸缩小；以及
[0017]b)学习执行步骤，包括标签图像生成步骤、图像放大步骤及参数更新步骤，通过重复进行该标签图像生成步骤、该图像放大步骤及该参数更新步骤来逐渐改进所述学习模型，其中，在该标签图像生成步骤中，使用缩小后的多个学习图像并按照基于规定的参数的学习模型来生成标签图像，在该图像放大步骤中，将该标签图像放大到所输入的所述学习图像的尺寸，在该参数更新步骤中，基于该放大后的标签图像和与所述学习图像对应的正确图像，来利用损失函数求出误差，根据该误差来更新所述参数，
[0018]在所述机器学习方法中，获得向在所述学习执行步骤中改进后的学习模型添加基于所述图像放大步骤的放大处理而得到的放大学习模型，来作为用于进行语义分割的学习模型。
[0019]另外，为了解决上述问题而完成的本专利技术所涉及的机器学习装置利用机器学习来制作用于对输入图像进行语义分割的学习模型，所述机器学习装置的特征在于，具备：
[0020]a)图像缩小部，其使所输入的学习图像的尺寸缩小；以及
[0021]b)学习执行部，其包括标签图像生成部、图像放大部、参数更新部及重复控制部，该标签图像生成部使用缩小后的多个学习图像并按照基于规定的参数的学习模型来生成标签图像，该图像放大部将该标签图像放大到所输入的所述学习图像的尺寸，该参数更新部基于该放大后的标签图像和与本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种机器学习方法，利用机器学习来制作用于对输入图像进行语义分割的学习模型，所述机器学习方法的特征在于，包括以下步骤：a)图像缩小步骤，使所输入的学习图像的尺寸缩小；以及b)学习执行步骤，包括标签图像生成步骤、图像放大步骤及参数更新步骤，通过重复进行该标签图像生成步骤、该图像放大步骤及该参数更新步骤来逐渐改进所述学习模型，其中，在该标签图像生成步骤中，使用缩小后的多个学习图像并按照基于规定的参数的学习模型来生成标签图像，在该图像放大步骤中，将该标签图像放大到所输入的所述学习图像的尺寸，在该参数更新步骤中，基于该放大后的标签图像和与所述学习图像对应的正确图像，来利用损失函数求出误差，根据该误差来更新所述参数，在所述机器学习方法中，获得向在所述学习执行步骤中改进后的学习模型添加基于所述图像放大步骤的放大处理而得到的放大学习模型，来作为用于进行语义分割的学习模型。2.根据权利要求1所述的机器学习方法，其特征在于，所述机器学习为使用卷积神经网络的深度学习。3.一种机器学习装置，利用机器学习来制作用于对输入图像进行语义分割的学习模型，所述机器学习装置的特征在于，具备：a)图像缩小部，其使所输入的学习图像的尺寸缩小；以及b)学习执行部，其包括标签图像生成部、图像放大部、参数更新部及重复控制部，该标签图像生成部使用缩小后的多个学习图像并按照基于规定的参数的学习模型来生成标签图像，该图像放大部将该标签图像放大到所输入的所述学习图像的尺寸，该参数更新部基于该放大后的标签图像和与所...

【专利技术属性】
技术研发人员：高桥涉，押川翔太，
申请(专利权)人：株式会社岛津制作所，
类型：发明
国别省市：