通过自动编码器及多实例学习进行的神经网络学习方法以及执行其的计算系统技术方案

本发明专利技术涉及神经网络学习方法及执行其的计算系统，更详细地，涉及利用自动编码器及多实例学习方法从一个数据包将多个数据实例提取为学习用实例来以少量的学习数据也能够提高神经网络的性能的神经网络学习方法及以及执行其的计算系统。执行其的计算系统。执行其的计算系统。

【技术实现步骤摘要】
【国外来华专利技术】通过自动编码器及多实例学习进行的神经网络学习方法以及执行其的计算系统


[0001]本专利技术涉及神经网络学习方法及执行其的计算系统，更详细地，涉及利用自动编码器及多实例学习方法来以少量的学习数据也能够提高神经网络的性能的神经网络学习方法及以及执行其的计算系统。
[0002]
技术介绍

[0003]近来，随着机器学习的发展，积极尝试通过计算机系统自动执行识别或分类图像等的业务。尤其，尝试了利用机器学习之一的神经网络(例如，利用卷积神经网络(Convolution Neural Network，CNN)的深度学习方式)来使人执行的各种分类或判断实现自动化，通过利用将神经网络(例如，CNN)用在其中的深度学习来读取生物图像(例如，患者的生物组织切片)，从而执行判断特定疾病的状态或征兆的诊断，这是代表性的一例。
[0004]另一方面，参照图1a以及图1b说明本专利技术的
技术介绍
之一的多实例学习(Multiple Instance Learning)。
[0005]与将一个实例(instance)用作学习单位的单个实例学习不同，在多实例学习中，将作为实例的集合的实例包(Bag)作为学习单位。因此，在单个实例学习中，将对实例标上标签，相反在多实例学习中，将对实例包标上标签，而不是实例。除了学习单位层面之外，多实例学习与单个实例学习相似，但有如下的局限性。即，在执行二进制分类的过程中，若实例包为肯定(positive)，则存在于实例包的实例中的任一个以上为肯定，若实例包为否定(negative)，则存在于实例包的所有实例为否定。
[0006]由于这种特征，多实例学习可用于利用神经网络从病理整体
‑
切片
‑
图像(Whole Slide Image)诊断病变的领域。为了学习诊断病变的神经网络，将使用按规定大小划分整体
‑
切片
‑
图像的图像小片来作为学习数据，而不是整体
‑
切片
‑
图像，这是因为与是否病变相关的信息(即，标签)存在于整体
‑
切片
‑
图像，而不是小片单位。
[0007]图1a为示出用于多实例学习的学习数据的一例的图。图1示出分别包含N个数据实例的M个实例包(B1至B
M
)。图1中，实例包B
i
的标签被标为L
i
(其中，i为1≤i≤M的任意整数)，数据实例D
ij
为包含在实例包B
i
中的第j个实例(其中，j为1≤j≤N的任意整数)。
[0008]图1b为示出表示通过多实例学习方法学习神经网络(NN)的步骤的一例的伪码(pseudo code)的图。图1b示出对学习数据学习1轮次(epoch)的步骤，在实际学习步骤中，可进行多轮次的学习。在图1b中，假设以图1a中所示的学习数据进行学习。
[0009]参照图1b，在多实例学习中，首先将执行步骤S10，即从各个实例包(B1至B
M
)提取学习数据实例(T1至T
M
)的步骤，之后将执行步骤S20，以所提取的学习数据实例训练神经网络(NN)。
[0010]对步骤S10进行更详细的说明，即，对实例包B
i
执行如下的步骤(其中，i为1≤i≤M的任意整数)。
[0011]当前正在进行学习的神经网络(NN)将通过输入实例包B
i
内的各个数据实例来计算相应实例为肯定(positive；例如，存在病变)的可能性(步骤S11、步骤S12)。
[0012]在实例包B
i
内的所有数据实例中，将该数据实例的肯定可能性最大的数据实例D
ik
确定为学习数据实例T
i
(步骤S13)，学习数据实例T
i
的标签将成为向实例包B
i
赋予的标签(步骤S14)。
[0013]在以上说明的现有多实例学习中，由于对一个实例包提取一个实例来用于学习，因而存在需要用大量的实例包来提高神经网络的性能的问题。例如，为了在用于检测病变的神经网络中利用现有的多实例学习，需要有大量的标有与是否存在病变相关的标志的整体
‑
切片
‑
图像。
[0014]并且，如上所述，在多实例学习中，由于将在学习数据实例的提取步骤中使用完成学习之前的神经网络，因而存在会在从一个实例包提取多个数据实例的情况下导致提取错误实例的可能性变高的问题。

技术实现思路

[0015]技术问题
[0016]本专利技术的目的在于提供可从一个数据包将多个数据实例提取为学习用实例来能够以相对少量的数据也可适当地使神经网络进行学习的方法及系统。
[0017]技术方案
[0018]根据本专利技术的一实施方式，本专利技术提供一种神经网络学习方法，在计算系统中执行，上述计算系统包括：自动编码器，用于判断所输入的数据实例处于第一状态还是第二状态；以及神经网络，能够输出所输入的数据实例处于第一状态或第二状态的可能性，本专利技术的神经网络学习方法包括：提取步骤，对于标为第一状态或第二状态中的任一个标签的多个数据包，分别提取作为包含在上述数据包的多个数据实例中的一部分的学习用实例；以及学习步骤，基于分别与多个上述数据包相对应的学习用实例，使上述神经网络进行学习，上述提取步骤包括如下步骤：通过向正在学习的上述神经网络输入包含在上述数据包的各个数据实例，计算包含在上述数据包的各个数据实例的可能性；以及基于包含在上述数据包的各个数据实例的可能性以及上述自动编码器对于包含在上述数据包的各个数据实例中的至少一部分的判断结果，将包含在上述数据包的各个数据实例中的一部分判断为学习用实例。
[0019]在一实施例中，上述神经网络学习系统可基于向上述自动编码器所输入的数据实例与从上述自动编码器输出的输出数据之间的差异来判断向上述自动编码器所输入的数据实例处于第一状态还是第二状态。
[0020]在一实施例中，上述自动编码器可仅预先学习第一状态的数据实例，基于包含在上述数据包的各个数据实例的可能性以及上述自动编码器对于包含在上述数据包的各个数据实例中的至少一部分的判断结果来将包含在上述数据包的各个数据实例中的一部分判断为学习用实例的步骤可包括如下步骤：若上述数据包被标为第一状态，则按照从处于第二状态的可能性最高的数据实例到处于第二状态的可能性降低的数据实例的顺序向上述自动编码器进行输入，将通过上述自动编码器判断为第一状态的前一部分数据实例判断成与上述数据包相对应的学习用实例；以及若上述数据包被标为第二状态，则按照从处于
第二状态的可能性最高的数据实例到处于第二状态的可能性降低的数据实例的顺序向上述自动编码器进行输入，将通过上述自动编码器判断为第二状态的前一部分数据实例判断成与上述数据包相对应的学习用实例。
[0021]在一实施例中，上述神经网络学习方法还可包括反复执行1轮次(epoch)以上的上本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种神经网络学习方法，在计算系统中执行，上述计算系统包括：自动编码器，用于判断所输入的数据实例处于第一状态还是第二状态；以及神经网络，能够输出所输入的数据实例处于第一状态或第二状态的可能性，上述神经网络学习方法的特征在于，包括：提取步骤，对于标为第一状态或第二状态中的一个标签的多个数据包，分别提取作为包含在上述数据包的多个数据实例中的一部分的学习用实例；以及学习步骤，基于分别与多个上述数据包相对应的学习用实例，使上述神经网络进行学习，上述提取步骤包括如下步骤：通过向正在学习的上述神经网络输入包含在上述数据包的各个数据实例，计算包含在上述数据包的各个数据实例的可能性；以及基于包含在上述数据包的各个数据实例的可能性以及上述自动编码器对于包含在上述数据包的各个数据实例中的至少一部分的判断结果，将包含在上述数据包的各个数据实例中的一部分判断为学习用实例。2.根据权利要求1所述的神经网络学习方法，其特征在于，上述神经网络学习系统基于向上述自动编码器所输入的数据实例与从上述自动编码器输出的输出数据之间的差异，来判断向上述自动编码器所输入的数据实例处于第一状态还是第二状态。3.根据权利要求1所述的神经网络学习方法，其特征在于，上述自动编码器仅预先学习第一状态的数据实例，基于包含在上述数据包的各个数据实例的可能性以及上述自动编码器对于包含在上述数据包的各个数据实例中的至少一部分的判断结果，来将包含在上述数据包的各个数据实例中的一部分判断为学习用实例的步骤包括如下步骤：若上述数据包被标为第一状态，则按照从处于第二状态的可能性最高的数据实例到处于第二状态的可能性降低的数据实例的顺序向上述自动编码器进行输入，将通过上述自动编码器判断为第一状态的前一部分数据实例判断成与上述数据包相对应的学习用实例；以及若上述数据包被标为第二状态，则按照从处于第二状态的可能性最高的数据实例到处于第二状态的可能性降低的数据实例的顺序向上述自动编码器进行输入，将通过上述自动编码器判断为第二状态的前一部分数据实例判断成与上述数据包相对应的学习用实例。4.根据权利要求1所述的神经网络学习方法，其特征在于，上述神经网络学习方法还包括反复执行1轮次以上的上述提取步骤以及上述学习步骤的步骤。5.根据权利要求1所述的神经网络学习方法，其特征在于，多个上述数据包分别为整体图像，多个上述数据包各自所包含的数据实例为按照规定大小划分与上述数据包相对应的整体图像的各个图像小片。6.一种神经网络学习方法，在计算系统中执行，上述计算系统包括：自动编码器，用于判断所输入的小片处于第一状态还是第二状态，其中，上述小片为按照规定大小划分图像而得的其中一个；以及神经网络，能够输出所输入的小片处于第一状态或第二状态的可能
性，上述神经网络学习方法的特征在于，包括：提取步骤，对于标为第一状态或第二状态中的任一个标签的多个学习用图像，分别提取作为构成上述学习用图像的小片中的一部分的学习用小片；以及学习步骤，基于分别与多个上述学习用图像相对应的学习用小片，使上述神经网络进行学习，上述提取步骤包括如下步骤：通过向正在训练的上述神经网络输入构成上述学习用图像的各个小片，计算构成上述学习用图像的各个小片的可能性；以及基于构成上述学习用图像的各个小片的可能性以及上述自动编码器对于构成上述学习用图像的各个小片中的至少一部分的判断结果，将构成上述学习用图像的各个小片中的一部分判断为学习用小片。7.根据权利要求6所述的神经网络学习方法，其特征在于，上述自动编码器仅预先学习第一状态的小片，基于构成上述学习用图像的各个小片的可能性以及上述自动编码器对于构成上述学习用图像的各个小片中的至少一部分的判断结果，来将构成上述学习用图像的各个小片中的一部分判断为学习用小片的步骤包括如下步骤：若上述学习用图像被标为第一状态，则按照从处于第二状态的可能性最高的小片到处于第二状态的可能性降低的小片的顺序向上述自动编码器进行输入，将通过上述自动编码器判断为第一状态的前一部分小片判断成与上述学习用图像相对应的学习用小片；以及若上述学习用图像被标为第二状态，则按照从处于第二状态的可能性最高的小片到处于第二状态的可能性降低的小片的顺序向上述自动编码器进行输入，将通过上述自动编码器判断为第二状态的前一部分小片判断成与上述学习用图像相对应的学习用小片。8.根据权利要求6所述的神经网络学习方法，其特征在于，上述学习用图像分别为包含因一定的疾病引起的病变的图像或不包含上述病变的图像中的任一种，上述第一状态为不存在上述病变的正常状态，上述第二状态为存在上述病变的异常状态。9.一种利用神经网络的判断系统，其特征在于，包括：存储模块，用于存储通过根据权利要求6所述...

【专利技术属性】
技术研发人员：金善禹，郭兑荣，文礼赞，
申请(专利权)人：第一百欧有限公司，
类型：发明
国别省市：