推定程序、推定方法以及信息处理装置制造方法及图纸

信息处理装置向具有编码部和解码部的训练完毕的变分自动编码器输入输入数据，基于从编码部输出的标准偏差的大小，将由训练完毕的变分自动编码器根据输入而生成的潜在变量的概率分布转换为第一概率分布。信息处理装置基于与输入数据相关的解码部的输出误差，将第一概率分布转换为第二概率分布。然后，信息处理装置输出第二概率分布，作为输入数据的概率分布的推定值。布的推定值。布的推定值。

【技术实现步骤摘要】
【国外来华专利技术】推定程序、推定方法以及信息处理装置


[0001]本专利技术涉及概率分布的推定技术。

技术介绍

[0002]在数据分析中，进行如下：使用自动编码器等，从复杂的多维数据中提取低维的特征量，使用特征量执行数据分析。例如，进行如下：提取在传送带上流动的产品的图像的特征量，从流动来的产品中检测不合格产品等。
[0003]近年来，利用使用了变分自动编码器(VAE：Variational Autoencoder)的数据分析，该变分自动编码器将潜在变量作为概率分布来进行学习。例如，VAE具有编码部和解码部，执行编码部和解码部的参数的机械学习，以使得使用潜在变量被输入的解码部的输出而计算的重构误差的期望值和使用输入特征量的编码部的输出而计算的潜在变量的概率分布的归一化误差最小化。向这样学习(训练)后的VAE中输入多个检测对象数据，进行异常数据(Anomaly Data)的检测。
[0004]非专利文献1：Diederik P.Kingma，Max Welling，“Auto
‑
Encoding Variational Bayes”，ICLR 2014.
[0005]然而，在上述VAE中，假定单变量独立的正态分布，不保证所得到的潜在空间的概率分布反映实际空间的分布。因此，在将判定对象数据输入到训练完毕的VAE中，使用编码部的输出推定输入数据的概率分布，来检测异常数据的情况下，无法保证推定结果，异常检测的精度不高。
[0006]此外，也考虑使用应用了使潜在变量的信息熵最小化的Rate/>‑
Distortion理论的自动编码器。在使用这样的自动编码器的情况下，潜在空间的概率分布与实际空间数据的概率分布大致相同。但是，在实际空间的概率分布的形状复杂的情况下，设计为与其相同的潜在空间的概率分布也需要以混合多参量概率分布等的复杂的形状来表现，因此为了提高精度而成本增大，不现实。

技术实现思路

[0007]在一个方面中，其目的在于提供能够提高输入数据的异常检测的精度的推定程序、推定方法以及信息处理装置。
[0008]在第一方案中，推定程序使计算机执行如下处理：向具有编码部和解码部的训练完毕的变分自动编码器输入输入数据，基于从上述编码部输出的标准偏差的大小，将由上述训练完毕的变分自动编码器根据上述输入而生成的潜在变量的概率分布转换为第一概率分布。推定程序使计算机执行如下处理：基于与上述输入数据相关的上述解码部的输出误差，将上述第一概率分布转换为第二概率分布。推定程序使计算机执行如下处理：输出上述第二概率分布作为上述输入数据的概率分布的推定值。
[0009]在一个方面中，能够提高输入数据的异常检测的精度。
附图说明
[0010]图1是说明实施例1的信息处理装置的图。
[0011]图2是表示实施例1的信息处理装置的功能结构的功能框图。
[0012]图3是说明VAE的结构以及机械学习的图。
[0013]图4是说明输入数据的概率分布的计算的图。
[0014]图5是说明输入数据和各变量的对应的图。
[0015]图6是表示学习处理的流程的流程图。
[0016]图7是表示检测处理的流程的流程图。
[0017]图8是说明为了验证而人工生成的输入数据的图。
[0018]图9是说明使用了参考技术的异常检测结果的图。
[0019]图10是说明使用了实施例1的异常检测结果的图。
[0020]图11是说明VAE的其它例的图。
[0021]图12是说明硬件结构例的图。
具体实施方式
[0022]以下，基于附图对本专利技术的推定程序、推定方法以及信息处理装置的实施例进行详细说明。此外，并不通过该实施例限定该专利技术。另外，各实施例能够在不矛盾的范围内适当地进行组合。
[0023]图1是说明实施例1的信息处理装置10的图。图1所示的信息处理装置10向使用VAE生成的模型输入实际空间的输入数据，使用由VAE的编码器推定的潜在变量的后验分布参数，进行修正，以使先验概率与输入数据的生成概率大致相同。这样，信息处理装置10是根据由VAE提取的潜在空间的概率分布推定输入数据的概率分布，实现输入数据的异常检测的精度提高的计算机装置。
[0024]具体而言，信息处理装置10使用训练数据，执行具有编码部和解码部的VAE的机械学习，生成应用了训练完毕的VAE的模型。而且，信息处理装置10将与训练数据相同的域的输入数据输入到模型的编码部，获取从模型的解码部复原的输入数据。
[0025]此处，信息处理装置10基于编码部的输出的标准偏差的大小，将从VAE的编码部输出的潜在变量的概率分布转换为第一概率分布。并且，信息处理装置10基于VAE的解码部的输出误差将第一概率分布转换为第二概率分布，输出第二概率分布作为输入数据的概率分布的推定值。
[0026]这样，信息处理装置10基于所生成的第二概率分布，将占据特定比例的概率为下位的数据检测为异常数据(Anomaly Data)。另外，信息处理装置10也可以基于第二概率分布，将多个输入数据中的阈值以下的概率的数据检测为异常数据。
[0027]图2是表示实施例1的信息处理装置10的功能结构的功能框图。如图2所示，信息处理装置10具有通信部11、显示部12、存储部13以及控制部20。
[0028]通信部11控制其它装置之间的通信。例如，通信部11从管理者的终端接收机械学习的开始指示、各种数据，将机械学习的结果、异常检测的结果等发送给管理者的终端。
[0029]存储部13存储各种数据、控制部20执行的程序等。例如，存储部13存储训练数据14、输入数据15、模型16等。
[0030]训练数据14是用于VAE的机械学习的训练数据，是属于相同的域的数据。例如，在生成从在传送带上流动的产品中检测不合格产品的模型的情况下，作为训练数据14，相当于产品的图像数据等。
[0031]输入数据15是输入到所生成的模型的各数据，是成为是否异常的判定对象的数据。若通过上述例子进行说明，则在将产品的图像数据用于训练数据14来执行VAE的机械学习的情况下，作为输入数据15，相当于在传送带上流动的产品的图像等。
[0032]模型16是由控制部20生成的模型。具体而言，模型16是应用了通过使用了训练数据14的机械学习而训练后的VAE的模型。
[0033]控制部20是掌管整个信息处理装置10的处理部，具有学习部21和检测部22。学习部21是使用训练数据14执行VAE的机械学习，来生成模型16的处理部。该学习部21生成应用了通过后述的图3所示的机械学习而训练后的VAE的模型16，并储存于存储部13中。
[0034]图3是说明VAE的结构以及机械学习的图。如图3所示，VAE具有编码部21a(f
φ
(x))、杂音生成部21b、解码部21c(g
φ
(z))、推定部21d(R)以及最优化部21e(θ，φ)。...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种推定程序，其特征在于，使计算机执行如下处理：向具有编码部和解码部的训练完毕的变分自动编码器输入输入数据，基于从所述编码部输出的标准偏差的大小，将由所述训练完毕的变分自动编码器根据所述输入而生成的潜在变量的概率分布转换为第一概率分布，基于与所述输入数据相关的所述解码部的输出误差，将所述第一概率分布转换为第二概率分布，输出所述第二概率分布作为所述输入数据的概率分布的推定值。2.根据权利要求1所述的推定程序，其特征在于，转换为所述第一概率分布的处理包括如下处理：基于所述标准偏差的大小，通过从所述潜在变量向主成分坐标的转换处理，将所述潜在变量的概率分布转换为所述第一概率分布。3.根据权利要求2所述的推定程序，其特征在于，所述转换处理包括：从所述编码部获取所述潜在变量的概率分布的分布参数亦即所述标准偏差和平均的处理；使用所述标准偏差的大小计算所述主成分坐标与所述潜在变量之间的标度的变化率的处理；使用所述标准偏差、所述平均以及所述变化率，将所述潜在变量转换为所述主成分坐标。4.根据权利要求3所述的推定程序，其特征在于，转换为所述第二概率分布的处理包括如下处理：将所述第一概率分布中的主成分以外的概率分布设定为常数，并使用遵循设定输入数据的所述标度的正态分布的所述输出误差...

【专利技术属性】
技术研发人员：镰田裕一，中川章，加藤圭造，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：