解释业务处理模型的业务处理结果的方法和装置制造方法及图纸

本说明书实施例提供一种解释业务处理模型的业务处理结果的方法和装置，方法包括：将待解释样本输入预先训练的基于变分自动编码器VAE的生成模型，得到第一数目个扰动样本，待解释样本和扰动样本均包含多个特征维度；将待解释样本和第一数目个扰动样本分别输入通过神经网络实现的业务处理模型，输出待解释样本对应的第一业务处理结果，以及各扰动样本分别对应的第二业务处理结果；以第二业务处理结果与第一业务处理结果一致作为筛选条件，从第一数目个扰动样本中筛选出第二数目个扰动样本；统计第二数目个扰动样本与待解释样本在各特征维度上的差异，根据各特征维度上的差异对第一业务处理结果作出解释。能够降低计算复杂度、提高效率。

Methods and devices for interpreting business processing results of business processing models

【技术实现步骤摘要】
解释业务处理模型的业务处理结果的方法和装置
本说明书一个或多个实施例涉及计算机领域，尤其涉及解释业务处理模型的业务处理结果的方法和装置。
技术介绍
机器学习目前在零售、技术、医疗保健以及科学等等领域都有着广泛的应用。不管是分类模型还是回归模型给出的都是一个结果或者决策，整个决策过程对人来说是不可见或者是不可理解的。通过神经网络实现的业务处理模型的决策过程和人们更容易接受和理解的规则之间有很大的差别，规则的决策都是对应于一条条容易理解并且可追溯的决策路径，而上述业务处理模型的决策更多的是一个黑盒过程，只有输入输出暴露给用户，决策过程对用户透明不可感知，即使决策错误也是不可追溯的。而这些黑盒不可追溯、不可控制的性质，正是阻挡其在某些特定领域发挥作用的原因，特别是在金融领域，比如保险、银行等安全性要求高的场景，要求稳定性和可控性。现有技术中，解释业务处理模型的业务处理结果的方法，通常计算复杂度高、效率低。因此，希望能有改进的方案，在解释业务处理模型的业务处理结果时，能够降低计算复杂度、提高效率。
技术实现思路
本说明书一个或多个实施例描述了一种解释业务处理模型的业务处理结果的方法和装置，能够降低计算复杂度、提高效率。第一方面，提供了一种解释业务处理模型的业务处理结果的方法，方法包括：将待解释样本输入预先训练的基于变分自动编码器(variationalautoencoders，VAE)的生成模型，得到第一数目个扰动样本，所述待解释样本和所述扰动样本均包含多个特征维度；将所述待解释样本和所述第一数目个扰动样本分别输入通过神经网络实现的业务处理模型，通过所述业务处理模型输出所述待解释样本对应的第一业务处理结果，以及各扰动样本分别对应的第二业务处理结果；以所述第二业务处理结果与所述第一业务处理结果一致作为筛选条件，从所述第一数目个扰动样本中筛选出第二数目个扰动样本；统计所述第二数目个扰动样本与所述待解释样本在各特征维度上的差异，根据所述各特征维度上的差异对所述第一业务处理结果作出解释。在一种可能的实施方式中，所述待解释样本对应于目标用户；所述业务处理模型输出的业务处理结果用于指示是否拦截所述目标用户的预设行为。在一种可能的实施方式中，所述业务处理模型包括深度神经网络(deepneuralnetworks，DNN)。在一种可能的实施方式中，所述生成模型通过如下方式训练：将训练样本输入所述生成模型，通过所述生成模型输出训练扰动样本；把所述训练样本和所述训练扰动样本输入所述业务处理模型，所述业务处理模型包括若干隐层；针对所述若干隐层中的目标隐层，获取所述训练样本和所述训练扰动样本分别在所述目标隐层的目标隐向量和扰动隐向量；确定所述目标隐向量和所述扰动隐向量之间的交叉熵；根据所述交叉熵确定重构误差；以最小化所述重构误差为目标，对所述生成模型进行训练。进一步地，所述目标隐层为所述若干隐层中的任一隐层；所述根据所述交叉熵确定重构误差，包括：将所述若干隐层中各隐层分别对应的交叉熵进行求和，从而确定重构误差。在一种可能的实施方式中，所述生成模型包括编码器、解码器和采样单元；所述编码器，用于接收输入样本，通过所述编码器输出所述输入样本对应的隐向量所服从的高斯分布的均值和方差；所述采样单元，用于从所述编码器输出的均值和方差对应的高斯分布的各隐向量中采样得到第一隐向量；所述解码器，用于对所述第一隐向量解码得到第一扰动样本。进一步地，所述编码器包括：深度神经网络DNN、多层感知器(multi-Layerperceptron，MLP)或卷积神经网络(convolutionalneuralnetworks，CNN)。进一步地，所述将待解释样本输入预先训练的基于变分自动编码器VAE的生成模型，得到第一数目个扰动样本，包括：将待解释样本作为输入样本输入预先训练的所述编码器，通过所述编码器输出所述输入样本对应的隐向量所服从的高斯分布的均值和方差；所述采样单元从所述编码器输出的均值和方差对应的高斯分布的各隐向量中采样得到第一数目个第一隐向量；所述解码器对所述第一数目个第一隐向量解码得到第一数目个第一扰动样本。在一种可能的实施方式中，所述统计所述第二数目个扰动样本与所述待解释样本在各特征维度上的差异，根据所述各特征维度上的差异对所述第一业务处理结果作出解释，包括：统计所述第二数目个扰动样本与所述待解释样本在各特征维度上的方差，根据所述各特征维度上的方差，确定对得到所述第一业务处理结果的依据中所述各特征维度的重要度。第二方面，提供了一种解释业务处理模型的业务处理结果的装置，装置包括：生成单元，用于将待解释样本输入预先训练的基于变分自动编码器VAE的生成模型，得到第一数目个扰动样本，所述待解释样本和所述扰动样本均包含多个特征维度；业务处理单元，用于将所述待解释样本和所述生成单元得到的第一数目个扰动样本分别输入通过神经网络实现的业务处理模型，通过所述业务处理模型输出所述待解释样本对应的第一业务处理结果，以及各扰动样本分别对应的第二业务处理结果；筛选单元，用于以所述业务处理单元得到的所述第二业务处理结果与所述第一业务处理结果一致作为筛选条件，从所述生成单元得到的第一数目个扰动样本中筛选出第二数目个扰动样本；解释单元，用于统计所述筛选单元得到的第二数目个扰动样本与所述待解释样本在各特征维度上的差异，根据所述各特征维度上的差异对所述业务处理单元得到的第一业务处理结果作出解释。第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。通过本说明书实施例提供的方法和装置，首先将待解释样本输入预先训练的基于变分自动编码器VAE的生成模型，得到第一数目个扰动样本，所述待解释样本和所述扰动样本均包含多个特征维度；然后将所述待解释样本和所述第一数目个扰动样本分别输入通过神经网络实现的业务处理模型，通过所述业务处理模型输出所述待解释样本对应的第一业务处理结果，以及各扰动样本分别对应的第二业务处理结果；接着以所述第二业务处理结果与所述第一业务处理结果一致作为筛选条件，从所述第一数目个扰动样本中筛选出第二数目个扰动样本；最后统计所述第二数目个扰动样本与所述待解释样本在各特征维度上的差异，根据所述各特征维度上的差异对所述第一业务处理结果作出解释。由上可见，本说明书实施例，通过构建生成模型，针对待解释样本生成若干扰动样本，扰动样本即待解释样本的邻域伪样本，筛选出业务处理模型针对扰动样本和待解释样本的业务处理结果一致的那些扰动样本，模型解释性来自于这些筛选出的扰动样本。该方法能够对已有的业务处理模型进行样本级别的解本文档来自技高网...

【技术保护点】
1.一种解释业务处理模型的业务处理结果的方法，所述方法包括：/n将待解释样本输入预先训练的基于变分自动编码器VAE的生成模型，得到第一数目个扰动样本，所述待解释样本和所述扰动样本均包含多个特征维度；/n将所述待解释样本和所述第一数目个扰动样本分别输入通过神经网络实现的业务处理模型，通过所述业务处理模型输出所述待解释样本对应的第一业务处理结果，以及各扰动样本分别对应的第二业务处理结果；/n以所述第二业务处理结果与所述第一业务处理结果一致作为筛选条件，从所述第一数目个扰动样本中筛选出第二数目个扰动样本；/n统计所述第二数目个扰动样本与所述待解释样本在各特征维度上的差异，根据所述各特征维度上的差异对所述第一业务处理结果作出解释。/n

【技术特征摘要】
1.一种解释业务处理模型的业务处理结果的方法，所述方法包括：
将待解释样本输入预先训练的基于变分自动编码器VAE的生成模型，得到第一数目个扰动样本，所述待解释样本和所述扰动样本均包含多个特征维度；
将所述待解释样本和所述第一数目个扰动样本分别输入通过神经网络实现的业务处理模型，通过所述业务处理模型输出所述待解释样本对应的第一业务处理结果，以及各扰动样本分别对应的第二业务处理结果；
以所述第二业务处理结果与所述第一业务处理结果一致作为筛选条件，从所述第一数目个扰动样本中筛选出第二数目个扰动样本；
统计所述第二数目个扰动样本与所述待解释样本在各特征维度上的差异，根据所述各特征维度上的差异对所述第一业务处理结果作出解释。


2.如权利要求1所述的方法，其中，所述待解释样本对应于目标用户；
所述业务处理模型输出的业务处理结果用于指示是否拦截所述目标用户的预设行为。


3.如权利要求1所述的方法，其中，所述业务处理模型包括深度神经网络DNN。


4.如权利要求1所述的方法，其中，所述生成模型通过如下方式训练：
将训练样本输入所述生成模型，通过所述生成模型输出训练扰动样本；
把所述训练样本和所述训练扰动样本输入所述业务处理模型，所述业务处理模型包括若干隐层；
针对所述若干隐层中的目标隐层，获取所述训练样本和所述训练扰动样本分别在所述目标隐层的目标隐向量和扰动隐向量；确定所述目标隐向量和所述扰动隐向量之间的交叉熵；
根据所述交叉熵确定重构误差；
以最小化所述重构误差为目标，对所述生成模型进行训练。


5.如权利要求4所述的方法，其中，所述目标隐层为所述若干隐层中的任一隐层；
所述根据所述交叉熵确定重构误差，包括：
将所述若干隐层中各隐层分别对应的交叉熵进行求和，从而确定重构误差。


6.如权利要求1所述的方法，其中，所述生成模型包括编码器、解码器和采样单元；
所述编码器，用于接收输入样本，通过所述编码器输出所述输入样本对应的隐向量所服从的高斯分布的均值和方差；
所述采样单元，用于从所述编码器输出的均值和方差对应的高斯分布的各隐向量中采样得到第一隐向量；
所述解码器，用于对所述第一隐向量解码得到第一扰动样本。


7.如权利要求6所述的方法，其中，所述编码器包括：深度神经网络DNN、多层感知器MLP或卷积神经网络CNN。


8.如权利要求6所述的方法，其中，所述将待解释样本输入预先训练的基于变分自动编码器VAE的生成模型，得到第一数目个扰动样本，包括：
将待解释样本作为输入样本输入预先训练的所述编码器，通过所述编码器输出所述输入样本对应的隐向量所服从的高斯分布的均值和方差；
所述采样单元从所述编码器输出的均值和方差对应的高斯分布的各隐向量中采样得到第一数目个第一隐向量；
所述解码器对所述第一数目个第一隐向量解码得到第一数目个第一扰动样本。


9.如权利要求1所述的方法，其中，所述统计所述第二数目个扰动样本与所述待解释样本在各特征维度上的差异，根据所述各特征维度上的差异对所述第一业务处理结果作出解释，包括：
统计所述第二数目个扰动样本与所述待解释样本在各特征维度上的方差，根据所述各特征维度上的方差，确定对得到所述第一业务处理结果的依据中所述各特征维度的重要度。


10.一种解释业务处理模型的业务处理结果的装置，所述装置包括：
生成单元，用于将待解释样本输入预先训练的基于变分自动编码器VAE的生成模...

【专利技术属性】
技术研发人员：唐才智，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33