深度神经网络的解释方法、装置、终端及存储介质制造方法及图纸

本发明专利技术提出一种深度神经网络的解释方法、装置、终端及存储介质，涉及人工智能技术领域，具体公开了通过深度神经网络输出的结果从输入的多个数据中确定所有的目标数据，再将目标数据分别输入至解释因子预测模型中，得到每个目标数据对应的一组解释因子，再统计多组解释因子中每个解释因子的出现次数并排序后，筛选排名最高的目标数量个解释因子作为预设目标类别的目标解释因子。本发明专利技术通过预先训练好的解释因子预测模型得到预测结果的解释因子，以解释影响深度神经网络预测结果主要因素，其可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通场景中，从而推动智慧城市的建设。

【技术实现步骤摘要】
深度神经网络的解释方法、装置、终端及存储介质
本专利技术涉及人工智能
，尤其涉及一种深度神经网络的解释方法、装置、终端及存储介质。
技术介绍
神经网络算法，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。其具有自主学习功能，可通过训练慢慢学会识别和预测；联想存储功能，具有很高算法健壮性；并行度高，具有高速寻找优化解的能力，可针对大数据复杂问题快速找到优化解；可塑性强，可充分逼近任意复杂的非线性关系；具有很强的信息综合能力，能同时处理定量和定性的信息，适用于多信息融合和多媒体技术。近年来，神经网络的研究工作不断深入，已经取得了很大的进展，其在图像处理、模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多传统计算机方法难以解决的实际问题，表现出了良好的智能特性，推动着信息处理技术和人工智能不断地发展。深度神经网络模型的可解释性一直是业内的重点关注领域，模型的可解释性对于模型改进和模型可信性与透明度都有重要作用。特征可视化是目前常用的神经网络的解释方法，其寻找模型输入中各个区域对模型预测的影响并进行可视化表示，可以在一定程度上说明模型的关注点，但是在实际应用中，仅通过特征可视化很难对模型进行定量的解释，也不能反映影响模型判断的主要因素，无法很好的解释模型是根据哪些因子得到的预测结果。
技术实现思路
本专利技术提供一种深度神经网络的解释方法、装置、终端及存储介质，以解决难以确定影响深度神经网络预测结果的因素的问题。为实现上述目的，本专利技术提供一种深度神经网络的解释方法，包括：输入多个数据至训练好的深度神经网络模型中，得到每一个数据对应的第一预测类别；当第一预测类别为预设目标类别时，将第一预测类别对应的目标数据输入至解释因子预测模型中，以得到预设目标类别对应的解释因子，解释因子预测模型根据预先设定的目标数量和预设目标类别的第一预测值训练得到；统计每一个解释因子的出现次数并排序后，筛选排名最高的目标数量个解释因子作为预设目标类别的目标解释因子。作为本专利技术的进一步改进，还包括预先训练解释因子预测模型，包括：逐个输入样本至训练好的深度神经网络模型中，得到每个样本对应的预测类别以及第一预测值；当预测类别为预设目标类别时，将预测类别对应的目标样本输入至解释因子预测模型中，得到每个解释因子的第二预测值；根据第一预测值、第二预测值和目标数量构建解释因子标签；基于解释因子标签和第二预测值反向传播更新解释因子预测模型；循环执行上述步骤直至解释因子预测模型收敛，并将收敛的解释因子预测模型与预设目标类别绑定。作为本专利技术的进一步改进，利用第一预测值、每个解释因子的第二预测值和目标数量构建解释因子标签，包括：根据第一预测值和目标数量计算所有的解释因子中取值为1的解释因子的数目w，w＝ceil(m×Sk)，其中，ceil表示向上取整，m表示目标数量，Sk表示第一预测值；根据每个解释因子的第二预测值的大小，将第二预测值最大的w个解释因子的值设置为1，将其余的解释因子的值设置为0，得到解释因子标签。作为本专利技术的进一步改进，逐个输入样本至训练好的深度神经网络模型中之前，还包括：获取用户预先输入的至少一个预设目标类别，以及每个预设目标类别对应的目标解释因子的目标数量。作为本专利技术的进一步改进，输入多个数据至训练好的深度神经网络模型中之前，还包括：获取用户预先输入的至少一个预设目标类别，每个预设目标类别均对应有预先训练至收敛状态的解释因子预测模型。作为本专利技术的进一步改进，将第一预测类别对应的目标数据输入至解释因子预测模型中，以得到预设目标类别对应的解释因子，包括：将预设目标类别对应的目标数据输入至与预设目标类别对应的解释因子预测模型中，得到每个解释因子的第二预测值；将第二预测值超过预设阈值的解释因子的值取1，并作为预设目标类别对应的解释因子。作为本专利技术的进一步改进，将第一预测类别对应的目标数据输入至解释因子预测模型中之前，还包括：获取与预设目标类别对应的解释因子预测模型。为实现上述目的，本专利技术还提供了一种深度神经网络的解释装置，包括：第一输入模块，用于输入多个数据至训练好的深度神经网络模型中，得到每一个数据对应的第一预测类别；第二输入模块，用于当第一预测类别为预设目标类别时，将第一预测类别对应的目标数据输入至解释因子预测模型中，以得到预设目标类别对应的解释因子，解释因子预测模型根据预先设定的目标数量和预设目标类别的第一预测值训练得到；筛选模块，用于统计每一个解释因子的出现次数并排序后，筛选排名最高的目标数量个解释因子作为预设目标类别的目标解释因子。为实现上述目的，本专利技术还提供了一种终端，终端包括处理器、与处理器耦接的存储器，其中，存储器存储有用于实现上述中任一项的深度神经网络的解释方法的程序指令；处理器用于执行存储器存储的程序指令以得到预设目标类别的目标解释因子。为实现上述目的，本专利技术还提供了一种存储介质，存储有能够实现上述中任一项的深度神经网络的解释方法的程序文件。本专利技术提出的深度神经网络的解释方法，通过当深度神经网络输出的第一预测类别为预设目标类别时，将第一预设类别对应的目标数据输入至训练好的解释因子预测模型中，得到预设目标类别对应的解释因子，通过输入不同的目标数据，从而得到多组解释因子，再统计每个解释因子的出现次数，从中筛选出排名最高的目标数量个解释因子作为该预设目标类别的目标解释因子，该目标解释因子将作为深度神经网络将目标数据的输出结果划分为预设目标类别的主要影响因素，方便用户找出影响深度神经网络模型进行分类预测的影响因子。此外，本申请的深度神经网络的解释方法还可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通场景中，从而推动智慧城市的建设。附图说明图1为本专利技术深度神经网络的解释方法第一实施例的流程示意图；图2为本专利技术深度神经网络的解释方法实施例的解释因子预测模型训练的流程示意图；图3为深度神经网络的结构示意图；图4为本专利技术深度神经网络的解释方法第二实施例的流程示意图；图5为本专利技术深度神经网络的解释装置实施例的功能模块示意图；图6为本专利技术终端实施例的结构示意图；图7为本专利技术存储介质实施例的结构示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以本文档来自技高网...

【技术保护点】
1.一种深度神经网络的解释方法，其特征在于，包括：/n输入多个数据至训练好的深度神经网络模型中，得到每一个数据对应的第一预测类别；/n当所述第一预测类别为预设目标类别时，将所述第一预测类别对应的目标数据输入至解释因子预测模型中，以得到所述预设目标类别对应的解释因子，所述解释因子预测模型根据预先设定的目标数量和所述预设目标类别的第一预测值训练得到；/n统计每一个解释因子的出现次数并排序后，筛选排名最高的所述目标数量个解释因子作为所述预设目标类别的目标解释因子。/n

【技术特征摘要】
1.一种深度神经网络的解释方法，其特征在于，包括：
输入多个数据至训练好的深度神经网络模型中，得到每一个数据对应的第一预测类别；
当所述第一预测类别为预设目标类别时，将所述第一预测类别对应的目标数据输入至解释因子预测模型中，以得到所述预设目标类别对应的解释因子，所述解释因子预测模型根据预先设定的目标数量和所述预设目标类别的第一预测值训练得到；
统计每一个解释因子的出现次数并排序后，筛选排名最高的所述目标数量个解释因子作为所述预设目标类别的目标解释因子。


2.根据权利要求1所述的方法，其特征在于，还包括预先训练所述解释因子预测模型，包括：
逐个输入样本至所述训练好的深度神经网络模型中，得到每个样本对应的预测类别以及第一预测值；
当所述预测类别为预设目标类别时，将所述预测类别对应的目标样本输入至所述解释因子预测模型中，得到每个解释因子的第二预测值；
根据所述第一预测值、所述第二预测值和所述目标数量构建解释因子标签；
基于所述解释因子标签和所述第二预测值反向传播更新所述解释因子预测模型；
循环执行上述步骤直至所述解释因子预测模型收敛，并将收敛的解释因子预测模型与所述预设目标类别绑定。


3.根据权利要求2所述的方法，其特征在于，所述利用所述第一预测值、所述每个解释因子的第二预测值和所述目标数量构建解释因子标签，包括：
根据所述第一预测值和所述目标数量计算所有的解释因子中取值为1的解释因子的数目w，w＝ceil(m×Sk)，其中，ceil表示向上取整，m表示所述目标数量，Sk表示所述第一预测值；
根据所述每个解释因子的第二预测值的大小，将所述第二预测值最大的所述w个解释因子的值设置为1，将其余的解释因子的值设置为0，得到所述解释因子标签。


4.根据权利要求2所述的方法，其特征在于，所述逐个输入样本至所述训练好的深度神经网络模型中之前，还包括：
获取用户预先输入的至少一个预设目标类别，以及每个预设目标类别对应的目标解释因子的目标数量。

【专利技术属性】
技术研发人员：陈筱，周细文，庄伯金，王少军，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44