神经网络的生成方法和装置制造方法及图纸

本公开的实施例公开了神经网络的生成方法和装置。该方法的一具体实施方式包括：获取待训练的神经网络，神经网络包括特征提取网络、筛选网络和输出网络，特征提取网络用于生成概率向量，筛选网络用于对输入的概率向量进行重参数处理，对重参数处理结果应用基于最优传输的Top

【技术实现步骤摘要】
神经网络的生成方法和装置


[0001]本公开的实施例涉及计算机
，具体涉及神经网络神经网络的生成方法和装置。

技术介绍

[0002]Top
‑
K Coreset是一种通用的排序抽样的方法，能够实现用较小集合逼近原始集合。一些情况下，Top
‑
K Coreset被应用于神经网络中。为了能够训练基于Top
‑
K Coreset的神经网络，需要损失函数在每个更新步骤中相对于输入都是可微的，但Top
‑
K操作的实现算法通常涉及交换索引等操作，无法计算其梯度，从而很难被整合到神经网络的训练过程中。
[0003]基于此，现有常用的训练方法是采用两阶段的训练方式，具体使用特征提取部分的代理损失来训练神经网络所包括的特征提取部分，然后利用训练好的特征提取部分进行特征提取，再利用Top
‑
K Coreset等根据提取的特征进行后续处理。这种方式在训练过程中完全规避了Top
‑
K操作，但会使得训练和最终处理结果不一致。

技术实现思路

[0004]本公开的实施例提出了神经网络的生成方法和装置。
[0005]第一方面，本公开的实施例提供了一种神经网络神经网络的生成方法，该方法包括：获取待训练的神经网络，其中，神经网络包括特征提取网络、筛选网络和输出网络，特征提取网络用于提取样本特征，以及根据样本特征生成概率向量，筛选网络用于对输入的概率向量进行重参数处理，以及对重参数处理结果应用基于最优传输的Top
‑
K算法，输出网络用于根据筛选网络的输出生成处理结果；获取训练数据集，其中，训练数据集中的训练数据包括待处理样本和待处理样本对应的标签数据，待处理样本的类型包括以下至少一项：文本、图像、音频以及视频；将训练数据集中的待处理样本作为神经网络的输入，将输入的待处理样本对应的标签数据作为神经网络的期望输出，利用反向传播算法训练神经网络，以得到训练完成的神经网络。
[0006]在一些实施例中，上述筛选网络利用Gumbel Trick对输入的概率向量进行重参数处理。
[0007]在一些实施例中，上述筛选网络利用Sinkhorn算法实现基于最优传输的Top
‑
K算法。
[0008]在一些实施例中，上述概率向量中的各元素分别与预设信息集中的信息对应；以及输出网络生成的处理结果用于指示从预设信息集中选取的信息。
[0009]第二方面，本公开的实施例提供了一种信息推送方法，该方法包括：获取候选推送信息集；利用预先训练的神经网络从候选推送信息集中选取信息，其中，神经网络利用如第一方面中最后一种实现方式描述的方法训练得到；对从候选推送信息集中选取的信息进行推送。
[0010]第三方面，本公开的实施例提供了一种神经网络的生成装置，该装置包括：第一获
取单元，被配置成获取待训练的神经网络，其中，神经网络包括特征提取网络、筛选网络和输出网络，特征提取网络用于提取样本特征，以及根据样本特征生成概率向量，筛选网络用于对输入的概率向量进行重参数处理，以及对重参数处理结果应用基于最优传输的Top
‑
K算法，输出网络用于根据筛选网络的输出生成处理结果；第二获取单元，被配置成获取训练数据集，其中，训练数据集中的训练数据包括待处理样本和待处理样本对应的标签数据，待处理样本的类型包括以下至少一项：文本、图像、音频、视频；训练单元，被配置成将训练数据集中的待处理样本作为神经网络的输入，将输入的待处理样本对应的标签数据作为神经网络的期望输出，利用反向传播算法训练神经网络，以得到训练完成的神经网络。
[0011]在一些实施例中，上述筛选网络利用Gumbel Trick对输入的概率向量进行重参数处理。
[0012]在一些实施例中，上述筛选网络利用Sinkhorn算法实现基于最优传输的Top
‑
K算法。
[0013]在一些实施例中，上述概率向量中的各元素分别与预设信息集中的信息对应；以及输出网络生成的处理结果用于指示从预设信息集中选取的信息。
[0014]第四方面，本公开的实施例提供了一种信息推送装置，该装置包括第三获取单元，被配置成获取候选推送信息集；选取单元，被配置成利用预先训练的神经网络从候选推送信息集中选取信息，其中，神经网络如第一方面中最后一种实现方式所描述的方法训练得到；推送单元，被配置成对从候选推送信息集中选取的信息进行推送。
[0015]第五方面，本公开的实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
[0016]第六方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0017]本公开的实施例提供的神经网络的生成方法和装置，不仅基于最优传输的Top
‑
K算法解决了Top
‑
K算法无法计算梯度的问题，而且还通过在基于最优传输的Top
‑
K算法的神经网络中引入重参数化来模拟从连续概率分布到近似离散决策变量的采样过程，且保持梯度，从而缓解了基于最优传输的Top
‑
K算法的神经网络的求解不准确的问题，并且优化了映射推断和Top
‑
K算法的间隙。同时，基于最优传输的Top
‑
K算法的神经网络可以利用Top
‑
K算法减少后续参与计算的数据量，从而有助于提升计算效率，也可以降低计算过程的资源消耗。
附图说明
[0018]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
[0019]图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
[0020]图2是根据本公开的神经网络的生成方法的一个实施例的流程图；
[0021]图3是根据本公开的信息推送方法的一个实施例的流程图；
[0022]图4是根据本公开的神经网络的生成装置的一个实施例的结构示意图；
[0023]图5是根据本公开的信息推送装置的一个实施例的结构示意图；
[0024]图6是适于用来实现本公开的实施例的电子设备的结构示意图。
具体实施方式
[0025]下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0026]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0027]图1示出了可以应用本公开的神经网络的生成方法或神经网络的生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的生成方法，包括：获取待训练的神经网络，其中，所述神经网络包括特征提取网络、筛选网络和输出网络，所述特征提取网络用于提取样本特征，以及根据样本特征生成概率向量，筛选网络用于对输入的概率向量进行重参数处理，以及对重参数处理结果应用基于最优传输的Top
‑
K算法，所述输出网络用于根据所述筛选网络的输出生成处理结果；获取训练数据集，其中，所述训练数据集中的训练数据包括待处理样本和所述待处理样本对应的标签数据，所述待处理样本的类型包括以下至少一项：文本、图像、音频以及视频；将所述训练数据集中的所述待处理样本作为所述神经网络的输入，将输入的所述待处理样本对应的标签数据作为所述神经网络的期望输出，利用反向传播算法训练所述神经网络，以得到训练完成的神经网络。2.根据权利要求1所述的方法，其中，所述筛选网络利用Gumbel Trick对所述概率向量进行重参数处理。3.根据权利要求1所述的方法，其中，所述筛选网络利用Sinkhorn算法实现基于最优传输的Top
‑
K算法。4.根据权利要求1
‑
3之一所述的方法，其中，所述概率向量中的各元素分别与预设信息集中的信息对应；以及所述输出网络生成的处理结果用于指示从所述预设信息集中选取的信息。5.一种信息推送方法，包括：获取候选推送信息集；利用预先生成的神经网络从所述候选推送信息集中选取信息，其中，所述神经网络利用权利要求4所示的方法训练得到；对从所述候选推送信息集中选取的信息进行推送。6.一种神经网络的生成装置，包括：第一获取单元，被配置成获取待训练的神经网络，其中，所述神经网络包括特征提取网络、筛选网络和输出网络，所述特征提取网络用于提取样本特征，以及根据样本特征生成概率向量，筛选网络用于对输入的概率向量进行重参数处理，以及对重参数...

【专利技术属性】
技术研发人员：沈力，陶大程，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：