文本生成方法、装置、电子设备和计算机可读介质制造方法及图纸

本公开的实施例公开了文本生成方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取源文本；将源文本输入变分自编码器，得到目标文本，其中，变分自编码器以混合指数分布作为先验，变分自编码器在训练过程中所使用的损失函数包括分散项，分散项用于调整混合组分的分散趋势，混合组分是混合指数分布对应的多个指数分布。该实施方式实现了减轻模式塌缩、增强可解释性，并且对于目标文本的质量的提升有显著的效果。

【技术实现步骤摘要】
文本生成方法、装置、电子设备和计算机可读介质
本公开的实施例涉及计算机
，具体涉及文本生成方法、装置、电子设备和计算机可读介质。
技术介绍
变分自编码器(VAE，Variationalauto-encoder)由于其自身特性被广泛应用于文本生成、图像生成等等领域。但是，变分训练中往往存在模式塌缩的问题。举例来说，在语言生成任务中，多个高斯先验在训练中趋于崩溃，最终反生成为一个高斯先验。如图1所示，预约“remindmeaboutmymeeting.”和询问天气“willitbehumidin**today？”被映射到同一个模式。此外，在图像建模任务中也观察到模式塌缩的问题。
技术实现思路
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了文本生成方法、装置、电子设备和计算机可读介质，来解决以上
技术介绍
部分提到的技术问题。第一方面，本文档来自技高网...

【技术保护点】
1.一种文本生成方法，包括：/n获取源文本；/n将所述源文本输入变分自编码器，得到目标文本，其中，所述变分自编码器以混合指数分布作为先验，所述变分自编码器在训练过程中所使用的损失函数包括分散项，所述分散项用于调整混合组分的分散趋势，所述混合组分是混合指数分布对应的多个指数分布。/n

【技术特征摘要】
1.一种文本生成方法，包括：
获取源文本；
将所述源文本输入变分自编码器，得到目标文本，其中，所述变分自编码器以混合指数分布作为先验，所述变分自编码器在训练过程中所使用的损失函数包括分散项，所述分散项用于调整混合组分的分散趋势，所述混合组分是混合指数分布对应的多个指数分布。


2.根据权利要求1所述的方法，其中，所述损失函数还包括分散控制参数，所述分散控制参数用于调整所述混合组分的方差与集中度。


3.根据权利要求1所述的方法，其中，所述分散项通过以下方式得到：
将所述变分自编码器的证据下界分解为隐变量的正则项和重构项；
基于所述混合组分的概率密度函数对所述正则项进行改写，得到均值项和所述分散项。


4.根据权利要求1所述的方法，其中，所述变分自编码器包括编码器和解码器；以及
所述将所述源文本输入变分自编码器，得到目标文本，包括：
将所述源文本输入所述编码器，得到将所述源文本编码后的隐状态；
基于所述隐状态得到后验分布的参数；
根据所述后验分布的参数从混合组分采样得到隐变量；
将所述隐变量输入所述解码器，...

【专利技术属性】
技术研发人员：施文娴，周浩，李磊，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11