文档生成方法及装置、存储介质制造方法及图纸

本申请披露了一种文档生成方法及装置、存储介质。该方法包括：根据简略文档和与之对应的音频文件，通过编码器，得到融合特征向量，其中，融合特征向量融合有简略文档对应的第一特征向量和音频文件对应的第二特征向量，第一特征向量包括简略文档的局部关键信息，第二特征向量包括音频文件的全局细节信息；根据融合特征向量，通过解码器，得到第一详细文档，能够同时兼顾文档的局部关键信息和全局细节信息，从而得到了质量更高的详细文档。而得到了质量更高的详细文档。而得到了质量更高的详细文档。

【技术实现步骤摘要】
文档生成方法及装置、存储介质


[0001]本申请涉及计算机
，具体涉及一种文档生成方法及装置、存储介质。

技术介绍

[0002]自然语言处理技术是计算机科学计算领域与人工智能计算领域中的一个重要方向，随着自然语言处理技术的不断成熟，其开始广泛应用于文档自动生成。现有的文档自动生成技术包括文档自动摘要技术或文档自动补全技术，例如，文档自动摘要可以从冗余的长文档中迅速归纳关键信息，文档自动补全可以基于用户给定的文本作为开头，补全文本内容，甚至生成一部完整小说和影视剧本。然而，不管是自动摘要还是自动补全，都无法提供高质量的详细文档。

技术实现思路

[0003]有鉴于此，本申请提供一种文档生成方法及装置、存储介质，能够生成质量更高的详细文档。
[0004]第一方面，提供一种文档生成方法，包括：根据简略文档和与之对应的音频文件，通过编码器，得到融合特征向量，其中，所述融合特征向量融合有所述简略文档对应的第一特征向量和所述音频文件对应的第二特征向量，所述第一特征向量包括所述简略文档的局部关键信息，所述第二特征向量包括所述音频文件的全局细节信息；根据所述融合特征向量，通过解码器，得到第一详细文档。
[0005]第二方面，提供一种文档生成装置，包括：获取模块，配置为根据简略文档和与之对应的音频文件，通过编码器，得到融合特征向量，其中，所述融合特征向量融合有所述简略文档对应的第一特征向量和所述音频文件对应的第二特征向量，所述第一特征向量包括所述简略文档的局部关键信息，所述第二特征向量包括所述音频文件的全局细节信息；生成模块，配置为根据所述融合特征向量，通过解码器，得到第一详细文档。
[0006]第三方面，提供一种文档生成装置，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如第一方面所述的方法。
[0007]第四方面，提供一种存储介质，其上存储有可执行代码，当所述执行所述可执行代码被执行时，能够实现如第一方面所述的方法。
[0008]第五方面，提供一种计算机程序产品，包括可执行代码，当所述可执行代码被执行时，能够实现如第一方面所述的方法。
[0009]本申请实施例提出的文档生成方法，通过将简略文档和与之对应的音频文件输入编码器中，能够得到融合有简略文档对应的第一特征向量和音频文件对应的第二特征向量的融合特征向量，再根据融合特征向量，通过解码器，能够得到第一详细文档。由于第一特征向量包括简略文档的局部关键信息，第二特征向量包括音频文件的全局细节信息，因此，本申请实施例提出的文档生成方法能够同时兼顾文档的局部关键信息和全局细节信息，从而得到了质量更高的详细文档。
附图说明
[0010]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0011]图1所示为本申请实施例提供的系统框架示例图。
[0012]图2所示为本申请一实施例提供的文档生成方法的流程示意图。
[0013]图3所示为本申请另一实施例提供的文档生成方法的流程示意图。
[0014]图4所示为本申请另一实施例提供的文档生成方法的流程示意图。
[0015]图5所示为本申请另一实施例提供的文档生成方法的流程示意图。
[0016]图6所示为本申请一实施例提供的编码器和解码器的训练方法的流程示意图。
[0017]图7所示为本申请另一实施例提供的编码器和解码器的训练方法的流程示意图。
[0018]图8所示为本申请一实施例提供的文档生成系统的结构示意图。
[0019]图9所示为本申请一个实施例提供的文档生成装置的结构示意图。
[0020]图10所示为本申请另一个实施例提供的文档生成装置的结构示意图。
具体实施方式
[0021]本申请实施例技术方案适用于文档自动生成的应用场景，采用本申请实施例技术方案，能够同时兼顾文档的局部关键信息和全局细节信息，从而得到质量更高的详细文档。
[0022]现有的文档自动生成的方案从是否依赖外部辅助信息作为输入可细分成两种类型。一是仅利用文档自身信息的生成方案，例如，文档自动摘要和文档自动补全，通过建模输入文档中的语义信息，据此判断用户意图，可以对原始文档进行总结或进行补全文档的后续内容，以得到详细文档；二是引入外部知识(例如，知识库)作为输入，结合历史信息进行文档生成，在生成策略上，主要沿用上述提及的文档自动摘要技术或文档自动补全技术。值得注意的是，这两种文档自动生成的方案的主要区别在于输入信息上的不同，采用的文档生成技术是一致的。通过引入外部知识，使得模型能够挖掘更多有用信息用于文档生成，从而输出更符合用户需求的文档。
[0023]现有的文档自动生成技术大都采用编码器
‑
解码器结构，先利用编码器建模输入文档中的语义信息，然后解码器根据编码器输出的隐藏状态进行逐词生成。但是利用编码器建模输入文档中的语义信息只能够兼顾文档的局部关键信息和全局细节信息中的一个，却无法同时兼顾文档的局部关键信息和全局细节信息。
[0024]例如，以文档自动摘要为例，其输入的是完整的长文档，推理模型可以从中“复制关键词”并加以整理，即可得到归纳的详细文本，这是一个“从长到短”的生成过程；再以文档自动补全为例，其输入前半段内容，要求推理模型对后半段内容进行补充，这是一个“由前向后”的生成过程。然而，不管是哪种生成过程，都无法同时兼顾文档的局部关键信息和全局细节信息，以得到质量更高的详细文档。
[0025]为了解决上述问题，本申请实施例通过将简略文档和与之对应的音频文件输入编码器中，能够得到融合有简略文档对应的第一特征向量和音频文件对应的第二特征向量的融合特征向量，再根据融合特征向量，通过解码器，能够得到第一详细文档。由于第一特征
向量包括简略文档的局部关键信息，第二特征向量包括音频文件的全局细节信息，因此，本申请实施例提出的文档生成方法能够同时兼顾文档的局部关键信息和全局细节信息，从而得到了质量更高的详细文档。
[0026]也就是说，不同于上述提及的文档自动摘要或文档自动补全，本申请实施例所提供的文档生成方法采用的是“从短到长”的生成过程和“由全局到局部”的生成过程。
[0027]下面结合图1，对本申请实施例提供的实施环境进行更为详细地举例说明。
[0028]如图1所示，该实施环境包括：服务器140和多个终端设备110、120、130。其中，终端设备110、120、130具备输入装置，可以获取简略文档151，终端设备110、120、130还具备录音装置，可以获取与简略文档对应的音频文件152。
[0029]终端设备110、120、130可以是手机、游戏主机、平板电脑、照相机、摄像机、车载电脑等移动终端设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文档生成方法，其特征在于，包括：根据简略文档和与之对应的音频文件，通过编码器，得到融合特征向量，其中，所述融合特征向量融合有所述简略文档对应的第一特征向量和所述音频文件对应的第二特征向量，所述第一特征向量包括所述简略文档的局部关键信息，所述第二特征向量包括所述音频文件的全局细节信息；根据所述融合特征向量，通过解码器，得到第一详细文档。2.根据权利要求1所述的方法，其特征在于，还包括：a)对第n
‑
1详细文档进行评估，得到第n
‑
1评估结果，其中，所述n为大于或等于2且小于或等于N的整数，当所述n等于2时，所述第n
‑
1详细文档为所述第一详细文档，所述第n
‑
1评估结果用于表示所述第n
‑
1详细文档的质量；b)在所述第n
‑
1评估结果不满足所述预设条件时，根据所述第n
‑
1详细文档，通过所述解码器，得到第n详细文档；迭代执行上述步骤a)和b)，得到第N详细文档；对所述第N详细文档进行评估，得到满足所述预设条件的第N评估结果，并确定所述第N详细文档为最终详细文档。3.根据权利要求2所述的方法，其特征在于，在所述第n
‑
1评估结果不满足所述预设条件时，所述根据所述第n
‑
1详细文档，通过所述解码器，得到第n详细文档，包括：根据所述第n
‑
1详细文档和所述融合特征向量，通过所述解码器，得到所述第n详细文档。4.根据权利要求2所述的方法，其特征在于，所述对第n
‑
1详细文档进行评估，得到第n
‑
1评估结果，包括：基于预设评估模型，对所述第n
‑
1详细文档进行评估，得到所述第n
‑
1评估结果。5.根据权利要求4所述的方法，其特征在于，当所述预设评估模型为基于评估指标ROUGE
‑
L的模型时，所述基于预设评估模型，对所述第n
‑
1详细文档进行评估，得到所述第n
‑
1评估结果，包括：将所述第n
‑
1详细文档输入所述基于评估指标ROUGE
‑
L的模型，对所述第n
‑
1详细文档的语言流畅性进行评估，得到所述第n
‑
1评估结果，和/或当所述预设评估模型为文档自动摘要模型时，所述基于预设评估模型，对所述第n
‑
1详细文档进行评估，得到所述第n
‑
1评估结果，包括：将所述第n
‑
1详细文档输入所述文档自动摘要模型，对所述第n
‑
1详细文档的逻辑完备性和/或用户意图进行评估，得到所述第n
‑
1评估结果，和/或当所述预设评估模型为基于对抗神经网络的判别器时，所述基于预设评估模型，对所述第n
‑
1详细文档进行评估，得到所述第n
‑
1评估结果，包括：将所述第n
‑
1详细文档输入所述基于对抗神经网络的判别器，对所述第n
‑
1详细文档是否符合人类书写习惯进行评估，得到所述第n
‑
1评估结果。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据简略文档和与之对应的音频文件，通过编码器，得到融合特征向量，包括：将所述简略文档输入所述编码器中，得到所述第一特征向量；将...

【专利技术属性】
技术研发人员：许光辉，杜倩云，
申请(专利权)人：科大讯飞华南人工智能研究院广州有限公司，
类型：发明
国别省市：