本发明提供一种数据驱动的完全端到端的相似问句生成方法，涉及自然语言处理技术领域，本发明分为训练阶段以及预测阶段，训练阶段中，通过样本对的构建，以及训练标签的构建，之后进行掩码矩阵M的构建，最后将数据输入BERT模型中进行语义计算，从而计...

本发明涉及闲聊对话系统－文本生成－预训练模型技术领域，具体涉及一种基于GPT

本发明公开一种基于动态推敲网络的自然语言生成方法。所述方法包括：建立Encoder‑Attention‑Decoder模型；以原始文档x为输入，调用所述模型生成K个初始的句子；从K个句子中随机选取一个句子y

本发明公开一种基于多头自注意力机制的动态元嵌入方法。所述方法包括：将输入句子中的每个词表示为词向量序列，将每个词向量映射到同一维度，基于多头自注意力机制计算嵌入矩阵，得到元嵌入表示的词向量矩阵。本发明利用多头自注意力机制进行多次计算，解...

本发明公开一种基于预训练语言模型的多任务学习阅读理解方法。所述方法包括：基于语料库进行训练建立预训练语言模型，利用所述预训练语言模型获得输入文档和问题的上下文感知表示；通过设置由注意力网络构成的交互层融合问题与文档之间的语义信息，得到每...

本发明公开一种双语短文本匹配方法。所述方法包括：建立双语LDA模型；将包含相同主题的不同语言的两个短文本，分别输入双语LDA模型，得到两个短文本的主题表示；将两个短文本分别经过embedding、双向LSTM，得到两个短文本的语义表示；...