一种基于多任务学习的社区问答系统、方法及电子设备技术方案

本申请属于互联网数据库技术领域，特别涉及一种基于多任务学习的社区问答系统、方法及电子设备。所述系统包括：回答选择模型训练模块：将回答的输入和问题的输入放入双向长短记忆网络进行编码，然后输入到一个多维注意力层，将输出结果进行压平与连接后计算预测结果与真正结果的损失；问题分类模型训练模块：将问题的输入放入双向长短记忆网络进行编码，然后输入到一个两层的全连接网络，再经过一个softmax层计算预测结果与真正结果的损失；联合训练模块：用于将所述回答选择任务与问题文本分类任务统一到一个损失函数下进行联合训练，得到与输入问题相关的答案。本申请能够提高论坛社区问答系统的准确率，并提高用户的搜索效率。

【技术实现步骤摘要】
一种基于多任务学习的社区问答系统、方法及电子设备
本申请属于智能问答系统
，特别涉及一种基于多任务学习的社区问答系统、方法及电子设备。
技术介绍
法律论坛是为个人免费提供专业法律建议的网上论坛，作为获取法律建议的新途径而受到广泛的关注。然而，对于一个问题，法律论坛中很可能有成百上千的与此问题相关的答案。但是，就回答质量和相关性来说，大部分的答案并不是用户所需要的，浏览这些答案却会耗费大量时间。现有技术中，法律论坛的答案选择方法有7[LeiYu,KarlMoritzHermann,PhilBlunsom,andStephenPulman.2014.deeplearningforanswersentenceselection.InProceedingsofDeepLearningandRepresentationLearningWorkshop.NIPS.]、8[CiceroDosSantos,LucianoBarbosa,DashaBogdanova,andBiancaZadrozny.2015.Learninghybridrepresentationstoretrievesem本文档来自技高网...

【技术保护点】
1.一种基于多任务学习的社区问答系统，其特征在于，包括：回答选择模型训练模块：用于回答选择任务的模型训练：将回答的输入和问题的输入放入双向长短记忆网络进行编码，然后输入到一个多维注意力层，将输出结果进行压平与连接后计算预测结果与真正结果的损失；问题分类模型训练模块：用于问题文本分类任务的模型训练：将问题的输入放入双向长短记忆网络进行编码，然后输入到一个两层的全连接网络，再经过一个softmax层计算预测结果与真正结果的损失；联合训练模块：用于将所述回答选择任务与问题文本分类任务统一到一个损失函数下进行联合训练，得到与输入问题相关的答案。

【技术特征摘要】
1.一种基于多任务学习的社区问答系统，其特征在于，包括：回答选择模型训练模块：用于回答选择任务的模型训练：将回答的输入和问题的输入放入双向长短记忆网络进行编码，然后输入到一个多维注意力层，将输出结果进行压平与连接后计算预测结果与真正结果的损失；问题分类模型训练模块：用于问题文本分类任务的模型训练：将问题的输入放入双向长短记忆网络进行编码，然后输入到一个两层的全连接网络，再经过一个softmax层计算预测结果与真正结果的损失；联合训练模块：用于将所述回答选择任务与问题文本分类任务统一到一个损失函数下进行联合训练，得到与输入问题相关的答案。2.根据权利要求1所述的基于多任务学习的社区问答系统，其特征在于，所述回答选择模型训练模块用于回答选择任务的模型训练具体为：给定一个问题q，对给定回答A＝{a1,a2,…,an}中的答案进行之于问题q的相关度排序。3.根据权利要求2所述的基于多任务学习的社区问答系统，其特征在于，所述回答选择模型训练模块包括文字表达层、双向长短期记忆层、多维注意力层和max-pooling层；所述文字表达层将问题q和回答ai中的每个文字映射到一个低维连续向量中，通过先对词库里的每个字进行预训练，将每个字表达为一个向量，然后分别将问题q和回答ai表达为其每个文字对应向量的拼接；所述双向长短期记忆层对经过文字表达层的问题q和回答ai进行编码；所述多维注意力层使用多维注意力机制根据问题对答案的不同文字的不同维度设置权重值，与问题越相关的答案，其文字及相应维度的权重值越高；根据t时刻问题的表示和回答的表示有：At＝exp(Wmmt)上述公式中，为经过多维注意力层后答案的表达，Wa，Wq，Wm为权重矩阵，其中的参数通过训练得到；At∈Rb×m为注意力矩阵，b为多维注意力的跳数，flatten表示把矩阵每一行串联，转化为一个向量；最后，将问题的表达hq和答案的表达放入max-pooling层：L1＝max{0,M-cosine(q,a+)+cosine(q,a-)}上述公式中，a+是关于问题q的正确答案，a-是数据集中随机选取的与q不相关的答案，M是一个常数。4.根据权利要求3所述的基于多任务学习的社区问答系统，其特征在于，所述话题分类模块与回答选择模型训练模块共用相同的双向长短期记忆层和多维注意力层，多维注意力层后还包括一个两层的全连接网络和一个softmax层，即：将问题的表达Hq放入一个两层的全连接网络，然后对结果做一次softmax来获取问题文本分类的结果：f＝tanh(V1Hq)上述公式中，V1与V2是待学习的参数，是真实标签y的交叉熵；上述公式中，C为问题文本分类的数量，N为数据集中问题的数量。5.根据权利要求4所述的基于多任务学习的社区问答系统，其特征在于，所述联合训练模块对于选择任务和问题文本话题分类任务进行多任务联合训练的目标函数为：L＝(1-α)L1+αL2上述公式中，α为一个自定义的决定L1与L2权重的参数。6.一种基于多任务学习的社区问答方法，其特征在于，包括以下步骤：步骤a：回答选择任务的模型训练：将回答的输入和问题的输入放入双向长短记忆网络进行编码，然后输入到一个多维注意力层，将输出结果进行压平与连接后计算预测结果与真正结果的损失；步骤b：问题文本分类任务的模型训练：将问题的输入放入双向长短记忆网络进行编码，然后输入到一个...

【专利技术属性】
技术研发人员：曲强，杨敏，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东,44