本发明专利技术公开了一种多语言对话模型构建及质量评估方法，包括以下步骤：根据语言从Reddit论坛中提取不同语言的评论，按照语言构建评论数据集；根据构建好的评论数据集构建对话数据集；对话数据集预处理；对话评估数据集扩充；训练多语言对话生成模型；训练多语言对话质量评估模型；输出生成对话列表及质量评估结果。本发明专利技术构建的多语言对话生成系统可以根据输入的上文自动生成一个对应语言高相关性的回复下文，并提出了一种多语言对话质量评估方法来辅助改善多语言对话生成系统，能够有效促进多语言对话系统在游戏、社交媒体等应用场景下的发展。景下的发展。景下的发展。
【技术实现步骤摘要】
一种多语言对话模型构建及质量评估方法
[0001]本专利技术涉及对话数据处理
，具体涉及大规模多语言对话数据集的收集与处理、多语言的对话生成方法及多语言的对话效果评估框架。
技术介绍
[0002]随着互联网和人工智能技术的快速发展，在电商、游戏及社交媒体等行业中，智能对话系统正逐渐改变人们获取信息的方式，这些系统可以代替人工回复用户的消息，在某些领域可以大大降低人工成本，因此这项技术也愈加重要，而如何通过自然语言与人类交谈也一直是人工智能中自然语言处理领域的一个核心问题。近几年，开放领域对话生成取得了快速进展：国外研究者利用数十亿对话数据训练端到端的对话模型，获得了一个优异生成式对话系统，这个系统生成的回复十分接近人类回复习惯，在某些方面甚至优于精心构建的流水线框架式的商业系统。
[0003]然而大多数智能对话系统都是数据驱动型的，这意味着一个优秀的智能对话问答系统需要搭配大量的训练数据才能生成合适通顺且合理的回复，有效服务于企业的各项业务。因此，这尽管已经有了如此多的成就，由于国内外大量的对话数据集仅仅包含英语或是中文，世界上6500种语言中很少有其他语言的高质量对话数据集，尤其是如Thai(泰国语)、Vietnamese(越南语)等使用人数较少的低资源语言，甚至没有任何用于研究的公共数据集，这意味着这些语言在对话生成方面的发展在很大程度上已经落后了。而随着科技的进步，世界各国人民在互联网技术带来的便利之下，渐渐跨越地理的分隔紧紧联系到了一起，跨境电商、全球范围内的大型讨论社区、大型跨国游戏等应用场景都亟需多语言对话系统的协助，这也凸显了大规模多语言对话数据集的重要性。
[0004]现有的多语言对话数据集大多数是通过翻译英文对话实现的任务型对话数据集，如有的国外研究者通过翻译Ubuntu社区(一个操作系统的讨论社区)的技术讨论收集了一个包含12种语言的多语言对话数据集，但这是针对专业领域的讨论数据集，与真实的对话场景相差甚远，以此为基础构建的多语言对话系统也难以应用于社交媒体等领域。而由于同时掌握多门语言的多语言掌握者数量稀少，采用人工分辨语言种类并标注的方式构建多语言数据集的成本高昂且效率低下，并不适合应用于实际商业场景中。
[0005]本文多语言对话系统的构建方法的价值正体现在这几方面。一方面，我们通过在全球最大的多语言闲聊论坛Reddit上收集的对话数据集包含多达19种语系46种语言，在广度和规模方面极大的领先了现有多语言对话数据集，可以更好的用于构建多语言对话系统。另一方面，我们的数据来源相比于Ubuntu数据集等，更加偏向于开放域的日常闲聊，因此以此为基础构建的多语言对话系统生成的回复会更加自然。此外，由于我们的构建方法采用了人工监督下的自动化处理技术，及先进的双重人工智能语言分离技术，相比人工标注分类并筛选各种语言的对话数据集，效率有了数千倍的提升，使我们的方法更加适合应用于商业场景中。
[0006]在构建完成智能对话系统后，我们需要一些评估指标来验证我们的模型能够生成
足够自然且合适的回复。此先对话生成的研究中很大程度依赖于自动对话评估指标来评估系统性能，如BLEU等原先适用于机器翻译领域的指标，已经被证明其结果与人工评估相关性较低，这意味着这些自动对话评估指标无法全面的反映系统的性能。
[0007]BLEU等指标通过计算单词重叠度来衡量两句话之间的相似程度，本专利技术使用了四种基于统计学规律的自动评估指标来对对话生成效果进行评估，下面对其进行详细解释：
[0008]sacreBLEU(Kishore Papineni，Salim Roukos，Todd Ward，Wei
‑
Jing Zhu：Bleu：a Method for Automatic Evaluation of Machine Translation，Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics，July 6
‑
12，2002，Philadelphia，PA，USA.ACL，2002：311
‑
318.https：//aclanthology.org/P02
‑
1040/.DOI：10.3115/1073083.1073135.)：这是BLEU评估指标的改进版本，主要用于评估生成回复与真实回复的词重叠程度来判断生成质量，并固定了BLEU中的一系列参数，可以获得更具有代表性及可重复性的评估结果。
[0009]BertScore(Tianyi Zhang，Varsha Kishore，Felix Wu，Kilian Q.Weinberger，Yoav Artzi：BERTScore：Evaluating Text Generation with BERT，Proceedings of the 8th International Conference on Learning Representations，ICLR 2020，Addis Ababa，Ethiopia，April 26
‑
30，2020.OpenReview.net，2020.https：//openreview.net/forum？id＝SkeHuCVFDr.)：相比BLEU直接使用词重复度来衡量生成效果，BertScore则基于BERT预训练模型，对需要对比的两句话生成向量表示，并使用贪婪匹配方式计算向量之间的相似性，从语义的角度来评估模型生成质量的相关性。同时由于该指标也使用固定的参数直接调用其模型，因此也有较高的一致性与可重复性。
[0010]Distinct(Jiwei Li，Michel Galley，Chris Brockett，Jianfeng Gao，Bill Dolan：A Diversity
‑
Promoting Objective Function for Neural Conversation Models.HLT
‑
NAACL 2016：110
‑
119)和Entropy(Yizhe Zhang，Michel Galley，Jianfeng Gao，Zhe Gan，Xiujun Li，Chris Brockett，Bill Dolan：Generating Informative and Diverse Conversational Responses via Adversarial Information Maximization，Advances in Neural Information Processing Systems 31：Annual Conference on Neural Information processing Systems 2018，NeurIPS 2018，December 3
‑
8，2018本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多语言对话模型构建及质量评估方法，其特征在于包含以下步骤：步骤(1)根据语言从Reddit论坛中提取不同语言的评论，按照语言构建评论数据集。步骤(2)根据构建好的评论数据集构建对话数据集。步骤(3)对话数据集预处理。步骤(4)对话评估数据集扩充。步骤(5)训练多语言对话生成模型。步骤(6)训练多语言对话质量评估模型。步骤(7)输出生成对话列表及质量评估结果。2.根据权利要求1所述的一种多语言对话模型构建及质量评估方法，其特征在于步骤(1)中根据语言从Reddit论坛中提取不同语言的评论，按照语言构建评论数据集，具体子步骤包括：步骤(1.1)利用正则表达式删除所有评论中的emoji(颜文字符号)。步骤(1.2)使用两种人工智能语言辨别程序交叉验证书写每条评论的语言，按照不同语言分别构建评论数据集。3.根据权利要求1所述的一种多语言对话模型构建及质量评估方法，其特征在于步骤(2)中构建好的评论数据集构建对话数据集，具体子步骤包括：步骤(2.1)调用Reddit网站提供的API(应用程序编程接口)，将评论数据集中的每条评论映射到它们的父级评论。步骤(2.2)检测父级评论的存在性，筛选出真实存在的父级评论，再使用人工智能语言辨别程序除去与子级评论语言不同的父级评论，得到对话对。4.根据权利要求1所述的一种多语言对话模型构建及质量评估方法，其特征在于步骤(3)中对话数据集预处理，具体子步骤包括：步骤(3.1)删除含有标注为[delete]的空白评论的对话数据。步骤(3.2)删除含有多个换行符的评论的对话数据。步骤(3.3)删除含有长度过长或过短的评论的对话数据。步骤(3.4)利用正则表达式将对话数据中的超链接和用户名替换成[URL]和[USER]。步骤(3.5)利用多语言有害词语表删除可能存在道德问题的对话数据。步骤(3.6)将数据集划分为训练集、验证集、测试集、对话评估集。5.根据权利要求1所述的一种多语言对话模型构建及质量评估方法，其特征在于步骤(4)中对话评估数据集扩充，具体子步骤包括：步骤(4.1)使用回译(Back
‑
Translation)技术模拟相关...
【专利技术属性】
技术研发人员：葛季栋，张清宇，沈晓宇，陈鹏克，
申请(专利权)人：南京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。