【技术实现步骤摘要】
本申请涉及自然语言处理，尤其涉及一种数据集的生成方法、装置、电子设备和计算机可读介质。
技术介绍
1、文档问答是自然语言处理(natural language processing，nlp)领域的一个重要任务，旨在使计算机能够根据给定的文档回答用户提出的问题。文档问答系统广泛应用于信息检索、虚拟助手、知识图谱构建等。为了评估文档问答系统的性能，需要创建大量的问答对作为评测数据集，各问答对包括问题及其对应的答案。
2、目前，主要采用人工标注的方式创建问答对。这种方式需要耗费大量的人力和时间；并且，由于不同标注者自身知识储备不同，在创建问答对时主观性较强，使用该方式创建的问答对作为评测数据集，会影响文档问答系统评估的可信度。
技术实现思路
1、本申请实施例的目的是提供一种数据集的生成方法、装置、电子设备和计算机可读介质，能够克服人工标注方式主观性较强的问题，节省人力和时间，提高文档问答系统评估的可信度。
2、为解决上述技术问题，本申请实施例是通过以下各方面实现的。
3、第一方面，本申请实施例提供了一种数据集的生成方法，包括：基于文档，获取包括格式信息和内容信息的文档切片；根据所述格式信息，将满足目标格式的所述文档切片确定为目标文档切片；将所述目标文档切片和目标问题类型输入用于语言处理的第一模型，其中，所述目标问题类型为预先确定的问题类型中的一种；通过所述第一模型，输出用于评估文档问答系统的数据集，其中，所述数据集包括问题及与所述问题对应的答案。>
4、第二方面，本申请实施例提供了一种数据集的生成装置，包括：获取模块，用于基于文档，获取包括格式信息和内容信息的文档切片；确定模块，用于根据所述格式信息，将满足目标格式的所述文档切片确定为目标文档切片；第一输入模块，将所述目标文档切片和目标问题类型输入用于语言处理的第一模型，其中，所述目标问题类型为预先确定的问题类型中的一种；第一输出模块，用于通过所述第一模型，输出用于评估文档问答系统的数据集，其中，所述数据集包括问题及与所述问题对应的答案。
5、第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令，所述计算机可执行指令被所述处理器执行时实现上述第一方面所述的数据集的生成方法。
6、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述第一方面所述的数据集的生成方法。
7、在本申请实施例中，通过基于文档，获取包括格式信息和内容信息的文档切片；根据所述格式信息，将满足目标格式的所述文档切片确定为目标文档切片；将所述目标文档切片和目标问题类型输入用于语言处理的第一模型，其中，所述目标问题类型为预先确定的问题类型中的一种；通过所述第一模型，输出用于评估文档问答系统的数据集，其中，所述数据集包括问题及与所述问题对应的答案，能够节省人力和时间，提高文档问答系统评估的可信度。
本文档来自技高网...【技术保护点】
1.一种数据集的生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述格式信息包括所述文档切片在所述文档中的页码和/或所述文档切片在所述文档中的布局类型；
3.根据权利要求2所述的方法，其特征在于，所述文档切片的数量不小于2，所述将满足目标格式的所述文档切片确定为目标文档切片，包括以下至少之一：
4.根据权利要求2所述的方法，其特征在于，所述将满足目标格式的所述文档切片确定为目标文档切片，还包括：
5.根据权利要求1所述的方法，其特征在于，所述数据集的数量不小于2，各所述数据集包括对应的所述目标文档切片，
6.根据权利要求5所述的方法，其特征在于，所述文档切片还包括所述文档的文档标识；
7.根据权利要求1所述的方法，其特征在于，所述获取包括格式信息和内容信息的文档切片之前，包括：
8.根据权利要求1所述的方法，其特征在于，
9.一种数据集的生成装置，其特征在于，包括：
10.一种电子设备，包括：
11.一种计算机可读介质，所述计算机可读介质
...【技术特征摘要】
1.一种数据集的生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述格式信息包括所述文档切片在所述文档中的页码和/或所述文档切片在所述文档中的布局类型；
3.根据权利要求2所述的方法，其特征在于，所述文档切片的数量不小于2，所述将满足目标格式的所述文档切片确定为目标文档切片，包括以下至少之一：
4.根据权利要求2所述的方法，其特征在于，所述将满足目标格式的所述文档切片确定为目标文档切片，还包括：
5.根据权利要求1所述的方法，其特征在于，所述数据集的数量不小于2，各所述数据集包括对应的所述目标文...
【专利技术属性】
技术研发人员：崔明飞，张杰，于皓，贾敬伍，
申请(专利权)人：北京中关村科金技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。