布局表示网络的预训练方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种布局表示网络的预训练方法、装置、电子设备和存储介质，涉及深度学习、自然语言处理等人工智能技术领域。具体实现方案为：获取至少一个原始文档中多个元素各自的第一空间位置向量，以及对应的增强文档中多个元素各自的第二空间位置向量；将各第一空间位置向量输入布局表示网络，获取多个元素各自的第一布局特征向量；将各第二空间位置向量输入布局表示网络，获取多个元素各自的第二布局特征向量；根据两种布局特征向量，对布局表示网络进行预训练。实现了对布局表示网络的预训练，该网络输出的布局特征向量可以很好的表现文档的布局信息，从而将该网络应用于下游任务时，可以使得下游任务学到更多的布局信息，达到更好的效果。达到更好的效果。达到更好的效果。

【技术实现步骤摘要】
布局表示网络的预训练方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能
，具体为深度学习、自然语言处理
，尤其涉及布局表示网络的预训练方法、装置、电子设备和存储介质。

技术介绍

[0002]在文档领域，除了文档中的文本信息、图像信息，还有一种非常重要的信息，即文档的布局信息。如何很好的利用文档的布局信息，从而提高下游任务达到的效果是很重要的。

技术实现思路

[0003]本公开提供了一种布局表示网络的预训练方法、装置、电子设备和存储介质。
[0004]根据本公开的一方面，提供了一种布局表示网络的预训练方法，所述方法包括：获取至少一个原始文档中多个元素各自的第一空间位置向量，以及所述原始文档对应的增强文档中多个所述元素各自的第二空间位置向量；将多个所述元素各自的第一空间位置向量输入布局表示网络，以获取多个所述元素各自的第一布局特征向量；将多个所述元素各自的第二空间位置向量输入所述布局表示网络，以获取多个所述元素各自的第二布局特征向量；根据多个所述元素各自的第一布局特征向量与多个所述元素各自的第二布局特征向量，对所述布局表示网络进行预训练。
[0005]根据本公开的另一方面，提供了一种阅读顺序确定模型的训练方法，所述方法包括：获取至少一个样本文档中多个元素各自的第三空间位置向量，以及多个所述元素的参考阅读顺序；将多个所述元素各自的第三空间位置向量输入阅读顺序确定模型中的布局表示网络，以获取多个所述元素各自的第三布局特征向量，所述布局表示网络采用第一方面所述的方法进行预训练得到；将多个所述元素各自的第三布局特征向量输入所述阅读顺序确定模型中的指针网络，以从多个所述元素中获取多个所述元素各自对应的下一目标元素；根据多个所述元素各自对应的下一目标元素，对多个所述元素进行排序，得到多个所述元素的预测阅读顺序，并根据多个所述元素的所述参考阅读顺序与所述预测阅读顺序的差异，对所述阅读顺序确定模型进行训练。
[0006]根据本公开的另一方面，提供了一种阅读顺序确定方法，所述方法包括：获取待处理的目标文档中多个元素的第四空间位置向量；将多个所述元素各自的第四空间位置向量输入阅读顺序确定模型中的布局表示网络，以获取多个所述元素各自的第四布局特征向量；将多个所述元素各自的第四布局特征向量输入所述阅读顺序确定模型中的指针网络，以从多个所述元素中获取多个所述元素各自对应的下一目标元素；根据多个所述元素各自对应的下一目标元素，对多个所述元素进行排序，得到多个所述元素的目标阅读顺序。
[0007]根据本公开的另一方面，提供了一种布局表示网络的预训练装置，所述装置包括：第一获取模块，用于获取至少一个原始文档中多个元素各自的第一空间位置向量，以及所述原始文档对应的增强文档中多个所述元素各自的第二空间位置向量；第一处理模块，用
于将多个所述元素各自的第一空间位置向量输入布局表示网络，以获取多个所述元素各自的第一布局特征向量；第二处理模块，用于将多个所述元素各自的第二空间位置向量输入所述布局表示网络，以获取多个所述元素各自的第二布局特征向量；预训练模块，用于根据多个所述元素各自的第一布局特征向量与多个所述元素各自的第二布局特征向量，对所述布局表示网络进行预训练。
[0008]根据本公开的另一方面，提供了一种阅读顺序确定模型的训练装置，所述装置包括：第二获取模块，用于获取至少一个样本文档中多个元素各自的第三空间位置向量，以及多个所述元素的参考阅读顺序；第四处理模块，用于将多个所述元素各自的第三空间位置向量输入阅读顺序确定模型中的布局表示网络，以获取多个所述元素各自的第三布局特征向量，所述布局表示网络采用第一方面所述的方法进行预训练得到；第五处理模块，用于将多个所述元素各自的第三布局特征向量输入所述阅读顺序确定模型中的指针网络，以从多个所述元素中获取多个所述元素各自对应的下一目标元素；训练模块，用于根据多个所述元素各自对应的下一目标元素，对多个所述元素进行排序，得到多个所述元素的预测阅读顺序，并根据多个所述元素的所述参考阅读顺序与所述预测阅读顺序的差异，对所述阅读顺序确定模型进行训练。
[0009]根据本公开的另一方面，提供了一种阅读顺序确定装置，所述装置包括：第三获取模块，用于获取待处理的目标文档中多个元素的第四空间位置向量；第六处理模块，用于将多个所述元素各自的第四空间位置向量输入阅读顺序确定模型中的布局表示网络，以获取多个所述元素各自的第四布局特征向量；第七处理模块，用于将多个所述元素各自的第四布局特征向量输入所述阅读顺序确定模型中的指针网络，以从多个所述元素中获取多个所述元素各自对应的下一目标元素；排序模块，用于根据多个所述元素各自对应的下一目标元素，对多个所述元素进行排序，得到多个所述元素的目标阅读顺序。
[0010]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的布局表示网络的预训练方法，或者执行本公开的阅读顺序确定模型的训练方法，或者执行本公开的阅读顺序确定方法。
[0011]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的布局表示网络的预训练方法，或者执行本公开实施例公开的阅读顺序确定模型的训练方法，或者执行本公开实施例公开的阅读顺序确定方法。
[0012]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开的布局表示网络的预训练方法的步骤，或者执行时实现本公开的阅读顺序确定模型的训练方法的步骤，执行时实现本公开的阅读顺序确定方法的步骤。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是根据本公开第一实施例的布局表示网络的预训练方法的流程示意图；
[0016]图2是根据本公开第二实施例的布局表示网络的预训练方法的流程示意图；
[0017]图3是根据本公开第三实施例的阅读顺序确定模型的训练方法的流程示意图；
[0018]图4是根据本公开第三实施例的阅读顺序确定模型的训练方法的示意图；
[0019]图5是根据本公开第四实施例的阅读顺序确定方法的流程示意图；
[0020]图6是根据本公开第四实施例的布局表示网络与其它网络的连接示意图；
[0021]图7是根据本公开第五实施例的布局表示网络的预训练装置的结构示意图；
[0022]图8是根据本公开第六实施例的布局表示网络的预训练装置的结构示意图；
[0023]图9是根据本公开第七实施例的阅读顺序确定模型的训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种布局表示网络的预训练方法，其中，所述方法包括：获取至少一个原始文档中多个元素各自的第一空间位置向量，以及所述原始文档对应的增强文档中多个所述元素各自的第二空间位置向量；将多个所述元素各自的第一空间位置向量输入布局表示网络，以获取多个所述元素各自的第一布局特征向量；将多个所述元素各自的第二空间位置向量输入所述布局表示网络，以获取多个所述元素各自的第二布局特征向量；根据多个所述元素各自的第一布局特征向量与多个所述元素各自的第二布局特征向量，对所述布局表示网络进行预训练。2.根据权利要求1所述的方法，其中，所述根据多个所述元素各自的第一布局特征向量与多个所述元素各自的第二布局特征向量，对所述布局表示网络进行预训练，包括：将多个所述元素各自的第一布局特征向量输入全连接网络，以获取多个所述元素之间的空间关系的第一隐表示；将多个所述元素各自的第二布局特征向量输入所述全连接网络，以获取多个所述元素之间的空间关系的第二隐表示；根据所述第一隐表示与所述第二隐表示之间的差异，调整所述布局表示网络和所述全连接网络的模型参数，以对所述布局表示网络进行预训练。3.根据权利要求1或2所述的方法，其中，所述获取至少一个原始文档中多个元素各自的第一空间位置向量，包括：获取至少一个所述原始文档中多个所述元素各自的边界框的坐标信息；基于多个所述元素各自的边界框的坐标信息，生成对应元素的第一空间位置向量。4.根据权利要求1
‑
3任一项所述的方法，其中，所述方法还包括：对至少一个所述原始文档进行旋转处理和/或裁剪处理，得到所述原始文档对应的增强文档。5.一种阅读顺序确定模型的训练方法，其中，所述方法包括：获取至少一个样本文档中多个元素各自的第三空间位置向量，以及多个所述元素的参考阅读顺序；将多个所述元素各自的第三空间位置向量输入阅读顺序确定模型中的布局表示网络，以获取多个所述元素各自的第三布局特征向量，所述布局表示网络采用权利要求1
‑
4中任一项所述的方法进行预训练得到；将多个所述元素各自的第三布局特征向量输入所述阅读顺序确定模型中的指针网络，以从多个所述元素中获取多个所述元素各自对应的下一目标元素；根据多个所述元素各自对应的下一目标元素，对多个所述元素进行排序，得到多个所述元素的预测阅读顺序，并根据多个所述元素的所述参考阅读顺序与所述预测阅读顺序的差异，对所述阅读顺序确定模型进行训练。6.根据权利要求5所述的方法，其中，所述将多个所述元素各自的第三布局特征向量输入所述阅读顺序确定模型中的指针网络，以从多个所述元素中获取多个所述元素各自对应的下一目标元素，包括：将多个所述元素各自的第三布局特征向量输入所述指针网络，以通过匈牙利匹配方式
进行匹配，从多个所述元素中获取多个所述元素各自对应的下一目标元素。7.一种阅读顺序确定方法，其中，所述方法包括：获取待处理的目标文档中多个元素的第四空间位置向量；将多个所述元素各自的第四空间位置向量输入阅读顺序确定模型中的布局表示网络，以获取多个所述元素各自的第四布局特征向量；将多个所述元素各自的第四布局特征向量输入所述阅读顺序确定模型中的指针网络，以从多个所述元素中获取多个所述元素各自对应的下一目标元素；根据多个所述元素各自对应的下一目标元素，对多个所述元素进行排序，得到多个所述元素的目标阅读顺序。8.一种布局表示网络的预训练装置，其中，所述装置包括：第一获取模块，用于获取至少一个原始文档中多个元素各自的第一空间位置向量，以及所述原始文档对应的增强文档中多个所述元素各自的第二空间位置向量；第一处理模块，用于将多个所述元素各自的第一空间位置向量输入布局表示网络，以获取多个所述元素各自的第一布局特征向量；第二处理模块，用于将多个所述元素各自的第二空间位置向量输入所述布局表示网络，以获取多个所述元素各自的第二布局特征向量；预训练模块，用于根据多个所述元素各自的第一布局特征向量与多个所述...

【专利技术属性】
技术研发人员：柯博，吴思瑾，胡腾，冯仕堃，陈永锋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：