本申请的实施例提供了一种信息提取方法、装置、介质，涉及计算机及人工智能技术领域。该方法包括：获取目标图像中已完成特征信息提取的第一信息单元的历史定位信息，所述目标图像中包括至少一个信息单元；通过至少两个不同尺度的定位卷积核，分别对所述历史定位信息进行卷积处理，得到至少两个定位参考信息；基于所述至少两个定位参考信息，确定所述目标图像中未完成特征信息提取的第二信息单元的目标定位信息；基于所述目标定位信息，提取所述第二信息单元的目标特征信息。本申请实施例的技术方案可以提高信息提取的准确度。方案可以提高信息提取的准确度。方案可以提高信息提取的准确度。
【技术实现步骤摘要】
信息提取方法、装置及介质
[0001]本申请涉及计算机及人工智能
，具体而言，涉及一种信息提取方法、装置及介质。
技术介绍
[0002]在信息提取场景中，比如在针对图像中的信息提取场景(例如提取图像中的公式或者文本)，图像中的信息单元通常会存在尺寸大小不一致的情况，这会给信息单元的特征信息提取带来障碍，从而导致信息单元特征信息提取的准确率低下。
[0003]基于此，如何提高信息提取的准确度是亟待解决的技术问题。
技术实现思路
[0004]本申请的实施例提供了一种信息提取方法、装置、计算机程序产品或计算机程序、计算机可读介质，进而至少在一定程度上可以提高信息提取的准确度。
[0005]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0006]根据本申请实施例的一个方面，提供了一种信息提取方法，包括：获取目标图像中已完成特征信息提取的第一信息单元的历史定位信息，所述目标图像中包括至少一个信息单元；通过至少两个不同尺度的定位卷积核，分别对所述历史定位信息进行卷积处理，得到至少两个定位参考信息；基于所述至少两个定位参考信息，确定所述目标图像中未完成特征信息提取的第二信息单元的目标定位信息；基于所述目标定位信息，提取所述第二信息单元的目标特征信息。
[0007]根据本申请实施例的一个方面，提供了一种信息提取装置，包括：获取单元，被用于获取目标图像中已完成特征信息提取的第一信息单元的历史定位信息，所述目标图像中包括至少一个信息单元；卷积单元，被用于通过至少两个不同尺度的定位卷积核，分别对所述历史定位信息进行卷积处理，得到至少两个定位参考信息；确定单元，被用于基于所述至少两个定位参考信息，确定所述目标图像中未完成特征信息提取的第二信息单元的目标定位信息；提取单元，被用于基于所述目标定位信息，提取所述第二信息单元的目标特征信息。
[0008]在本申请的一些实施例中，基于前述方案，所述获取单元配置为：获取目标图像中已完成特征信息提取的各个第一信息单元在历史上的定位信息；对所述已完成特征信息提取的各个第一信息单元在历史上的定位信息进行计算，得到所述历史定位信息。
[0009]在本申请的一些实施例中，基于前述方案，所述卷积单元配置为：通过信息提取模型中的第一定位卷积核对所述历史定位信息进行卷积处理，得到第一定位参考信息；通过所述信息提取模型中的第二定位卷积核对所述历史定位信息进行卷积处理，得到第二定位参考信息，所述第二定位卷积核的尺度大于所述第一定位卷积核的尺度。
[0010]在本申请的一些实施例中，基于前述方案，所述确定单元配置为：在基于所述至少
两个定位参考信息，确定所述目标图像中未完成特征信息提取的第二信息单元的目标定位信息之前，按照所述至少一个信息单元在所述目标图像中的预设排列方向，从所述目标图像中未完成特征信息提取的信息单元中确定所述第二信息单元。
[0011]在本申请的一些实施例中，基于前述方案，所述确定单元还配置为：获取与所述第二信息单元排列距离最近的信息单元在特征信息提取时的隐藏状态信息，以及获取针对所述目标图像的编码特征数据；对所述至少两个定位参考信息，所述隐藏状态信息，以及所述编码特征数据进行聚合，得到所述第二信息单元的目标定位信息。
[0012]在本申请的一些实施例中，基于前述方案，所述提取单元配置为：获取针对所述目标图像的编码特征数据；基于所述目标定位信息，通过信息提取模型中的目标解码器模型对所述编码特征数据进行解码，得到所述第二信息单元的目标特征信息。
[0013]在本申请的一些实施例中，基于前述方案，所述装置还包括：训练单元，被用于在获取目标图像中已完成特征信息提取的第一信息单元的历史定位信息之前，获取待训练模型，所述待训练模型中包括一个编码器模型和至少两个解码器模型，所述编码器模型用于对图像进行编码，得到编码特征数据，所述解码器模型用于对所述编码特征数据进行解码，得到所述图像中各个信息单元的特征信息；获取样本图像，并通过所述样本图像对所述待训练模型进行训练，得到信息提取模型。
[0014]在本申请的一些实施例中，基于前述方案，所述编码器模型包括密集连接卷积网络模型。
[0015]在本申请的一些实施例中，基于前述方案，所述训练单元配置为：通过所述编码器模型对所述样本图像进行编码，得到样本编码特征数据；通过所述至少两个解码器模型分别对所述样本编码特征数据进行解码，得到至少两组样本特征信息，其中，每一组样本特征信息中包括针对所述样本图像中各个信息单元的特征信息；触发所述至少两个解码器模型中的每一个解码器模型学习除自身之外其它解码器模型解码得到的样本特征信息；在所述至少两个解码器模型中确定一个解码器模型作为目标解码器模型，得到由所述编码器模型和所述目标解码器模型组成的所述信息提取模型。
[0016]在本申请的一些实施例中，基于前述方案，所述训练单元配置为：基于所述样本编码特征数据，通过所述至少两个解码器模型分别按照所述样本图像中信息单元的不同排列方向确定所述样本图像中各个信息单元的样本定位信息；基于所述至少两个解码器模型对应的样本定位信息，分别对所述样本编码特征数据进行解码，得到所述至少两组样本特征信息。
[0017]在本申请的一些实施例中，基于前述方案，所述信息单元包括字符单元，所述目标图像中的至少一个信息单元组成一个或者多个包含所述字符单元的公式，所述至少两个定位参考信息用于分别关注不同尺寸大小的字符单元的定位信息。
[0018]在本申请的一些实施例中，基于前述方案，所述装置还包括：编辑单元，被用于在基于所述目标定位信息，提取所述第二信息单元的目标特征信息之后，获取所述目标图像中各个字符单元对应的目标特征信息；基于所述目标特征信息，将所述目标图像中的一个或者多个公式编辑至公式编辑区域。
[0019]根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质
中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如上述实施例中所述的信息提取方法。
[0020]根据本申请实施例的一个方面，还提供了一种信息提取装置，其特征在于，包括有存储器，以及一个以上程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如上述实施例中所述的信息提取方法的指令。
[0021]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如上述实施例中所述的信息提取方法所执行的操作。
[0022]在本申请的一些实施例所提供的技术方案中，通过至少两个不同尺度的定位卷积核，分别对目标图像中已完成特征信息提取的第一信息单元的历史定位信息进行卷积处理，可以得到至少两个定本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种信息提取方法，其特征在于，所述方法包括：获取目标图像中已完成特征信息提取的第一信息单元的历史定位信息，所述目标图像中包括至少一个信息单元；通过至少两个不同尺度的定位卷积核，分别对所述历史定位信息进行卷积处理，得到至少两个定位参考信息；基于所述至少两个定位参考信息，确定所述目标图像中未完成特征信息提取的第二信息单元的目标定位信息；基于所述目标定位信息，提取所述第二信息单元的目标特征信息。2.根据权利要求1所述的方法，其特征在于，所述获取目标图像中已完成特征信息提取的第一信息单元的历史定位信息，包括：获取目标图像中已完成特征信息提取的各个第一信息单元在历史上的定位信息；对所述已完成特征信息提取的各个第一信息单元在历史上的定位信息进行计算，得到所述历史定位信息。3.根据权利要求1所述的方法，其特征在于，所述通过至少两个不同尺度的定位卷积核，分别对所述历史定位信息进行卷积处理，得到至少两个定位参考信息，包括:通过信息提取模型中的第一定位卷积核对所述历史定位信息进行卷积处理，得到第一定位参考信息；通过所述信息提取模型中的第二定位卷积核对所述历史定位信息进行卷积处理，得到第二定位参考信息，所述第二定位卷积核的尺度大于所述第一定位卷积核的尺度。4.根据权利要求1所述的方法，其特征在于，在基于所述至少两个定位参考信息，确定所述目标图像中未完成特征信息提取的第二信息单元的目标定位信息之前，所述方法还包括：按照所述至少一个信息单元在所述目标图像中的预设排列方向，从所述目标图像中未完成特征信息提取的信息单元中确定所述第二信息单元。5.根据权利要求1所述的方法，其特征在于，所述基于所述至少两个定位参考信息，确定所述目标图像中未完成特征信息提取的第二信息单元的目标定位信息，包括：获取与所述第二信息单元排列距离最近的信息单元在特征信息提取时的隐藏状态信息，以及获取针对所述目标图像的编码特征数据；对所述至少两个定位参考信息，所述隐藏状态信息，以及所述编码特征数据进行聚合，得到所述第二信息单元的目标定位信息。6.根据权利要求1所述的方法，其特征在于，所述基于所述目标定位信息，提取所述第二信息单元的目标特征信息，包括：获取针对所述目标图像的编码特征数据；基于所述目标定位信息，通过信息提取模型中的目标解码器模型对所述编码特征数据进行解码，得到所述第二信息单元的目标特征信息。7.根据权利要求1所述的方法，其特征在于，在获取目标图像中已完成特征信息提取的第一信息单元的历史定位信息之前，所述方法还包括：获取待训练模型，所述待训练模型中包括一个编码器模型和至少两个解码器模型，所述编码器模型用于对图像进行编码，得到编码特征数据，所述解码器模型用于对所述编码
特征数据进行解码，得到所述图像中各个信息单元的特征信息；获取样本图像，并通过所述样本图像对所述待训练模型进行训练，得到信息提取模型。8....
【专利技术属性】
技术研发人员：边晓航，辛晓哲，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。