本申请提供一种多模态信息提取方法、装置、设备及计算机可读存储介质。该多模态信息提取方法包括：获取待提取数据；对待提取数据进行文本提取，以获取待提取数据的文本信息；以及，对待提取数据进行多模态特征提取，以获取多模态特征信息；将文本信息和多模态特征信息进行信息融合，以获得结构化数据。该多模态信息提取方法不仅能够提取待提取数据中的文本信息，且可提取除文本信息外的其它模态的特征信息，进而使得该方法能够适用于不用的行业及业务领域，大大扩大了适用范围。大大扩大了适用范围。大大扩大了适用范围。
【技术实现步骤摘要】
多模态信息提取方法、装置、设备及计算机可读存储介质
[0001]本专利技术涉及信息提取
，尤其涉及一种多模态信息提取方法、装置、设备及计算机可读存储介质。
技术介绍
[0002]随着自然语言处理(Natural Language Processing，NLP)技术的发展,如何得到非结构化数据中的结构化信息是当前的一项重要工作。在国内外以此展开的数据分析、文档审阅、知识图谱构建等相关研究中，从众多非结构化信息中提取出结构化信息，也是有着举足轻重的作用。
[0003]目前，业界主要基于命名实体识别(Named Entity Recognition，NER)，等方法，运用大量数据训练出NER模型以进行实体的抽取。然而，该方法只能提取规定的几种实体类型，且只能提取文本数据。
技术实现思路
[0004]本申请提供的多模态信息提取方法、装置、设备及计算机可读存储介质，该多模态信息提取方法能够解决现有方法只能提取规定的几种实体类型，且只能提取文本数据的问题。
[0005]为解决上述技术问题，本申请采用的第一个技术方案是：提供一种多模态信息提取方法。该方法包括：获取待提取数据；对待提取数据进行文本提取，以获取待提取数据的文本信息；以及，对待提取数据进行多模态特征提取，以获取多模态特征信息；将文本信息和多模态特征信息进行信息融合，以获得结构化数据。
[0006]其中，将文本信息和多模态特征信息进行融合，以获得结构化数据的步骤具体包括：对文本信息进行格式转换；将格式转换后的文本信息分别输入图网络(Graph Neural Network，GNN)模型和预训练模型，以分别获取第一特征数据和第二特征数据；将第一特征数据、第二特征数据和多模态特征信息进行信息融合；将融合后的信息输入预设模型，以进行序列标注，从而获得结构化数据。
[0007]其中，对文本信息进行格式转换的步骤之后，还包括：将格式转换后的文本信息输入循环网络模型，以获取第三特征数据；将第一特征数据、第二特征数据和多模态特征信息进行信息融合的步骤包括：将第一特征数据、第二特征数据、第三特征数据和多模态特征信息进行信息融合。
[0008]其中，预设模型为条件随机场模型(Conditional Random Field，CRF)。
[0009]其中，将文本信息和多模态特征信息进行信息融合的步骤之后，还包括：对融合后的信息进行校正。
[0010]其中，待提取数据带有标签；将文本信息和多模态特征信息进行信息融合，以获得结构化数据的步骤之后，还包括：根据标签及结构化数据获取信息提取的准确度；根据准确度进行自动学习，以在线训练调优。
[0011]其中，多模态特征信息包括图像的特征信息、语义的特征信息以及视频的特征信息。
[0012]为解决上述技术问题，本申请采用的第二个技术方案是：提供一种多模态信息提取装置。该多模态信息提取装置包括：数据获取模块、文本信息提取模块、多模态特征信息获取模块以及信息融合模块；其中，数据获取模块用于获取待提取数据；文本信息提取模块用于对待提取数据进行文本提取，以获取待提取数据的文本信息；多模态特征信息获取模块用于对待提取数据进行多模态特征提取，以获取多模态特征信息；信息融合模块用于将文本信息和多模态特征信息进行信息融合，以获得结构化数据。
[0013]为解决上述技术问题，本申请采用的第三个技术方案是：提供一种多模态信息提取设备。该多模态信息提取设备包括存储器和处理器；存储器用于存储实现上述所涉及的多模态信息提取方法的程序指令；处理器用于执行存储器存储的程序指令。
[0014]为解决上述技术问题，本申请采用的第四个技术方案是：提供一种计算机可读存储介质。该计算机可读存储介质存储有程序文件，程序文件能够被处理器执行以实现上述所涉及的多模态信息提取方法。
[0015]本申请提供的多模态信息提取方法、装置、设备及计算机可读存储介质，该多模态信息提取方法通过对待提取数据进行文本提取，以获取待提取数据的文本信息；并对待提取数据进行多模态特征提取，以获取多模态特征信息；之后将文本信息和多模态特征信息进行信息融合，以获得结构化数据；从而使得该方法不仅能够提取待提取数据中的文本信息，且可提取除文本信息外的其它模态的特征信息，进而使得该方法能够适用于不用的行业及业务领域，大大扩大了适用范围。
附图说明
[0016]图1a为本申请第一实施例提供的多模态信息提取方法的流程图；
[0017]图1b为本申请一实施例提供的多模态信息提取方法的流程框图；
[0018]图2为本申请一实施例提供的图1a中步骤S14的子流程图；
[0019]图3为本申请一实施例提供的图1a中步骤S14的子流程图；
[0020]图4为本申请第二实施例提供的多模态信息提取方法的流程图；
[0021]图5为本申请一实施例提供的多模态信息提取装置的结构示意图；
[0022]图6为本申请一实施例提供的多模态信息提取设备的结构示意图；
[0023]图7为本申请一实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
[0024]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0025]本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至
少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0026]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0027]目前，基于NER等方法进行实体抽取以从非结构化数据中提取结构化信息的方法，只能提取规定的几种实体类型，且仅局限于提取文本数据，而想要提取规定之外的结构化信息或其他模态本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多模态信息提取方法，其特征在于，包括：获取待提取数据；对所述待提取数据进行文本提取，以获取所述待提取数据的文本信息；以及，对所述待提取数据进行多模态特征提取，以获取多模态特征信息；将所述文本信息和所述多模态特征信息进行信息融合，以获得结构化数据。2.根据权利要求1所述的多模态信息提取方法，其特征在于，所述将所述文本信息和所述多模态特征信息进行融合，以获得结构化数据的步骤具体包括：对所述文本信息进行格式转换；将格式转换后的文本信息分别输入图网络模型和预训练模型，以分别获取第一特征数据和第二特征数据；将所述第一特征数据、所述第二特征数据和所述多模态特征信息进行信息融合；将融合后的信息输入预设模型，以进行序列标注，从而获得结构化数据。3.根据权利要求2所述的多模态信息提取方法，其特征在于，所述对所述文本信息进行格式转换的步骤之后，还包括：将格式转换后的文本信息输入循环网络模型，以获取第三特征数据；所述将所述第一特征数据、所述第二特征数据和所述多模态特征信息进行信息融合的步骤包括：将所述第一特征数据、所述第二特征数据、所述第三特征数据和所述多模态特征信息进行信息融合。4.根据权利要求2所述的多模态信息提取方法，其特征在于，所述预设模型为条件随机场模型。5.根据权利要求2或3所述的多模态信息提取方法，其特征在于，所述将所述文本信息和所述多模态特征信息进行信息融合的步骤之后，...
【专利技术属性】
技术研发人员：薛闯，陈志衔，
申请(专利权)人：远光软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。