一种基于跨度表示的端到端的菜谱信息抽取方法及系统技术方案

本发明专利技术涉及一种基于跨度表示的端到端的菜谱信息抽取方法及系统，其方法包括：步骤S1：构建文本数据集；步骤S2：使用预训练语言模型获取文本数据集中每条文本语料向量；步骤S3：根据每条本语料向量，获取每条本语料中每个跨度向量；步骤S4：将每个跨度向量，输入神经网络，得到跨度向量的得分，并计算跨度向量的实体类型；步骤S5：取任一对跨度，将其对应的实体类型插入其所对应的文本，构建调整后的文本及其跨度向量，将调整后的跨度向量，输入神经网络，以判定二者对应关系。本发明专利技术提供的方法，从文本数据中联合抽取菜谱中的实体以及实体之间的对应关系，通过解决重叠实体问题，极大的提高菜谱文本数据的信息抽取的准确率。提高菜谱文本数据的信息抽取的准确率。提高菜谱文本数据的信息抽取的准确率。

【技术实现步骤摘要】
一种基于跨度表示的端到端的菜谱信息抽取方法及系统


[0001]本专利技术涉及知识图谱领域，具体涉及一种基于跨度表示的端到端的菜谱信息抽取方法及系统。

技术介绍

[0002]食品安全风险防控一直是大型赛事保障工作的重点，加强食品安全风险识别与防控对维护重大赛事的顺利举行，具有极其重要的意义。安全风险相关数据存在分布散乱，关联性不强等问题，具有多源头，多渠道，多环节的特点。知识图谱提供了一种更好管理、组织和理解海量信息的方法，其以如(鱼香肉丝，原料，肉丝)这样的三元组的形式描述客观世界中的概念、实体及其关系，具有强大的语义关联能力。菜谱知识图谱的构建，将菜谱相关的知识进行整合，关联成一个“语义网络”，并以可视化的形式呈现，为食品风险按防控工作提供底层数据支撑。
[0003]信息抽取包括命名实体识别和关系抽取，即从原始文本中识别出实体以及实体所属的类型同时判断出命名实体识别所识别出的实体之间的关系。信息抽取是构建知识图谱的关键一步同时也对下游自然语言处理任务，比如，问答、语义检索等任务起到支持作用。抽取质量直接影响整个知识图谱的质量。流水线式的方法是信息抽取中一种传统的方法，即先用一个模型进行命名实体识别，然后通过另一个模型进行关系抽取。鉴于这种流水线式的方法容易造成错误累积，端到端的信息抽取技术成为主流。如果一个实体对中的两个实体分别为鱼香肉丝和肉丝，这样的实体为重叠实体。在菜谱语料中存在大量像鱼香肉丝和肉丝这样的重叠实体，传统的端到端的方法对于解决重提实体问题效果并不突出。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提供一种基于跨度表示的端到端的菜谱信息抽取方法及系统。
[0005]本专利技术技术解决方案为：一种基于跨度表示的端到端的菜谱信息抽取方法，包括：
[0006]步骤S1：构建文本数据集；
[0007]步骤S2：使用预训练语言模型获取所述文本数据集中每条文本语料向量；
[0008]步骤S3：根据每条所述文本语料向量，获取每条所述文本语料向量中每个跨度向量；
[0009]步骤S4：将所述每个跨度向量，输入神经网络，得到所述跨度向量的得分，并计算所述跨度向量的实体类型；
[0010]步骤S5：取任一对所述跨度，将其对应的实体类型插入其所对应的所述文本，构建调整后的文本及其跨度向量，将所述调整后的跨度向量，输入神经网络，以判定二者对应关系。
[0011]本专利技术与现有技术相比，具有以下优点：
[0012]本专利技术提供的方法通过一种端到端的模型，从文本数据中联合抽取菜谱中的实体
以及实体之间的对应关系，将命名实体识别和关系分类转化为分类任务，能通过简单的前馈神经网络解决复杂的信息抽取任务。当一个实体包含于另一个实体中时，两个不同的实体属于不同的跨度，有不同的向量表示，能有效解决重叠实体问题，极大的提高菜谱文本数据的信息抽取的准确率。
附图说明
[0013]图1为本专利技术实施例中一种基于跨度表示的端到端的菜谱信息抽取方法的流程图；
[0014]图2为本专利技术实施例中一种基于跨度表示的端到端的菜谱信息抽取方法中步骤S3：根据每条文本语料向量，获取每条文本语料向量中每个跨度向量的流程图；
[0015]图3为本专利技术实施例中一种基于跨度表示的端到端的菜谱信息抽取方法中步骤S4：将跨度向量，输入神经网络，得到跨度向量的得分，并计算跨度向量的实体类型的流程图；
[0016]图4为本专利技术实施例中一种基于跨度表示的端到端的菜谱信息抽取方法中步骤S5：取任一对跨度，将其对应的实体类型插入其所对应的文本进行调整，构建调整后的文本及其跨度向量，将调整后的跨度向量，输入神经网络，以判定二者对应关系的流程图；
[0017]图5为本专利技术实施例中基于跨度表示的端到端的菜谱信息抽取模型示意图；
[0018]图6本专利技术实施例中一种基于跨度表示的端到端的菜谱信息抽取系统的结构框图。
具体实施方式
[0019]本专利技术提供了一种基于跨度表示的端到端的菜谱信息抽取方法，有效解决菜谱中重叠实体问题，极大的提高菜谱文本数据的信息抽取的准确率。
[0020]为了使本专利技术的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本专利技术进一步详细说明。
[0021]实施例一
[0022]如图1所示，本专利技术实施例提供的一种基于跨度表示的端到端的菜谱信息抽取方法，包括下述步骤：
[0023]步骤S1：构建文本数据集；
[0024]步骤S2：使用预训练语言模型获取文本数据集中每条文本语料向量；
[0025]步骤S3：根据每条文本语料向量，获取每条文本语料向量中每个跨度向量；
[0026]步骤S4：将每个跨度向量，输入神经网络，得到跨度向量的得分，并计算跨度向量的实体类型；
[0027]步骤S5：取任一对跨度，将其对应的实体类型插入其所对应的文本，构建调整后的文本及其跨度向量，将调整后的跨度向量，输入神经网络，以判定二者对应关系。
[0028]在一个实施例中，上述步骤S1：构建文本数据集，具体包括：
[0029]利用爬虫技术，获取百度百科、美食杰以及其他网站上的非结构化和半结构化的食谱信息，形成文本数据集。通过人工标注，标出每条文本数据中的实体以及实体之间对应的关系。
[0030]在一个实施例中，上述步骤S2：使用预训练语言模型获取文本数据集中每条文本语料向量，具体包括：
[0031]使用现有的预训练语言模型对文本数据集中每条文本进行处理。本专利技术实施例采用 BERT预训练语言模型，获取文本数据集中的每条文本语料向量；其中，处理前的文本表示为X＝{x1，...，x
n
}，处理后的文本语料向量表示为X＝{x1，...，x
n
}；
[0032]其中，x
i
是该条文本数据中第i个汉字的向量。
[0033]如图2所示，在一个实施例中，上述步骤S3：根据每条文本语料向量，获取每条文本语料向量中每个跨度向量，具体包括：
[0034]步骤S31：获得文本语料向量中所有跨度向量；其中，跨度为每条文本语料中所有可能的汉字组合；跨度表示为S＝{s1，...，s
m
}，其中，s
i
为该文本语料的第i个跨度，n 为文本长度，
[0035]步骤S32：构建跨度s
i
的向量其中，x
START(i)
表示s
i
的起始位置向量，x
END(i)
示跨度s
i
的结束位置向量，表示s
i
中所有向量的加权和，φ(i)是表示s
i
大小的向量。
[0036][0037]如图3所示，在一个实施例中，上述步骤S4：将跨度向量，输入神经网络，得到跨度向量的得分，并计算得到跨度向量的实体类型，具体包括：
[0038]步骤S41：将每个跨度向量g本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨度表示的端到端的菜谱信息抽取方法，其特征在于，包括：步骤S1：构建文本数据集；步骤S2：使用预训练语言模型获取所述文本数据集中每条文本语料向量；步骤S3：根据每条所述文本语料向量，获取每条所述文本语料向量中每个跨度向量；步骤S4：将所述每个跨度向量，输入神经网络，得到所述跨度向量的得分，并计算所述跨度向量的实体类型；步骤S5：取任一对所述跨度，将其对应的实体类型插入其所对应的所述文本，构建调整后的文本及其跨度向量，将所述调整后的跨度向量，输入神经网络，以判定二者对应关系。2.根据权利要求1所述的基于跨度表示的端到端的菜谱信息抽取方法，其特征在于，所述步骤S2：使用预训练语言模型获取所述文本数据集中每条文本语料向量，具体包括：使用所述预训练语言模型对所述文本数据集中每条文本进行处理，得到所述每条文本语料向量；其中，所述文本表示为X＝{x1，...，x
n
}，所述文本语料向量表示为X＝{x1，...，x
n
}；其中，xi是该条文本数据中第i个汉字的向量。3.根据权利要求1所述的基于跨度表示的端到端的菜谱信息抽取方法，其特征在于，所述步骤S3：根据每条所述文本语料向量，获取每条所述文本语料向量中每个跨度向量，具体包括：步骤S31：获得所述文本语料向量中所有跨度；其中，所述跨度为所述文本语料向量X＝{x1，...，x
n
}中，所有可能的汉字组合；所述跨度表示为S＝{s1，...，s
m
}，其中，s
i
为该文本语料向量的第i个跨度，步骤S32：构建所述跨度s
i
的向量其中，x
START(i)
表示s
i
的起始位置向量，x
END(i)
示跨度s
i
的结束位置向量，表示s
i
中所有向量的加权和，φ(i)是表示s
i
大小的向量。4.根据权利要求1所述的基于跨度表示的端到端的菜谱信息抽取方法，其特征在于，所述步骤S4：将所述每个跨度向量，输入神经网络，得到所述跨度向量的得分，并计算得到所述跨度向量的实体类型，具体包括：步骤S41：将每个所述跨度向量g
i
，构建输入G＝{g1，...，g
...

【专利技术属性】
技术研发人员：刘新亮，张梦琪，马蕾，郝瀚，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：