【技术实现步骤摘要】
样本数据的处理方法和装置
本申请实施例涉及信息处理领域，尤指一种样本数据的处理方法和装置。
技术介绍
知识图谱是人工智能应用不可或缺的基础资源，在语义搜索、问答系统、个性化推荐等互联网应用中占有重要地位。知识图谱的构建过程分为三部分：信息抽取、知识融合和知识加工，其中，信息抽取涉及到的关键技术包括：实体抽取、属性抽取和关系抽取。在数据量充足的情况下，目前比较流行的信息抽取技术是利用深度学习神经网络来抽取语料中的实体、属性和关系构建三元组。但是在领域知识图谱中数据比较缺乏，深度学习模型不适用的情况下，构建知识图谱成为行业领域的难点。相关技术中，使用隐马尔可夫模型(HiddenMarkovModel，HMM)来进行信息抽取，通过手工或半自动方式构建训练语料，进行模型训练，然后利用模型来识别语料中的实体、属性和关系。通过定义观察序列和标记序列的联合概率对生成过程进行建模。由于HMM有着较强的独立性假设，观察序列的元素看作是彼此孤立的个体，任何时刻的观察结果只依赖于该时刻的状态，因此，使用隐马尔可夫模型只能使用有限的...
【技术保护点】
1.一种样本数据的处理方法，其特征在于，包括：/n获取样本数据中预测词的特征信息；/n根据所述预测词的特征信息，确定预先获取的训练数据中每个训练词与所述预测词的相似度信息；/n根据每个训练词的相似度信息，确定K个词作为所述预测词的候选词，其中K为大于等于2的整数；/n获取对所述K个候选词的标注结果，其中所述标注结果包括所述候选词对应的类别信息；/n根据所述K个候选词的标注结果，确定所述预测词的类别信息。/n
【技术特征摘要】
1.一种样本数据的处理方法，其特征在于，包括：
获取样本数据中预测词的特征信息；
根据所述预测词的特征信息，确定预先获取的训练数据中每个训练词与所述预测词的相似度信息；
根据每个训练词的相似度信息，确定K个词作为所述预测词的候选词，其中K为大于等于2的整数；
获取对所述K个候选词的标注结果，其中所述标注结果包括所述候选词对应的类别信息；
根据所述K个候选词的标注结果，确定所述预测词的类别信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述预测词的特征信息，确定预先获取的训练数据中每个词与所述预测词的相似度信息，包括：
计算所述预测词的每个特征信息和同一个训练词的每个特征信息的相似度信息；
对同一个训练词的每个特征信息的相似度进行计算，确定每个训练词与预测词的相似度信息。
3.根据权利要求2所述的方法，其特征在于，所述计算所述预测词的每个特征信息和同一个训练词的每个特征信息的相似度信息，包括：
判断同一特征信息中的两组特征信息中内容的长度的差值是否大于预先设置的长度阈值，得到判断结果；
如果判断结果为大于所述长度阈值，则利用预先获取的余弦相似度的计算策略，对同一特征信息上预测词对应的内容和训练词对应的内容进行计算，确定所述预测词和所述训练词在同一特征信息的相似度信息；
如果判断结果为小于或等于所述长度阈值，则利用预先获取的Jaccard相似度的计算策略，对同一特征信息上预测词对应的内容和训练词对应的内容进行计算，确定所述预测词和所述训练词在同一特征信息的相似度信息。
4.根据权利要求3所述的方法，其特征在于，所述对同一个训练词的每个特征信息的相似度进行计算，确定每个训练词与预测词的相似度信息，包括：
在利用余弦相似度的计算策略确定同一特征信息的相似度时，获取同一个训练词的每个特征信息的相似度信息，其中所述相似度信息包括每个特征信息的相似度的均值、方差和标准差中的至少一个；对同一个训练词的每个特征信息的相似度信息进行高斯归一化处理，得到所述训练词与所述预测词的相似度信息；
在利用Jaccard相似度的计算策略确定同一特征信息的相似度时，获取同一个训练词的每个特征信息的相似度信息，对同一个训练词的每个特征信息的相似度信息进行最大值最小值归一化处理，得到所述训练词与所述预测词的相似度信息。
5.根据权利要求1所述的方法，其特征在于，所述根据所述K个候选词的类别信息，确定所述预测词的类别信息，包括：
按照类别信息对应所述K个候选词进行分类，确定所述K个候选词中同一类别信息的候选词的总数；
根据所述同一类别信息的候选词的总数，从所述K个候选词的类别信息中，选择满足预先设置的高使用率的判断策略的类别信息，作为所述预测词的类别信息。
6.一种样本数据的处理装置，其特征在于，包括处理器和存储器，其中所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现如下操...
【专利技术属性】
技术研发人员：张东，刘成鹏，卢亿雷，
申请(专利权)人：恩亿科北京数据科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。