负样本采样方法、文本处理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种负样本采样方法、文本处理方法、装置、设备及介质，所述的负样本采样方法包括：获取文本语料；对所述文本语料进行分词，得到所述文本语料的分词结果；从所述文本语料中获取多个文本片段，作为所述文本语料的负样本；其中，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段；所述多个文本片段中的每个文本片段与所述分词结果中的每个词均不相同。根据本发明专利技术实施例，采样的负样本可以适用于文本语料所属的领域。

【技术实现步骤摘要】
负样本采样方法、文本处理方法、装置、设备及介质
本专利技术属于计算机领域，尤其涉及一种负样本采样方法、文本处理方法、装置、设备及介质。
技术介绍
在自然语言处理具体的业务场景中，经常需要对一些专业领域的文本进行分词。为了对专业领域的文本进行分词，需要重建在训练通用领域分词器时使用的复杂的神经网络分词模型。重建分词模型时的负样本大多来自人民日报等通用新闻领域，但是，如果使用这些通用领域采样的负样本训练分词器，那么训练出的分词器在一些专业领域上往往表现较差，即在通用领域采样的负样本无法适用于一些专业领域。
技术实现思路
本专利技术实施例提供一种负样本采样方法、文本处理方法、装置、设备及介质，能够解决在通用领域采样的负样本无法适用于专业领域的问题。第一方面，本专利技术实施例提供一种负样本采样方法，其中，所述的方法包括：获取文本语料；对所述文本语料进行分词，得到所述文本语料的分词结果；从所述文本语料中获取多个文本片段，作为所述文本语料的负样本；其中，所述文本片段包括由单个字形成的文本片本文档来自技高网...

【技术保护点】
1.一种负样本采样方法，其中，所述的方法包括：/n获取文本语料；/n对所述文本语料进行分词，得到所述文本语料的分词结果；/n从所述文本语料中获取多个文本片段，作为所述文本语料的负样本；/n其中，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段；所述多个文本片段中的每个文本片段与所述分词结果中的每个词均不相同。/n

【技术特征摘要】
1.一种负样本采样方法，其中，所述的方法包括：
获取文本语料；
对所述文本语料进行分词，得到所述文本语料的分词结果；
从所述文本语料中获取多个文本片段，作为所述文本语料的负样本；
其中，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段；所述多个文本片段中的每个文本片段与所述分词结果中的每个词均不相同。


2.根据权利要求1所述的方法，其中，所述每个文本片段属于词典中收录的词。


3.根据权利要求1或2所述的方法，其中，从所述文本语料中获取多个文本片段，作为所述文本语料的负样本，包括：
对于所述分词结果中的目标词，在所述文本语料中提取所述目标词的上下文，所述上下文包括：在所述目标词的左右窗口中的词；
在所述上下文中提取与所述分词结果中的每个词均不相同的文本片段，作为所述文本语料的负样本。


4.根据权利要求1或2所述的方法，其中，从所述文本语料中获取多个文本片段，作为所述文本语料的负样本，包括：
在所述分词结果中选择高频词，所述高频词是在所述文本语料中的出现次数大于或等于预定次数的词；
将所述高频词拆分为至少第一文本片段和第二文本片段；
如果所述至少第一文本片段和第二文本片段分别与所述分词结果中的每个词均不相同，将所述至少第一文本片段和第二文本片段均作为所述文本语料的负样本。


5.一种文本处理方法，其中，所述的方法包括：
对待处理文本进行分词，得到多条分词路径；
使用经过训练的词向量，计算所述多条分词路径中的每条分词路径为正确路径的概率，以确定所述待处理文本的目标分词路径；
其中，所述经过训练的词向量是使用负样本对已有词向量重新训练得到的训练后的词向量，所述负样本是从文本语料中获取的文本片段，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段，所述文本片段与所述文本语料的分词结果中的每个词均不相同。


6.根据权利要求5所述的方法，其中，使用经过训练的词向量，计算所述多条分词路径中的每条分词路径为正确路径的概率，包括：
在所述经过训练的词向量中进行查询，得到按照当前分词路径划分得到的词对应的词向量；
使用所述划分得到的词对应的词向量，进行相似度计算，确定所述划分得到的词在所述待处理文本中是词的概率；
根据所述划分得到的词在所述待处理文本中是词的概率，得到所述当前分词路径为正确路径的概...

【专利技术属性】
技术研发人员：叶宇潇，邱立坤，付彬，邓拯宇，李杨，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY