负样本采样方法、文本处理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种负样本采样方法、文本处理方法、装置、设备及介质，所述的负样本采样方法包括：获取文本语料；对所述文本语料进行分词，得到所述文本语料的分词结果；从所述文本语料中获取多个文本片段，作为所述文本语料的负样本；其中，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段；所述多个文本片段中的每个文本片段与所述分词结果中的每个词均不相同。根据本发明专利技术实施例，采样的负样本可以适用于文本语料所属的领域。

【技术实现步骤摘要】
负样本采样方法、文本处理方法、装置、设备及介质
本专利技术属于计算机领域，尤其涉及一种负样本采样方法、文本处理方法、装置、设备及介质。
技术介绍
在自然语言处理具体的业务场景中，经常需要对一些专业领域的文本进行分词。为了对专业领域的文本进行分词，需要重建在训练通用领域分词器时使用的复杂的神经网络分词模型。重建分词模型时的负样本大多来自人民日报等通用新闻领域，但是，如果使用这些通用领域采样的负样本训练分词器，那么训练出的分词器在一些专业领域上往往表现较差，即在通用领域采样的负样本无法适用于一些专业领域。
技术实现思路
本专利技术实施例提供一种负样本采样方法、文本处理方法、装置、设备及介质，能够解决在通用领域采样的负样本无法适用于专业领域的问题。第一方面，本专利技术实施例提供一种负样本采样方法，其中，所述的方法包括：获取文本语料；对所述文本语料进行分词，得到所述文本语料的分词结果；从所述文本语料中获取多个文本片段，作为所述文本语料的负样本；其中，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段；所述多个文本片段中的每个文本片段与所述分词结果中的每个词均不相同。第二方面，本专利技术实施例提供了一种文本处理方法，其中，所述的方法包括：对待处理文本进行分词，得到多条分词路径；使用经过训练的词向量，计算所述多条分词路径中的每条分词路径为正确路径的概率，以确定所述待处理文本的目标分词路径；其中，所述经过训练的词向量是使用负样本对已有词向量重新训练得到的训练后的词向量，所述负样本是从文本语料中获取的文本片段，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段，所述文本片段与所述文本语料的分词结果中的每个词均不相同。第三方面，本专利技术实施例提供了一种负样本采样装置，其中，所述的装置包括：语料获取模块，用于获取文本语料；分词模块，用于对所述文本语料进行分词，得到所述文本语料的分词结果；文本片段获取模块，用于从所述文本语料中获取多个文本片段，作为所述文本语料的负样本；其中，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段；所述多个文本片段中的每个文本片段与所述分词结果中的每个词均不相同。第四方面，本专利技术实施例提供了一种文本处理装置，其中，所述的装置包括：路径划分模块，用于对待处理文本进行分词，得到多条分词路径；路径确定模块，用于使用经过训练的词向量，计算所述多条分词路径中的每条分词路径为正确路径的概率，以确定所述待处理文本的目标分词路径；其中，所述经过训练的词向量是使用负样本对已有词向量重新训练得到的训练后的词向量，所述负样本是从文本语料中获取的文本片段，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段，所述文本片段与所述文本语料的分词结果中的每个词均不相同。第五方面，本专利技术实施例提供了一种计算设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现所述的负样本采样方法或者文本处理方法。第六方面，本专利技术实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现所述的负样本采样方法或者文本处理方法。本专利技术实施例的负样本采样方法、文本处理方法、装置、设备及介质，能够从文本语料中对负样本进行采样，采样的负样本可以适用于该文本语料所属的领域，进而可以利用该负样本实现在该领域上的准确分词。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例提供的负样本采样方法的流程示意图；图2是本专利技术一个实施例提供的文本处理方法的流程示意图；图3是本专利技术一个实施例提供的文本划分的原理示意图；图4是本专利技术另一个实施例提供的文本处理方法的流程示意图；图5是本专利技术一个实施例提供的负样本采样装置的结构示意图；图6是本专利技术一个实施例提供的文本处理装置的结构示意图；图7是本专利技术一个实施例提供的计算设备的硬件结构示意图。具体实施方式下面将详细描述本专利技术的各个方面的特征和示例性实施例，为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本专利技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本专利技术，并不被配置为限定本专利技术。对于本领域技术人员来说，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。为了解决现有技术问题，本专利技术实施例提供了一种负样本采样方法、文本处理方法、装置、设备及介质。下面首先对本专利技术实施例所提供的负样本采样方法进行介绍。图1示出了本专利技术一个实施例提供的负样本采样方法的流程示意图。如图1所示，负样本采样方法包括：S101，获取文本语料。S102，对文本语料进行分词，得到文本语料的分词结果。其中，可以使用现有技术中的分词技术对文本语料进行分词，比如使用通用领域的分词器(比如，基线分词器，BaselineSegmenter)进行分词。分词结果中的词可以是由单个字形成的词或者由多个字形成的词。文本语料可以是同一领域的文本语料，比如，文本语料都是通信领域的文本语料。S103，从文本语料中获取多个文本片段，作为文本语料的负样本。其中，文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段；多个文本片段中的每个文本片段与分词结果中的每个词均不相同。单个字可以形成一个文本片段，多个字也可以形成一个文本片段。如果由多个字形成的一个文本片段，那么该多个字在文本语料中可以是连续出现的多个字。研究中实际观测或调查的一部分个体称为样本(sample)。机器训练时需要用到样本，样本分为正样本和负样本，负样本是相对于正样本而言的，正样本是用于告诉机器什么样的数据点的类别是1，负样本是用于告诉机器什么样的数据点的类别是0。把正负样本放在一起，就组成了一个数据集，并从中抽取一部分或者全部。这就是训练集，通过训练本文档来自技高网...

【技术保护点】
1.一种负样本采样方法，其中，所述的方法包括：/n获取文本语料；/n对所述文本语料进行分词，得到所述文本语料的分词结果；/n从所述文本语料中获取多个文本片段，作为所述文本语料的负样本；/n其中，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段；所述多个文本片段中的每个文本片段与所述分词结果中的每个词均不相同。/n

【技术特征摘要】
1.一种负样本采样方法，其中，所述的方法包括：
获取文本语料；
对所述文本语料进行分词，得到所述文本语料的分词结果；
从所述文本语料中获取多个文本片段，作为所述文本语料的负样本；
其中，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段；所述多个文本片段中的每个文本片段与所述分词结果中的每个词均不相同。


2.根据权利要求1所述的方法，其中，所述每个文本片段属于词典中收录的词。


3.根据权利要求1或2所述的方法，其中，从所述文本语料中获取多个文本片段，作为所述文本语料的负样本，包括：
对于所述分词结果中的目标词，在所述文本语料中提取所述目标词的上下文，所述上下文包括：在所述目标词的左右窗口中的词；
在所述上下文中提取与所述分词结果中的每个词均不相同的文本片段，作为所述文本语料的负样本。


4.根据权利要求1或2所述的方法，其中，从所述文本语料中获取多个文本片段，作为所述文本语料的负样本，包括：
在所述分词结果中选择高频词，所述高频词是在所述文本语料中的出现次数大于或等于预定次数的词；
将所述高频词拆分为至少第一文本片段和第二文本片段；
如果所述至少第一文本片段和第二文本片段分别与所述分词结果中的每个词均不相同，将所述至少第一文本片段和第二文本片段均作为所述文本语料的负样本。


5.一种文本处理方法，其中，所述的方法包括：
对待处理文本进行分词，得到多条分词路径；
使用经过训练的词向量，计算所述多条分词路径中的每条分词路径为正确路径的概率，以确定所述待处理文本的目标分词路径；
其中，所述经过训练的词向量是使用负样本对已有词向量重新训练得到的训练后的词向量，所述负样本是从文本语料中获取的文本片段，所述文本片段包括由单个字形成的文本片段和/或由多个字形成的文本片段，所述文本片段与所述文本语料的分词结果中的每个词均不相同。


6.根据权利要求5所述的方法，其中，使用经过训练的词向量，计算所述多条分词路径中的每条分词路径为正确路径的概率，包括：
在所述经过训练的词向量中进行查询，得到按照当前分词路径划分得到的词对应的词向量；
使用所述划分得到的词对应的词向量，进行相似度计算，确定所述划分得到的词在所述待处理文本中是词的概率；
根据所述划分得到的词在所述待处理文本中是词的概率，得到所述当前分词路径为正确路径的概...

【专利技术属性】
技术研发人员：叶宇潇，邱立坤，付彬，邓拯宇，李杨，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY