一种语句分词方法和系统技术方案
【技术实现步骤摘要】
一种语句分词方法和系统
本专利技术涉及信息检索领域，具体涉及一种语句分词方法和系统。
技术介绍
现有技术中，对语句进行分词处理来进行信息检索，一般是采用正向最大匹配算法，具有歧义性的词时很容易被切分错，并且效率也随之变得低下。比如：短语“发展中国家”，正确的分割是“发展中/国家”，而采用从左向右查字典的办法将它分成“发展/中国/家”，这种显然是错误的,正向切分的算法是按照正常语句的顺序，不容易发现歧义性的词。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足，提供一种语句分词方法和系统。本专利技术解决上述技术问题的技术方案如下：一种语句分词方法，包括如下步骤：步骤S1：录入目标语句；步骤S2：由句尾向句头方向且每次从句尾开始以逐字递增的方式对目标语句中的字符进行提取，每次提取得到一个目标字段；步骤S3：将目标字段与预存的标准字段进行匹配，并根据匹配结果来确定是否在目标字段中设置断点，如果未设置断点则将该目标字段进行保存，并返回步骤S2提取下一目标字段进行匹配，如果设置了断点则对目标字段执行步骤S4；步骤S4：根据断点拆分目标字段，并将断点之前的字符以及未...
【技术保护点】
一种语句分词方法，其特征在于，包括如下步骤：步骤S1：录入目标语句；步骤S2：由句尾向句头方向且每次从句尾开始以逐字递增的方式对目标语句中的字符进行提取，每次提取得到一个目标字段；步骤S3：将目标字段与预存的标准字段进行匹配，并根据匹配结果来确定是否在目标字段中设置断点，如果未设置断点则将该目标字段进行保存，并返回步骤S2提取下一目标字段进行匹配，如果设置了断点则对目标字段执行步骤S4；步骤S4：根据断点拆分目标字段，并将断点之前的字符以及未判断的目标语句合并作为新的目标语句返回执行步骤S1重复执行，直至将整个目标语句全部分词完成，得到目标语句的分词结果。
【技术特征摘要】
1.一种语句分词方法，其特征在于，包括如下步骤：步骤S1：录入目标语句；步骤S2：由句尾向句头方向且每次从句尾开始以逐字递增的方式对目标语句中的字符进行提取，每次提取得到一个目标字段；步骤S3：将目标字段与预存的标准字段进行匹配，并根据匹配结果来确定是否在目标字段中设置断点，如果未设置断点则将该目标字段进行保存，并返回步骤S2提取下一目标字段进行匹配，如果设置了断点则对目标字段执行步骤S4；步骤S4：根据断点拆分目标字段，并将断点之前的字符以及未判断的目标语句合并作为新的目标语句返回执行步骤S1重复执行，直至将整个目标语句全部分词完成，得到目标语句的分词结果。2.根据权利要求1所述一种语句分词方法，其特征在于，步骤S1前还包括对目标语句进行非空语句的判断，如果该目标语句是空语句则直接输出空串，如果该目标语句是非空语句则执行步骤S1。3.根据权利要求1所述一种语句分词方法，其特征在于，所述步骤S3具体包括：步骤S301：将目标字段与预存在数据库中的标准字段进行匹配，如果匹配成功则不设置断点执行步骤S302，否则执行步骤S303；步骤S302：对匹配成功的目标字段进行保存，并返回步骤S2提取下一目标字段进行匹配；步骤S303：判断目标字段中首字符之后的字符个数是否大于1，如果大于，则执行步骤S304；否则执行步骤S305；步骤S304：根据前一次匹配结果判断是否设置断点，如果匹配结果为成功，则在本次匹配的字段中最前面的一个字符之后设置断点，执行步骤S4进行拆分；否则执行步骤S305；步骤S305：将本次目标字段滤除，并返回步骤S2提取下一个字段。4.根据权利要求1-3任一项所述一种语句分词方法，其特征在于，所述步骤S2中，设目标语句为S，S＝Aa,Ab,Ac...Ai,Aj,Ak，其中Aa,Ab,Ac...Ai,Aj,Ak表示为各个单字符，以逐字递增的方式对目标语句S中的字符进行提取为:首次提取得到字符Ak，第二次提取得到字符AjAk，第三次提取得到字符Ai,Aj,Ak,依次对目标语句进行提取。5.根据权利要求1-3任一项所述一种语句分词方法，其特征在于，所述步骤S4中还包括将断点之后的字符滤除的步骤。6.一种语句分词系统，其特征在于，包括：录入模块，用于录入目标...
【专利技术属性】
技术研发人员：李嘉，
申请(专利权)人：贵州恒昊软件科技有限公司，
类型：发明
国别省市：贵州,52
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。