一种海量音频数据中的字符串快速模糊匹配算法制造技术

本发明专利技术公开了一种字符串的快速模糊匹配算法。本发明专利技术首先对数据库中的文本进行数据的预处理，从而获得统计模型，并通过Hash建立索引。输入文本是一个较短的字符串，本发明专利技术遍历其中所有汉字，激活有限字符全集中对应汉字的位置。将有限字符全集的激活状态映射到每一个标签上，从而达到过滤标签的目的。对过滤出来的少量标签进行与文本的匹配，用DTW算法进行近似字符串匹配。根据匹配近似度结果进行打分，并排序，返回搜索到的结果。本发明专利技术通过高效的标签过滤方法，大幅度地提升了字符串匹配算法的计算效率；同时在对输入文本进行匹配的过程中，达到模糊匹配的效果，对于模糊语言也具有很好的匹配性能。

【技术实现步骤摘要】

本专利技术涉及一种一种海量音频数据中的字符串快速模糊匹配算法，属于自然语言处理领域。
技术介绍
字符串匹配问题是在给定符号序列(称为文本)中按照一定的匹配条件，搜索给定符号序列或给定符号序列集合中元素(称为模式)出现位置的搜索问题。该问题是计算机科学的基础问题之一，被广泛的应用于各种涉及文字和符号处理的领域中，是网络安全、信息检索、计算生物学等重要领域的关键问题。随着网络安全问题凸显、海量信息检索、计算生物学高速发展，现有串匹配算法已经无法满足应用对匹配性能的需要，急需性能更高的串匹配算法出现。在串匹配算法中，最有影响的是KMP(knuth，morris，pratt)算法和BM(boyer，moore)算法，为提高字符串模式匹配的效率，研究人员针对这两种算法提出了很多变形、改进算法。BF(brute-force)算法是最为经典的算法，其思想是从目标串s的第一个字符起和模式串t的第一个字符进行比较，若相等，则继续逐个比较后续字符，否则从串s的第二个字符起再重新和串t进行比较。依此类推，直至串t中的每个字符依次和串s的一个连续的字符序列相等，则称模式匹配成功，此时串t的第一个字符在串s中的位置就是t在s中的位置，否则模式匹配不成功。其确定也很显然，速度慢开销大，且不支持字符串的模糊搜索。KMP算法是D.E.Knuth、J.H.Morris和V.R.Pratt这3位学者在BF(brute-force)算法基础上提出的模式匹配改进算法。该算法中模式串从左至右移动，字符比较也从左至右进行。但是其对其下一个字符的滑动位置的选定是一大难点。BM算法是Boyer和Moore两人在KMP算法的启发下提出的，是一种快速的单模式匹配算法。BM算法进行模式匹配时，模式沿着文本从左到右移动，字符比较却从右至左进行，在每次比较失败后，使用坏字符移动表与好后缀移动表来启发模式向后移动的距离，使得在扫描正文时可以尽可能地跳过多的字符，实践证明BM算法是一种快速有效的模式匹配算法。此外神经网络问答判断算法也是模糊匹配算法中的主流算法之一，其将输入文本的每一个字符对应一个节点，输出层每一节点对应一个关键词的序号，被激活的输出层节点代表当前用户描述文本中存在的有效关键词。输出转换为二进制比特序列{Oi本文档来自技高网...

【技术保护点】
一种字符串的快速模糊匹配算法，其特征在于，所述字符串的快速模糊匹配算法包括以下步骤：(1‑1)确定需要匹配的M个文本，通过自然语言处理算法提取文本中的关键词标签，关键词标签序号为i，并将标签存入数据库中以供后续的字符串匹配查找，关键词标签记为Keyword(m，i)(文本编号m＝1，2，3，...，M)；(1‑2)对数据库中存储的数据进行训练学习，获得字符到标签字符串的映射关系D1，标签字符串到文本的映射关系D2，文本到标签数量的映射关系D3，并存入字典中；(1‑3)输入长度为L个字符的搜索文本X，描述想要查找的数据库中的文本，从输入的搜索文本中提取字符集合X(l)(字符序号l＝1，2，3，...，L)；(1‑4)遍历X(l)，通过字符到标签字符串的映射关系D1从标签关键词集合Keyword(m，i)(m＝1，2，3，...，M)中过滤出相关的候选标签关键词集合candidate(m，i)；(1‑5)对候选标签关键词集合candidate(m，i)采用滑动窗口法，与输入文本X通过字符串模糊匹配算法进行匹配，对于输入匹配得分满足要求的标签存入命中标签集合HitLables(m，i)；(1‑6)找出输入文本X中的否定词集合N，遍历命中标签集合HitLables(m，i)集合中的标签，若含有预先设定的否定词，则删除命中标签集合HitLables(m，i)中对应的标签；(1‑7)遍历命中标签集合HitLables(m，i)中的标签，通过标签字符串到文本的映射关系D2找到匹配的文本集合F；(1‑8)统计文本集合F中每个文本关键词字符被命中的总的次数，以此为依据给匹配文本集合F中的文本序列打分排序，并返回结果。...

【技术特征摘要】
1.一种字符串的快速模糊匹配算法，其特征在于，所述字符串的快速模糊匹配算法包括以下步骤：(1-1)确定需要匹配的M个文本，通过自然语言处理算法提取文本中的关键词标签，关键词标签序号为i，并将标签存入数据库中以供后续的字符串匹配查找，关键词标签记为Keyword(m，i)(文本编号m＝1，2，3，...，M)；(1-2)对数据库中存储的数据进行训练学习，获得字符到标签字符串的映射关系D1，标签字符串到文本的映射关系D2，文本到标签数量的映射关系D3，并存入字典中；(1-3)输入长度为L个字符的搜索文本X，描述想要查找的数据库中的文本，从输入的搜索文本中提取字符集合X(l)(字符序号l＝1，2，3，...，L)；(1-4)遍历X(l)，通过字符到标签字符串的映射关系D1从标签关键词集合Keyword(m，i)(m＝1，2，3，...，M)中过滤出相关的候选标签关键词集合candidate(m，i)；(1-5)对候选标签关键词集合candidate(m，i)采用滑动窗口法，与输入文本X通过字符串模糊匹配算法进行...

【专利技术属性】
技术研发人员：田学红，朱晓明，于拾全，
申请(专利权)人：深圳凡豆信息科技有限公司，
类型：发明
国别省市：广东;44