【技术实现步骤摘要】
本公开涉及文本处理，具体而言，本公开涉及一种自然语言处理驱动的智能文本检索与分析系统。
技术介绍
1、随着信息技术的迅速发展，人们面临的数据量呈指数级增长，尤其是文本数据，在互联网、企业管理、科学研究等领域中占据了大量的信息流。目前，传统的文本检索方法主要基于关键字匹配，这种方法在处理大规模、复杂语义的文本数据时效率低下，难以满足现代社会的需求。
技术实现思路
1、本公开实施例提供了一种自然语言处理驱动的智能文本检索与分析系统，用于解决在处理大规模、复杂语义的文本数据时效率低下的技术问题。
2、根据本公开实施例的一个方面，提供了一种自然语言处理驱动的智能文本检索与分析系统，包括：
3、预处理模块，用于获取来自外部系统的文本数据，并将所述文本数据进行预处理，以获得待处理文本数据；
4、特征分析模块，连接于所述预处理模块，用于提取所述待处理文本数据中的数据特征，所述数据特征包括文本特征、用于表征段落内容之间的依赖关系的第一语义特征以及用于表征上下文之间的相关性的第二语义特征；
5、检索模块，与所述特征分析模块相连接，用于响应由所述外部系统输入的搜索词条，基于所述数据特征，从所获取到的文本数据中确定与所述搜索词条相匹配的检索结果；
6、文本分析模块，与所述特征分析模块、所述检索模块相连接，用于基于所述数据特征执行针对所述待处理文本数据和/或所述检索结果的文本分析任务，所述文本分析任务包括情感分析任务、主题分析任务以及摘要提取任务
7、在一个可能的实现方式中，所述特征分析模块，包括：
8、文本特征提取单元，用于将所述待处理文本数据转换为文本向量数据；将所述文本向量数据输入到预先建立的文本特征提取模型中，以进行特征提取，输出包含文本关键词的文本特征；
9、其中，所述文本特征提取模型包括级联排序的卷积层、激活函数层、池化层和全连接层，所述卷积层与所述全连接层之间具有连接结构；
10、所述文本特征提取单元，包括：
11、文本特征提取模型处理单元，用于通过所述卷积层对所述文本向量数据进行特征提取，以获得一个或多个局部特征；
12、通过所述激活函数层对所述局部特征进行非线性处理；
13、通过所述池化层对所述激活函数层的输出进行池化操作，后通过所述全连接层对所述池化层的输出及所述卷积层所输出的局部特征进行整合，以获得针对所述待处理文本数据的文本特征。
14、在一个可能的实现方式中，所述特征分析模块，还包括：
15、语义特征提取单元，用于将所述待处理文本数据转换为文本序列，所述文本序列中每个单词或字符表征一个时间步；将所述文本序列输入到预设的语义特征提取模型中，以提取所述文本序列中的时间序列特征以及长距离依赖关系，输出用于指示段落内容之间的语义的第一语义特征。
16、在一个可能的实现方式中，所述特征分析模块还包括语义理解单元；
17、所述语义理解单元，包括：
18、语义特征提取单元，用于从预训练的bert模型中确定与所述文本分析任务相关的语义理解模型，使得将所述待处理文本数据输入到所述语义理解模型中，以输出与所述文本分析任务相关联的语义理解特征，作为所述待处理文本数据的第二语义特征。
19、在一个可能的实现方式中，所述语义理解单元还包括连接于所述语义特征提取单元的第一语义消歧单元：
20、第一语义消歧单元，用于确定所述待处理文本数据中的多义词，并根据所述多义词所在的上下文内容，确定所述多义词的文本语义范围；
21、计算所述多义词所指示的各词义与所述文本语义范围的匹配程度，以筛选出匹配程度最高的词义；
22、基于各多义词的多义词语义理解特征及筛选出的词义，确定所述多义词的第二语义特征，其中，所述多义词语义理解特征为由所述语义理解模型对所述多义词处理后输出的语义理解特征。
23、在一个可能的实现方式中，所述语义理解单元还包括第二语义消歧单元；
24、所述第二语义消歧单元，用于建立语义消歧模型；
25、确定所述语义消歧模型中的待处理模型参数；
26、对所述待处理模型参数进行随机化，并执行随机化测试，使得基于测试结果对所述语义消歧模型进行调整；
27、将所述待处理文本数据中的多义词输入到调整后的语义消歧模型中，以确定所述多义词对于其所在的上下文内容的词义，输出所述多义词的第二语义特征。
28、在一个可能的实现方式中，所述检索模块，包括：
29、词条搜索单元，用于为所获取到的文本数据建立索引，所述索引记录有每个词汇与所述词汇所在的文本数据的关联关系；
30、基于所述索引，确定满足布尔查询条件的至少一个所述文本数据，并作为文本检索结果，其中，所述布尔查询条件由至少一个所述搜索词条和/或预设查询条件组合而成；
31、利用预设的向量空间模型对所述文本检索结果进行相似度匹配，以确定搜索词匹配结果。
32、在一个可能的实现方式中，所述检索模块，还包括：
33、语义分析单元，连接于所述词条搜索单元、所述语义特征提取单元，用于将所述搜索词条和所述文本数据输入到所述语义理解模型中，以确定所述搜索词条与各所述文本数据之间的语义关系，输出相应的语义理解特征；
34、计算所述搜索词条与各所述文本数据的语义理解特征之间的相似度，以确定语义匹配结果；
35、基于所述语义匹配结果与所述搜索词匹配结果，确定与所述搜索词条相匹配的检索结果。
36、在一个可能的实现方式中，所述文本分析模块，包括：
37、情感分析单元，连接于所述文本特征提取单元，用于将所述待处理文本数据和/或所述检索结果输入到所述文本特征提取模型中，以提取与所述情感分析任务相关的情感文本特征；使用预设的分类模型对所述情感文本特征进行情绪倾向分类，以获得关于所述待处理文本数据和/或所述检索结果的情绪趋势；
38、主题分析单元，用于从所述待处理文本数据中提取相应的文本主题，以形成主题概览；
39、摘要提取单元，用于从所述待处理文本数据中识别并提取关键句子，以形成原文摘要。
40、在一个可能的实现方式中，所述主题分析单元，包括：
41、主题提取单元，用于获取包含多个主题的训练文本数据，并标注各所述训练文本数据所属的主题类别；
42、建立cmpa模型中的状态集和转换策略，所述状态集中的每个状态对应于一个主题类别，所述转换策略用于指示将与所述主题类别相关的关联词转换为所述主题类别相关的状态；
43、利用所述训练文本数据对预设的cmpa模型进行训练、测试和验证，以获得主题提取模型；
44、将所述待处理文本数据输入到所述主题提取模型中，以关于每个状态，确定其相关的关联词的出现次数，使得将关联词的出现次数最多的状态本文档来自技高网...
【技术保护点】
1.一种自然语言处理驱动的智能文本检索与分析系统，其特征在于，包括：
2.根据权利要求1所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述特征分析模块，包括：
3.根据权利要求2所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述特征分析模块，还包括：
4.根据权利要求3所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述特征分析模块还包括语义理解单元；
5.根据权利要求4所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述语义理解单元还包括连接于所述语义特征提取单元的第一语义消歧单元：
6.根据权利要求4所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述语义理解单元还包括第二语义消歧单元；
7.根据权利要求6所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述检索模块，包括：
8.根据权利要求7所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述检索模块，还包括：
9.根据权利要求1或8所述的自然
10.根据权利要求9所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述主题分析单元，包括：
...【技术特征摘要】
1.一种自然语言处理驱动的智能文本检索与分析系统，其特征在于，包括：
2.根据权利要求1所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述特征分析模块，包括：
3.根据权利要求2所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述特征分析模块，还包括：
4.根据权利要求3所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述特征分析模块还包括语义理解单元；
5.根据权利要求4所述的自然语言处理驱动的智能文本检索与分析系统，其特征在于，所述语义理解单元还包括连接于所述语义特征提取单元的第一语义消歧单元：
【专利技术属性】
技术研发人员：王君，刘璐，霍绥力，
申请(专利权)人：北京华档致远科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。