一种基于大数据检索和语义分析的快搜模型训练方法技术

本发明专利技术提出的一种基于大数据检索和语义分析的快搜模型训练方法，首先建立输入为检索信息，输出为检索关键词的快搜模型；根据检索信息的人工标注的检索关键词对快搜模型进行训练；对部分检索信息分别获取人工标注的检索关键词和快搜模型标注的检索关键词，再根据人工标注获取的检索结果与模型标注的检索结果的重合率对快搜模型进行验证。本发明专利技术保证了快搜模型最终获得的检索关键词无限接近检索信息的人工提炼结果，使得快搜模型可代替人工进行检索信息的分析提取，从而通过快搜模型的应用，避免了检索信息的人工分析工作，从而提高了检索关键词的提取效率，并降低了人工成本。

A fast search model training method based on big data retrieval and semantic analysis

【技术实现步骤摘要】
一种基于大数据检索和语义分析的快搜模型训练方法
本专利技术涉及
，尤其涉及一种基于大数据检索和语义分析的快搜模型训练方法。
技术介绍
随着互联网技术的发展，互联网资源的丰富日新月异。如此，互联网带动信息传播的同时，也由于网络信息过于丰富，造成了信息检索遇到了筛选难题。如何在海量的互联网数据中精确获得所需要的信息，是当前信息化时代不可忽视的问题。目前，信息检索，都是通过人工提炼关键词，然后根据检索结果对关键词进行修正，以达到预期的检索效果，人工成本过高，且效率低。
技术实现思路
基于
技术介绍
存在的技术问题，本专利技术提出了一种基于大数据检索和语义分析的快搜模型训练方法。本专利技术提出的一种基于大数据检索和语义分析的快搜模型训练方法，首先建立输入为检索信息，输出为检索关键词的快搜模型；根据检索信息的人工标注的检索关键词对快搜模型进行训练；对部分检索信息分别获取人工标注的检索关键词和快搜模型标注的检索关键词，再根据人工标注获取的检索结果与模型标注的检索结果的重合率对快搜模型进行验证。优选的，具体包括以下步骤：S1、收集检索信息，并对检索信息进行人工分拣，提取检索关键词作为人工标注；S2、随机抽取部分检索信息和对应的人工标注作为训练子集，并从剩余的检索信息中随机抽取部分检索信息和对应的人工标注作为修正子集；S3、根据训练子集训练输入为检索信息，输出为检索关键词的快搜模型；S4、从修正子集中抽取一条检索信息作为修正样本；S5、根据快搜模型获取修正样本的模型标注，分别根据检索信息对应的模型标注和人工标注进行检索，获取模型标注检索结果与人工标注检索结果的重合率；S6、判断重合率是否大于或者等于预设的检验阈值；S7、是，统计修正次数；然后判断修正次数是否达到预设的修正阈值；否，则从修正子集中重新选择修正样本，然后返回步骤S5；是，则输出快搜模型；S8、否，则更新训练子集和修正子集，并根据新的训练子集对快搜模型进行迭代训练，然后返回步骤S4。优选的，步骤S2中，训练子集中包含的检索信息数量大于或者等于100。优选的，训练子集中包含的检索信息数量为1000。优选的，修正子集中包含的检索信息数量等于训练子集中包含的检索信息数量。优选的，循环训练过程中，任意两个训练子集中的检索信息重合率为0。优选的，步骤S7中，从修正子集中重新选择修正样本时，首先将原来的修正样本从修正子集中移除，然后再从修正子集中选择修正样本。优选的，步骤S7中的修正阈值大于或者等于修正样本中检索信息数量最大值的一半。优选的，步骤S6中的检验阈值大于或者等于85％。本专利技术提出的一种基于大数据检索和语义分析的快搜模型训练方法，实现了通过快搜模块对检索信息进行检索关键词提取，以便根据检索关键词在互联网资源中进行检索。本专利技术中，通过重合率对快搜模型的验证，保证了快搜模型最终获得的检索关键词无限接近检索信息的人工提炼结果，使得快搜模型可代替人工进行检索信息的分析提取，从而通过快搜模型的应用，避免了检索信息的人工分析工作，从而提高了检索关键词的提取效率，并降低了人工成本。附图说明图1为本专利技术提出的一种基于大数据检索和语义分析的快搜模型训练方法流程图；图2为本专利技术提出的另一种基于大数据检索和语义分析的快搜模型训练方法流程图。具体实施方式参照图1，本专利技术提出的一种基于大数据检索和语义分析的快搜模型训练方法，首先建立输入为检索信息，输出为检索关键词的快搜模型；根据检索信息的人工标注的检索关键词对快搜模型进行训练；对部分检索信息分别获取人工标注的检索关键词和快搜模型标注的检索关键词，再根据人工标注获取的检索结果与模型标注的检索结果的重合率对快搜模型进行验证。本实施方式中，实现了通过快搜模块对检索信息进行检索关键词提取，以便根据检索关键词在互联网资源中进行检索。本实施方式中，通过重合率对快搜模型的验证，保证了快搜模型最终获得的检索关键词无限接近检索信息的人工提炼结果，使得快搜模型可代替人工进行检索信息的分析提取，从而通过快搜模型的应用，避免了检索信息的人工分析工作，从而提高了检索关键词的提取效率，并降低了人工成本。参照图2，本实施方式中基于大数据检索和语义分析的快搜模型训练方法，具体包括以下步骤。S1、收集检索信息，并对检索信息进行人工分拣，提取检索关键词作为人工标注。即，本步骤中，收集检索信息作为标注样本，标注样本由领域专家标注检索关键词。S2、随机抽取部分检索信息和对应的人工标注作为训练子集，并从剩余的检索信息中随机抽取部分检索信息和对应的人工标注作为修正子集。如此，通过修正子集与训练子集的差异，有利于保证快搜模型的最优验证效果，从而提高快搜模型的训练精确度。S3、根据训练子集训练输入为检索信息，输出为检索关键词的快搜模型。具体的，本实施方式中，可基于多层深度神经网络建立快搜模型。具体的，本实施方式中，可通过多次神经网络结合无效词典过滤、语义提取等文本分析工具建立快搜模型。S4、从修正子集中抽取一条检索信息作为修正样本。S5、根据快搜模型获取修正样本的模型标注，分别根据检索信息对应的模型标注和人工标注进行检索，获取模型标注检索结果与人工标注检索结果的重合率。具体的，重合率为同时存在于模型标注检索结果和人工标注检索结果的信息的数量与人工标注检索结果中的信息总数量的比值。S6、判断重合率是否大于或者等于预设的检验阈值。具体实施时，可设置检验阈值大于或者等于85％。S7、是，统计修正次数；然后判断修正次数是否达到预设的修正阈值；否，则从修正子集中重新选择修正样本，然后返回步骤S5；是，则输出快搜模型。具体的，本步骤S7中，从修正子集中重新选择修正样本时，首先将原来的修正样本从修正子集中移除，然后再从修正子集中选择修正样本。如此，避免了修正样本的重复利用，从而提高了对快搜模型的验证效率和精度。本实施方式中，修正阈值大于或者等于修正样本中检索信息数量最大值的一半，以进一步保证对快搜模型的验证效果。S8、否，则更新训练子集和修正子集，并根据新的训练子集对快搜模型进行迭代训练，然后返回步骤S4。具体的，本步骤中，在更新训练子集时，新的训练子集中的任一条检索信息均不属于原有任意训练子集中的检索信息，即循环训练过程中，任意两个训练子集中的检索信息重合率为0。如此，可保证用于训练快速模型的检索信息的低重复率，从而保证快搜模型在训练过程中对于人工标注的检索信息的覆盖率，以便提高训练精度。本实施方式中，在训练快搜模型时，每经过一次训练，则根据修正子集进行迭代验证。如此，通过修正样本的迭代，提高了验证精度，同时通过对修正次数的统计，实现了对于每一次训练的快速验证，从而进一步保证了快搜模型的训练效率和精度。本实施的步骤S2中，训练子集中包含的检索信息数量大于或者等于100，具体可设置，训练子集中包含的检本文档来自技高网...

【技术保护点】
1.一种基于大数据检索和语义分析的快搜模型训练方法，其特征在于，首先建立输入为检索信息，输出为检索关键词的快搜模型；根据检索信息的人工标注的检索关键词对快搜模型进行训练；对部分检索信息分别获取人工标注的检索关键词和快搜模型标注的检索关键词，再根据人工标注获取的检索结果与模型标注的检索结果的重合率对快搜模型进行验证。/n

【技术特征摘要】
1.一种基于大数据检索和语义分析的快搜模型训练方法，其特征在于，首先建立输入为检索信息，输出为检索关键词的快搜模型；根据检索信息的人工标注的检索关键词对快搜模型进行训练；对部分检索信息分别获取人工标注的检索关键词和快搜模型标注的检索关键词，再根据人工标注获取的检索结果与模型标注的检索结果的重合率对快搜模型进行验证。


2.如权利要求1所述的基于大数据检索和语义分析的快搜模型训练方法，其特征在于，具体包括以下步骤：
S1、收集检索信息，并对检索信息进行人工分拣，提取检索关键词作为人工标注；
S2、随机抽取部分检索信息和对应的人工标注作为训练子集，并从剩余的检索信息中随机抽取部分检索信息和对应的人工标注作为修正子集；
S3、根据训练子集训练输入为检索信息，输出为检索关键词的快搜模型；
S4、从修正子集中抽取一条检索信息作为修正样本；
S5、根据快搜模型获取修正样本的模型标注，分别根据检索信息对应的模型标注和人工标注进行检索，获取模型标注检索结果与人工标注检索结果的重合率；
S6、判断重合率是否大于或者等于预设的检验阈值；
S7、是，统计修正次数；然后判断修正次数是否达到预设的修正阈值；否，则从修正子集中重新选择修正样本，然后返回步骤S5；是，则输出快搜模型；
S8、否，则更新训练子集和修正子集，并根据新的训练子集...

【专利技术属性】
技术研发人员：李颖，董霞，齐苗苗，
申请(专利权)人：合肥长远知识产权管理有限公司，
类型：发明
国别省市：安徽;34