短文本数据增强方法、系统及检测认证服务平台技术方案

本发明专利技术涉及一种短文本数据增强方法，包括以下步骤：获取短文本文档合集，打开短文本文档合集内的所有文档，读取各文档的文本内容；将各文本内容作为文本数据增强项分别传送至临时存储区中；将临时存储区中的各文本数据增强项分别写入对应的文档中。上述短文本数据增强方法，通过读取文档的文本内容，将文本内容作为文本数据增强项传送至临时存储区中，将文本数据增强项写入文档中，在不引用外部信息的情况下，利用自身数据信息，增加文本长度，增强主题信息，有效提高主题质量，缓解了文本内容过少、文本稀疏性太强而无法深入理解主题信息的问题，有利于文本主题的挖掘。

【技术实现步骤摘要】
短文本数据增强方法、系统及检测认证服务平台
本专利技术涉及数据挖掘领域，特别是涉及一种短文本数据增强方法、系统及检测认证服务平台。
技术介绍
近年来，信息技术高速发展，随之而来的就是大量的文本信息，快速、准确的理解文本的主题信息并进行分类是信息处理的一个重要环节。文本根据长度的不同分为长文本和短文本两类，在实际情况中，短文本大量存在，且在搜索引擎发挥着重要作用。但是，短文本信息由于包含主题信息量少，文本数据稀疏导致文本特征稀疏，主题质量差，难以挖掘文本主题。例如，当前建立的检测认证平台通过用户搜索内容为用户匹配相应检测认证机构，但因为用户搜索内容过短，搜索出的检测认证机构不一定符合用户需求，因此弥补搜索内容主题质量差、难以挖掘文本主题的缺陷成为当前需解决的一个重点问题。针对短文本数据的稀疏性问题，当前主要有三种处理方法来弥补短文本信息量少的缺陷，一是利用多语言知识转换来拓展特征信息；二是从语义角度拓展特征的语义信息，以扩充特征维度；三是加入短文本的元数据信息以扩充特征空间。三种短文本数据拓展与选择方法虽然能在一定程度上缓解短文本的特征稀疏性问题，但在数据源上或语义知识库的选取会直接影响短文本数据的拓展与选择的效果，造成文本主题挖掘出现偏差。
技术实现思路
基于此，有必要针对短文本包含主题信息量少、文本数据稀疏导致难以挖掘文本主题的问题，提供一种短文本数据增强方法、系统及检测认证服务平台。一种短文本数据增强方法，包括以下步骤：获取短文本文档合集，打开短文本文档合集内的所有文档，读取各文档的文本内容；将各文本内容作为文本数据增强项分别传送至临时存储区中；将临时存储区中的各文本数据增强项分别写入对应的文档中。上述短文本数据增强方法，通过读取文档的文本内容，将文本内容作为文本数据增强项传送至临时存储区中，将文本数据增强项写入文档中，在不引用外部信息的情况下，利用自身数据信息，增加文本长度，增强主题信息，有效提高主题质量，缓解了文本内容过少、文本稀疏性太强而无法深入理解主题信息的问题，有利于文本主题的挖掘。一种短文本数据增强系统，包括：短文本获取模块，用于获取短文本文档合集，打开短文本文档合集内的所有文档，读取各文档的文本内容；特征增强项获取模块，用于将各文本内容作为文本数据增强项分别传送至临时存储区中；文本数据增强模块，用于将临时存储区中的各文本数据增强项分别写入对应的文档中。上述短文本数据增强系统，短文本获取模块读取文档的文本内容，特征增强项获取模块将文本内容作为文本数据增强项传送至临时存储区中，文本数据增强模块将文本数据增强项写入文档中，在不引用外部信息的情况下，利用自身数据信息，增加文本长度，增强主题信息，有效提高主题质量，缓解了文本内容过少、文本稀疏性太强而无法深入理解主题信息的问题，有利于文本主题的挖掘。一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述的短文本数据增强方法的步骤。一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述的短文本数据增强方法的步骤。根据上述本专利技术的短文本数据增强方法，本专利技术还提供一种可读存储介质和检测设备，用于通过程序实现上述短文本数据增强方法。一种检测认证服务平台，在获取用户搜索内容后，利用上述的短文本数据增强方法对用户搜索内容进行数据增强。上述检测认证服务平台，在获取用户搜索内容后，利用上述的短文本数据增强方法对用户搜索内容进行数据增强，以便深入理解用户搜索内容，理解其主题信息，从而为用户匹配到相应检测认证机构。附图说明图1为本专利技术一个实施例的短文本数据增强方法的流程图；图2为本专利技术在微博数据集上利用一个实施例进行短文本数据增强后得到的defeatratio指标随预设主题个数的变化图；图3为本专利技术在微博数据集上利用一个实施例进行短文本数据增强后得到的defeatratio指标随预设主题个数和N值的变化图；。图4为本专利技术在微博数据集上利用一个实施例进行短文本数据增强后得到的defeatratio指标随预设主题个数和N值的变化图；图5为本专利技术在微博数据集上利用一个实施例进行短文本数据增强后得到的defeatratio指标随预设主题个数和N值的变化图；图6为本专利技术另一个实施例的短文本数据增强方法的流程图；图7为本专利技术一个实施例的短文本数据增强系统的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术的保护范围。主题模型中主题质量评价标准常用TopicCoherence(主题一致性)指标，TopicCoherence指标是一种利用文档中单词共现计算主题质量的指标，常常在计算主题质量中被使用，指标值越大表示指标越好。其中，TopicCoherence指标的计算过程如下：采用LDA主题生成模型处理短文本内容集，得到每个主题下主题词的概率分布，获取每个主题排名前N的单词，利用公式(1)计算每个主题的TopicCoherence指标。其中，D(v)表示某一主题中排名为v的单词出现过的短文本的频数，D(v,v')表示排名为v的单词和排名为v'的单词共同出现在一个文档中短文本的频数，V(k)表示出现在主题k中的前N个单词，表示出现在主题k中排名第N的单词，，表示出现在主题k中排名第单词，平滑计数为1是防止最后采用0的对数。计算得到原短文本集的TopicCoherence指标和经过本专利技术短文本数据增强方法进行特征增强的短文本集的TopicCoherence指标，将两个TopicCoherence指标进行对比，用N＞LDA表示在每个主题中经过特征增强的短文本集TopicCoherence指标高于原短文本集的TopicCoherence指标的数目，并利用defeatratio(主题一致性优胜率)指标，即公式(2)，计算N＞LDA占主题数目的比例。defeatratio指标是一种计算现方法好于原方法的比例的指标，当defeatratio指标高于0.5表示利用当前方法进行数据增强的文档合集的主题质量好于原文档合集的主题质量。通过对比利用本专利技术短文本数据增强方法进行数据增强的短文本集前后的TopicCoherence指标，可以说明经过本专利技术短文本数据增强方法进行数据增强后的短文本有效提高主题质量。参见图1所示，图1为本专利技术一个实施例的短文本数据增强方法的流程图，该实施例中短文本数据增强方法，包括以下步骤：步骤S110：获取短文本文档合集，打开短文本文档合集内的所有文档，读取各文档的文本内容；步骤S120：将各文本内容作为文本数据增强项分别传送至临时存储区中；步骤S130：将临时存储区中的各文本数据增强项分别写入对应的文档中。本实施例读取每个文档中的文本内容，将文档中文本内容作为文本数据增强项传送至临时存储区中，然后将文本数据增强项写入到文档中，即在原文档的基础上增加跟本文档同样的内容并保持文档总数不变，能够在不引用外部信息的情况下，利用自身数据信息，增强主题信息，缓解了文本内容过少、文本稀疏性太强而无法深入理解主题信息的问题，减少引入外部数据本文档来自技高网...

【技术保护点】
一种短文本数据增强方法，其特征在于，包括以下步骤：获取短文本文档合集，打开所述短文本文档合集内的所有文档，读取各所述文档的文本内容；将各所述文本内容作为文本数据增强项分别传送至临时存储区中；将所述临时存储区中的各文本数据增强项分别写入对应的文档中。

【技术特征摘要】
1.一种短文本数据增强方法，其特征在于，包括以下步骤：获取短文本文档合集，打开所述短文本文档合集内的所有文档，读取各所述文档的文本内容；将各所述文本内容作为文本数据增强项分别传送至临时存储区中；将所述临时存储区中的各文本数据增强项分别写入对应的文档中。2.根据权利要求1所述的短文本数据增强方法，其特征在于，所述读取各所述文档的文本内容步骤之后，包括以下步骤：根据所有文本内容获取预设主题的主题特征词；所述将各所述文本内容作为文本数据增强项分别传送至临时存储区中的步骤包括以下步骤：对各所述文本内容分别进行检测，若所述文本内容包含所述主题特征词，将所述文本内容作为文本数据项传送至临时存储区中。3.根据权利要求2所述的短文本数据增强方法，其特征在于，所述根据所有文本内容获取预设主题的主题特征词步骤包括以下步骤：获取LDA主题生成模型参数，根据所述LDA主题生成模型参数构建LDA主题生成模型；其中，所述LDA主题生成模型参数包括短文本文档合集的已知词、预设主题数目、超参数；采用LDA主题生成模型处理所有所述文本内容，得到每个主题下主题词的概率分布；根据每个主题下的主题词概率分布获取每个主题下的主题特征词；其中，所述主题特征词为每个主题下的主题词概率排名为前N的主题词，N为预设数量。4.根据权利要求2所述的短文本数据增强方法，其特征在于，所述对各所述文本内容分别进行检测的步骤之前，包括以下步骤：根据所有预设主题下的主题特征词生成特征词库；所述对各所述文本内容分别进行检测，若所述文本内容包含所述主题特征词，将所述文本内容作为文本数据项传送至临时存储区中的步骤包括以下步骤：根据预设符号分割各所述文本内容为文本单元；对各所述文本内容的所有文本单元以词为单位进行逐一检测，每当文本单元的词与所述特征词库的任一主题特征词一致时，将该文本单元内容作为文本数据增强项传送至临时存储区一次。5.根据权利要求2所述的短文本数据增强方法，其特征在于，所述对各所述文本内容分别进行检测的步骤之前，包括以下步骤：根据...

【专利技术属性】
技术研发人员：赵国祥，刘小茵，刘业政，朱婷婷，李玲菲，高智伟，尚斌，姜元春，孙春华，孙见山，程广明，
申请(专利权)人：广州赛宝认证中心服务有限公司，合肥工业大学，工业和信息化部电子第五研究所，
类型：发明
国别省市：广东,44