一种分类分级清单智能打标方法技术

本发明专利技术公开了一种分类分级清单智能打标方法，涉及通信技术领域，解决了目前在大数据量级下，数据清单打标耗时费力，同时打标质量不高的技术问题。本技术方案通过不同数据库读取表和字段信息，统一文本行格式后进行预处理和中英文分词和英文翻译操作，基于文本行的内容多样性和复杂性，先做文本粗分类，得到总体结果尚可的打过标的文本行，再基于fastText模型训练和短文本分类。本发明专利技术短文本分类中兼具高速和高质量的模型，对文本行进行训练和测试得到文本行的合理的打标结果，智能打标，省时省力。省力。省力。

【技术实现步骤摘要】
一种分类分级清单智能打标方法


[0001]本专利技术涉及通信
，具体涉及一种分类分级清单智能打标方法。

技术介绍

[0002]短文本分类在舆情分类，新闻分类等场景中已有广泛应用；而在数据安全领域中，数据清单的分类分级在实施中遇到巨大瓶颈；数据清单通常由存储模式各异数据库，命名形式不同的表和字段信息组成，数量级在几万至几百万不等；面对如此量级的表和字段信息，对其进行打标分类成为阻碍，对打标人员的数量和专业程度提出了挑战，同时这将耗费数天至数月时间；与此同时，打标的质量也会成为重要问题。

技术实现思路

[0003]本专利技术的目的是提供一种分类分级清单智能打标方法，通过短文本分词、提取短文本的关键词、得到向量化短文本、短文本聚类、短文本分类进行分类分级，智能合理打标，省时省力，提升打标质量。
[0004]为了实现上述目的，本专利技术提供如下技术方案：一种分类分级清单智能打标方法，步骤如下：
[0005]S1.读取不同数据库的表和字段信息，处理为格式统一的文本行，其中，文本行的内容包括字段名称，字段注释，表名称和表注释；同时读取所有标签；对文本行作预处理，包括去停用词和标点符号；再对文本行作中、英文分词，对标签作中文分词；其中，分词后的英文通过英译中的词库翻译为对应的中文；此时，得到分词的文本行，记TEXT，根据文本行的内容分为字段信息和表信息，分别记TEXT_FIELD和TEXT_TABLE；分词的标签根据是否是具体字段分为标签和背景标签，分别记LABEL和LABEL_BG；并假设标签的数量为CLASS_NUM；至此，文本行和标签均已分词；
[0006]S2.文本
‑
标签匹配；遍历TEXT，对每条TEXT的TEXT_FIELD，遍历LABEL，记录文本字段信息和标签匹配的词的个数，得到长度为CLASS_NUM的列表；记列表中的最大值为MATCH_MAX；根据MATCH_MAX是否唯一，分为以下2种情形：
[0007]S2.1.MATCH_MAX唯一，TEXT粗分类的标签为MATCH_MAX对应的标签；
[0008]S2.2.MATCH_MAX不唯一，获取匹配数为MATCH_MAX的所有标签，记MATCH_MAX_LABEL，标签的数量记MATCH_MAX_LABEL_NUM，对TEXT的TEXT_TABLE，遍历MATCH_MAX_LABEL中的TEXT_TABLE，记录文本表信息和背景标签匹配的词的个数，得到长度为MATCH_MAX_LABEL_NUM的列表；记列表中的最大值为MATCH_TABLE_MAX；根据MATCH_TABLE_MAX是否唯一，也分为以下2种情形：
[0009]S2.2.1.MATCH_TABLE_MAX唯一，TEXT粗分类的标签为MATCH_TABLE_MAX对应的标签；
[0010]S2.2.2.MATCH_TABLE_MAX不唯一，获取S2.2中匹配数为MATCH_TABLE_MAX的所有标签，记MATCH_TABLE_MAX_LABEL，对TEXT的TEXT_FIELD，遍历MATCH_TABLE_MAX_LABEL的
LABEL，记录“字段匹配的字数”和“匹配字数占LABEL总字数的比例”，分别记MATCH_CHAR和MATCH_CHAR_RATIO，记录MATCH_CHAR+MATCH_CHAR_RATIO的值，记为匹配值MATCH_VALUE，得到匹配值的列表，选择最高匹配值对应的标签作为粗分类的标签；至此，我们按照字段信息匹配数，表信息匹配数和匹配字数的优先级，完成了对大部分文本行的粗分类；
[0011]S3.根据实际情况，应对S2文本粗分类中某些标签对应的文本行数量极少的情况，对这些文本行作少量的数据增广；
[0012]S4.基于fastText的模型训练和短文本分类；对于S3中的短文本，将文本行按照fastText算法的读入格式作格式转换，如标签的索引变换；并设置置信度的阈值，记THRESHOLD，如THRESHOLD＝0.9，表示当置信度超过0.9时将文本行打标为对应标签；遍历TEXT，根据置信度结果与THRESHOLD的对比对文本打标。
[0013]所述的步骤S4中，基于fastText的模型包括N
‑
gram和分层softmax。
[0014]本专利技术所描述的一种分类分级清单智能打标方法，分类分级清单的文本通常由不同规则和命名方式的表和字段组成，规则策略匹配的打标率低，同时误判较高；由于文本质量通常不高，聚类结果也不理想；而文本粗分类，文本
‑
标签匹配方法，作为基准分类方法对文本进行了粗分类：按照以下优先级，字段信息匹配词的数量>表信息匹配词的数量>字段信息匹配字的数量，对文本行作粗分类；粗分类的结果经过fastText的学习和测试，得到的打标率较之前大幅提高，误判率也显著降低；文本粗分类中的匹配字是通过测验的方式，即经验，得到的；部分标签存在如长度过长，内容冗余等问题，因此标签中常会同时带有多条其他标签的词等问题，这会阻碍正常的粗分类进程，因此，按照”字段匹配的字数”和”匹配字数占LABEL总字数的比例”的加权和作为分类的标准解决了文本粗分类中的误判瓶颈；智能化打标，省时省力。
附图说明
[0015]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术的流程图。
具体实施方式
[0017]为了使本领域的技术人员更好地理解本专利技术的技术方案，下面将结合附图对本专利技术作进一步的详细介绍。
[0018]本专利技术提供了如附图1所示的一种分类分级清单智能打标方法，
[0019]1.首先，读取不同数据库的表和字段信息，处理为格式统一的文本行，其中，文本行的内容包括字段名称，字段注释，表名称和表注释4部分；同时读取所有标签；对文本行作预处理，包括去停用词和标点符号；再对文本行作中、英文分词，对标签作中文分词；其中，分词后的英文通过英译中的词库翻译为对应的中文；此时，得到分词的文本行，记TEXT，根据文本行的内容分为字段信息和表信息，分别记TEXT_FIELD和TEXT_TABLE；分词的标签根据是否是具体字段分为标签和背景标签，分别记LABEL和LABEL_BG；并假设标签的数量为CLASS_NUM；至此，文本行和标签均已分词；
[0020]2.其次，文本粗分类：文本
‑
标签匹配；遍历TEXT，对每条TEXT的TEXT_FIELD，遍历LABEL，记录文本字段信息和标签匹配的词的个数，得到长度为CLASS_NUM的列表；记列表中的最大值为MATCH_MAX；根据MATCH_MAX是否唯一，分为以下2种情形；2.1.MATCH_MAX唯一，TEXT粗分类的标签为MAT本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分类分级清单智能打标方法，其特征在于，S1.读取不同数据库的表和字段信息，处理为格式统一的文本行，其中，文本行的内容包括字段名称，字段注释，表名称和表注释；同时读取所有标签；对文本行作预处理，包括去停用词和标点符号；再对文本行作中、英文分词，对标签作中文分词；其中，分词后的英文通过英译中的词库翻译为对应的中文；此时，得到分词的文本行，记TEXT，根据文本行的内容分为字段信息和表信息，分别记TEXT_FIELD和TEXT_TABLE；分词的标签根据是否是具体字段分为标签和背景标签，分别记LABEL和LABEL_BG；并假设标签的数量为CLASS_NUM；至此，文本行和标签均已分词；S2.文本
‑
标签匹配；遍历TEXT，对每条TEXT的TEXT_FIELD，遍历LABEL，记录文本字段信息和标签匹配的词的个数，得到长度为CLASS_NUM的列表；记列表中的最大值为MATCH_MAX；根据MATCH_MAX是否唯一，分为以下2种情形：S2.1.MATCH_MAX唯一，TEXT粗分类的标签为MATCH_MAX对应的标签；S2.2.MATCH_MAX不唯一，获取匹配数为MATCH_MAX的所有标签，记MATCH_MAX_LABEL，标签的数量记MATCH_MAX_LABEL_NUM，对TEXT的TEXT_TABLE，遍历MATCH_MAX_LABEL中的TEXT_TABLE，记录文本表信息和背景标签匹配的词的个数，得到长度为MATCH_MAX_LABEL_NUM的列表；记列表中的最大值为MATCH_TABLE_MAX；根据MATCH_TABLE_MAX...

【专利技术属性】
技术研发人员：卢红波，张林成，
申请(专利权)人：全知科技杭州有限责任公司，
类型：发明
国别省市：