网站分类方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种网站分类方法、装置、计算机设备及存储介质，属于数据分析领域。网站分类方法通过采用标识网站类型的网站简介文本作为训练样本，对初始分类模型进行训练，获取文本分类模型，极大的减少了训练过程中占用的存储量，提高了训练的速度；采用文本分类模型对待分类网站文本进行分类，以得到待分类网站文本的类别，从而实现基于网站简介文本可快速准确的识别网站类型的目的。

【技术实现步骤摘要】
网站分类方法、装置、计算机设备及存储介质
本专利技术涉及数据分析领域，尤其涉及网站分类方法、装置、计算机设备及存储介质。
技术介绍
互联网网站天然存在各种有价值的信息，但当前互联网技术发展迅猛，每天都有大量旧网站消失、新网站出现。面对如此庞大的日新月异的网站数量和网站种类，如何高效准确的筛选出特定类别的网站是挖掘网站信息的重要前提之一。目前网站分类的方法很多，大致可以分为三种情况：人工标注网站类别，人工成本高、效率低；人工维护网站类别以及相应关键字的字典，使用规则进行网站分类，需要耗费大量的人力去整理维护字典，准确率不高；利用机器学习的方法对网站数据进行分类，虽然大大释放了人力，当无法保证分类的准确率。
技术实现思路
针对现有网站分类方法准确低的问题，现提供一种旨在提高网站分类准确率的网站分类方法、装置、计算机设备及存储介质。为实现上述目的，本专利技术提供一种网站分类方法，包括：采用训练样本集合对初始分类模型进行训练，获取文本分类模型；其中，所述训练样本集合包括至少一个样本文本，所述样本文本为本文档来自技高网...

【技术保护点】
1.一种网站分类方法，其特征在于，包括：/n采用训练样本集合对初始分类模型进行训练，获取文本分类模型；/n其中，所述训练样本集合包括至少一个样本文本，所述样本文本为标识网站类型的网站简介文本；/n获取待分类网站文本；/n采用所述文本分类模型对所述待分类网站文本进行分类，以获取所述待分类网站文本的类别。/n

【技术特征摘要】
1.一种网站分类方法，其特征在于，包括：
采用训练样本集合对初始分类模型进行训练，获取文本分类模型；
其中，所述训练样本集合包括至少一个样本文本，所述样本文本为标识网站类型的网站简介文本；
获取待分类网站文本；
采用所述文本分类模型对所述待分类网站文本进行分类，以获取所述待分类网站文本的类别。


2.根据权利要求1所述的网站分类方法，其特征在于，所述初始分类模型包括第一LightGBM模型和第一Bi-LSTM模型，所述文本分类模型包括第二LightGBM模型和第二Bi-LSTM模型；
所述采用训练样本集合对初始分类模型进行训练，获取文本分类模型，包括：
采用所述训练样本集合对所述第一LightGBM模型和所述第一Bi-LSTM模型进行训练，获取所述第二LightGBM模型和所述第二Bi-LSTM模型。


3.根据权利要求2所述的网站分类方法，其特征在于，所述采用所述训练样本集合对所述第一LightGBM模型和所述第一Bi-LSTM模型进行训练，获取所述第二LightGBM模型和所述第二Bi-LSTM模型，包括：
将所述训练样本集合中的至少一个所述样本文本输入所述第一LightGBM模型，获取每个所述样本文本的第一分类向量；
将所述训练样本集合的至少一个所述样本文本输入所述第一Bi-LSTM模型，获取每个所述样本文本的第二分类向量；
分别将同一所述样本文本的所述第一分类向量和所述第二分类向量进行加权求和，以得到所述样本文本的训练分类；
将每一个所述样本文本的所述训练分类与所述样本文本的网站类型标识进行匹配；
判断所有所述样本文本的所述训练分类的匹配度是否大于预设阈值，若否，更新所述第一LightGBM模型的参数值，以及所述第一Bi-LSTM模型的参数值，直至完成对所述第一LightGBM模型和所述第一Bi-LSTM模型的训练，获取所述第二LightGBM模型和所述第二Bi-LSTM模型。


4.根据权利要求3所述的网站分类方法，其特征在于，所述将所述训练样本集合中的至少一个所述样本文本输入所述第一LightGBM模型，获取每个所述样本文本的第一分类向量，包括：
对所述样本文本进行预处理，获取所述样本文本中的所有分词；
采用gensim模块分别将每个所述分词转换为训练词向量，以得到所述样本文本的分词矩阵；
计算所述分词矩阵中每一个所述分词的词频-逆文件频率，将所述词频-逆文件频率作为相应的所述分词的权重；
将所述分词矩阵中每个所述分词分别与相应的权重进行加权，以得到所述样本文本的第一分词向量；
将所述第一分词向量输入所述第一LightGBM模型进行...

【专利技术属性】
技术研发人员：吴满芳，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东;44