【技术实现步骤摘要】
一种轻量化的安全告警名称标准化分类方法及系统
[0001]本申请涉及数据挖掘和机器学习领域，具体而言，涉及一种轻量化的安全告警名称标准化分类方法及系统。
技术介绍
[0002]随着互联网的快速发展，互联网的网络安全日益重要，各大安全厂商也产生了数种安全产品，这些不同厂商的产品也为网络安全建模产生了重要的数据来源。但是不同的厂商数据格式名称都不一样，有着不同的标准与名称，因此研发一种数据标准化的技术从而把不同厂商之间的数据进行统一标准化刻不容缓。以安全告警名称标准化为切入点，安全告警名称目前存在着中英文混合，领域语料库数据较小等问题。
[0003]目前在该领域常用的告警名称标准化方案通常是基于安全专家总结的关键词匹配等方法进行标准化分类。此方案对于已经熟悉的安全告警名称可以很好地识别，但是对于新厂商的安全告警名称识别起来会更困难。为解决此问题有引入BERT模型进行语义分析分类的方案，但是此方案也会存在一些问题，如跨语言预训练模型的缺失、领域语料库的稀少、输入的单一性、线上推理成本较高等。
技术实现思路
...
【技术保护点】
【技术特征摘要】
1.一种轻量化的安全告警名称标准化分类方法，其特征在于，包括：对安全专家总结的经验构成的关键词特征进行特征处理得到人工特征；通过TFID+SVD的统计学语料库特征方案，在全局与局部进行了数据表征得到统计特征；通过word2vec网络进行了上下文语义学习，对原始数据的表征得到安全告警特征；通过对人工特征、统计特征及安全告警特征，进行特征之间的交叉与交互，并输入至lightgbm进行训练，最终产生信息量更全的特征组。2.如权利要求1所述的一种轻量化的安全告警名称标准化分类方法，其特征在于，所述对安全专家总结的经验构成的关键词特征进行特征处理得到人工特征包括：根据安全专家的经验总结出告警类别特定的特征判别点，通过提取相应的特征辅助模型学习。3.如权利要求1所述的一种轻量化的安全告警名称标准化分类方法，其特征在于，所述通过TFID+SVD的统计学语料库特征方案，在全局与局部进行了数据表征得到统计特征包括：利用分词工具加词频统计算法TF
‑
IDF，进行快速全局地统计出相关告警名称文档的统计特征，同时利用SVD算法进行降维提高数据的信息密度，防止前置算法产生的稀疏矩阵带来的维度灾难，降低下游模型的数据压力。4.如权利要求1所述的一种轻量化的安全告警名称标准化分类方法，其特征在于，所述通过word2vec网络进行了上下文语义学习，对原始数据的表征包括：无监督词向量预训练网络word2vec训练安全告警领域的语料库，进行上下文语义特征提取，与前面的统计特征、人工特征进行互相弥补，对原始数据的表征。5.如权利要求1所述的一种轻量化的安全告...
【专利技术属性】
技术研发人员：刘鑫，刘奇，刘剑群，孟熹，吴朝亮，赵毅，雷加伟，许佳行，张向瑞，王亚洲，宫冠鹏，邢佳佳，王学文，陈鹏，汪钰峻，吴嘉宇，张简，刘晓恒，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。