结合因果关系推断、机器学习深度学习的异常检测方法技术

本发明专利技术公开了结合因果关系推断、机器学习深度学习的异常检测方法，具体涉及数据异常检测领域，具体检测步骤如下：S1、读取数据集，并将数据集分为特征数据和标签数据；S2、使用因果关系推断算法提取特征数据中的最优特征等。本发明专利技术在保证模型精确率损失在可控范围的前提下，为提高异常检测模型的鲁棒性、可解释性和抗对抗攻击的能力，先使用因果关系推断提取数据的马尔可夫毯特征变量，设计深度学习模型提取非马尔可夫毯特征变量数据的信息，融合马尔可夫毯特征变量数据与提取的非马尔可夫毯特征变量数据的信息，基于融合的新数据集使用机器学习/深度学习模型进行学习、检测，摆脱了以往基于机器学习检测方法缺乏鲁棒性、可解释性的不足。性的不足。性的不足。

【技术实现步骤摘要】
结合因果关系推断、机器学习深度学习的异常检测方法


[0001]本专利技术涉及数据异常检测
，更具体地说，本专利技术涉及结合因果关系推断、机器学习深度学习的异常检测方法。

技术介绍

[0002]随机控制实验是发现因果关系的传统途径，但由于在实际异常检测的环境纷繁复杂，无法穷举所有可能，因而无法设计合理有效的随机控制实验，同时，受制于实验技术的局限性，在绝大部分场合环境中只能被动式观察，进行主动干预将“惊动”潜在的攻击者，进而无法根据相关线索获得更多信息或溯源。目前非时序观察数据的因果关系发现研究包括因果结构/骨架发现、因果关系方向推断、高维数据的误发现率控制和不完全观察数据上的隐变量检测。
[0003]学习的因果结构有因果图模型和结构方程模型两类方法，其中因果图模型依赖因果马尔可夫假设和因果忠诚性假设，结构方程模型依赖因果充分性假设和数据产生方式假设：
[0004](1)研究特征对象是用有向无环图(Directed Acyclic Graphs，DAG)来描述之间的因果关系。
[0005](2)因果充分性假设(Cau本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.结合因果关系推断、机器学习深度学习的异常检测方法，其特征在于：具体检测步骤如下：S1、读取数据集，并将数据集分为特征数据和标签数据；S2、使用因果关系推断算法提取特征数据中的最优特征；S3、设计深度学习子模型提取特征数据中的非最优特征信息；S4、融合S2中最优特征数据与S3中提取的信息，形成新特征数据集；S5、设计/使用机器学习/深度学习模型对融合后的新特征数据集进行学习；S6、基于学习的模型进行异常检测。2.根据权利要求1所述的结合因果关系推断、机器学习深度学习的异常检测方法，其特征在于：所述步骤S1中读取的数据集设置为DGraph金融风控脱敏数据集，该数据集包含3700500个采样数据，含17个特征列以及1个标签列。3.根据权利要求2所述的结合因果关系推断、机器学习深度学习的异常检测方法，其特征在于：所述步骤S2具体包括：S2.1、基于IAMB算法编写Python代码：S2.11:首先编写变量间条件独立判断函数，阀值设为0.01，如果变量是离散变量，则使用G平方独立性检验方法；如果变量是连续性变量，则使用费舍尔条件独立性检验方法；S2.12:其次，编写IAMB主函数，该函数分为前向阶段和后向阶段，在前向阶段，循环数据集各个特征数据变量，调用条件独立判断函数判断各个特征数据变量在给定阀值条件下是否与标签数据变量条件独立，得到前向阶段的特征数据变量集；在后向阶段，针对前向阶段的特征数据变量集，再次调用条件独立判断函数对这些变量相互间的独立性进行判断，如果某特征数据变量不独立于其它特征数据变量，则从拷贝的特征数据变量集中删除；S2.13:输出最终的与标签数据变量相互独立的特征数据变量列表，即标签数据变量的马尔可夫毯特征；S2.2:使用编写IAMB算法代码，将特征列数据作为输入，经计算得到标签数据变量的马尔可夫毯特征为第1、2、7、15列，共4列特征。4.根据权利要求3所述的结合因果关系推断、机器学习深度学习的异常检测方法，其特征在于：所述步骤S3中针对第3、4、5、6、8～14、16、17共13列非马尔可夫特征列，设...

【专利技术属性】
技术研发人员：刘晶，唐梓文，王淳，
申请(专利权)人：浙江网安信创电子技术有限公司，
类型：发明
国别省市：