一种多维度分布式异常交易行为检测方法技术

本发明专利技术公开一种多维度分布式异常交易行为检测方法，首先通过挖掘网络交易行为中交易前与交易中的多维度原始特征例，其次提出一种基于深度学习的自动特征学习和融合算法MSDAE用以去除原始特征中冗余和噪音并自动学习隐含的且具代表性的特征，最后提出一种基于Apache Spark的并行分布式集成框架SpaEnsemble实现对大规模异常交易行为高效、快速的分析与检测。本发明专利技术在网络安全领域具有广阔的应用前景。

A multi-dimensional distributed abnormal transaction behavior detection method

【技术实现步骤摘要】
一种多维度分布式异常交易行为检测方法
本专利技术属于网络安全领域，具体涉及一种多维度分布式异常交易行为检测方法。
技术介绍
区块链是随着比特币等数字加密货币的发展而逐渐兴起的一种全新的去中心化基础框架与分布式计算范式，它利用有序的链式数据结构存储数据、利用共识算法更新数据、利用密码学技术保障其数据安全等，具有不可篡改、去中心化、去信任化、可追溯性、集体维护性和安全性等特点。其中已被应用于金融、物流、能源及医药健康等领域的区块链2.0，它的最大特性就是引入了智能合约，智能合约由于其中图灵完备性可以使开发人员实现复杂的区块链应用。智能合约虽然极大的扩展了区块链的应用场景与现实意义，但是，智能合约的本身是一段程序，例如运行于以太坊虚拟机中，近年来针对智能合约的攻击导致的安全事件时有发生。例如2018年4月，美链的代币BEC由于合约漏洞，黑客通过合约的批量转账方法无限生成代币，导致其9亿美元市值几乎归零。诸如此类的异常交易行为如果能及时发现并做出响应，将能极大程度避免或降低经济损失。目前，本
针对异常交易行为的检测，主要存在以下问题：(1)特征来源单一难以合理表征交易行为；(2)特征选择过程中过于依赖人工或先验知识等导致其成本高但扩展性和自适应差；(3)在交易行为分类过程中，传统分类算法的性能依赖于训练集中的数据分布如正负样本均衡，在异常交易行为出现初期已知样本缺乏的情况下其检测的准确率较低；(4)目前多是是基于小数据样本进行研究，很难满足大数据样本的海量、多维、高速多变、内部关联关系复杂以及异常交易行为检测实时性要求高等特点。
技术实现思路
专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种多维度分布式异常交易行为检测方法，通过运行于云端的并行分布式框架以完成实时高效的异常交易行为的检测。技术方案：本专利技术的一种多维度分布式异常交易行为检测方法，依次包括以下步骤：步骤1、爬取与交易行为相关的交易前和交易中的相关数据构建样本集，样本集为正负样本不均衡数据集；步骤2、提取数据样本集中的原始特征并构建特征向量如下：X＝(x1,x2,...,xn)∈Rm×n其中，m是指统计出来的特征个数，即数据集的原始特征维度，n表示样本集中样本的数量；若交易行为样本xi存在特征fk所表征的现象，则fk对应的特征值为1，否则fk对应的特征值为0，1≤i≤n，1≤k≤m；步骤3、将样本集X划分为K(例如K＝5或K＝10)大小相同的互斥子集，即：X＝X1∪X2∪...∪XK，且l≠h，1≤l,h≤K，然后将K-1个子集的并集作为训练集，剩余的1个子集作为测试集，依次类推获得K组不同的训练集与测试集组合；步骤4、对步骤3产生的每一个训练集采用样本和属性的双重扰动产生具备多样性的L个训练子集X″i，1≤i≤L；步骤5、将步骤4中所得的L(例如20个)个训练子集X″i并行输入到对应的L个MSDAE深度学习特征融合方法中，训练MSDAE模型通过多层非线性变换以自动获得隐藏的且更具代表性的特征，从而共构建出L个新的训练子集；步骤6、将步骤5获取的L个训练子集输入到SpaEnsemble集成框架的L×C个基分类器中，进而来训练基分类器模型，其中每个节点包含C个分类器，其中1个为主分类器，其它C-1均为辅助分类器；步骤7、采用SpaEnsemble集成框架中的自适应用加权方法AdaVoting计算最终预测结果，即正常交易行为和异常交易行为；步骤8、步骤8、在测试阶段，将步骤3中产生的测试集输入到步骤5中学习到的MSDAE模型中来学习新的典型特征，将学习到的新特征输入到步骤6训练的L×C个基分类器模型中获取预测结果，最终通过AdaVoting算法进行整合并做出最终决策。进一步的，所述步骤2中的原始特征类型包括：针对合约代码层的特征类型、针对虚拟机的特征类型和针对区块链的特征类型；针对合约代码层的特征类型包括可重入漏洞、危险的delegatecall、算术上溢/下溢、默认函数类型、强行注入ether和外部调用的返回值；针对虚拟机的特征类型包括短地址攻击和Tx.Origin漏洞；针对区块链的特征类型包括打包交易顺序异常和伪随变量。进一步的，所述步骤4中经样本扰动与属性扰动产生的多样性子集操作过程如下：步骤4.1、样本扰动即假设原始数据集X中有n个样本，每次随机从X中取一个样本，拷贝它并放入新数据集X'，原始样本继续放回X，也就是有放回取样，这个过程重复g次，即可生成一个包含g个样本的新数据集X'；步骤4.2、步骤4.2、对X'进行属性扰动，即随机抽取其中的p部分特征作为属性子集，例如原始特征m维，则属性子集的特征维度为m×p，0≤p≤1；步骤4.3、将步骤4.1与步骤4.2进行组合，即通过4.1生成X'然后在X'上执行4.2生成X”，由此每组[训练集，测试集]即可产生L个训练子集X″i，1≤i≤L。进一步的，所述步骤5中的MSDAE深度学习特征融合方法如下：步骤5.1、设置初始值，使用epoch，batch_size，layer_number，W,b,W'和b'构造深度学习网络-堆叠去噪自编码器SDAE；其中，epoch指所有样本送入网络中完成一次前向计算及反向传播的过程，batch_size是指为加速训练而采用的分批次训练中每次送入网络的小批量数据的个数，layer_number是深度网络的层数，W和b代表每一层网络编码过程的权重矩阵和偏置向量；W'和b'表示其解码过程的权重矩阵和偏置向量。步骤5.2、计算迭代次数iter＝size(X”)/batch_size，X”是指包含g个样本的新数据集，即size(X”)＝g；步骤5.3、通过判断c_l>layer_number是否成立，进而判断当前层数c_l是否超过layer_number设置的最大网络层数，如果判断结果为“真”则转步骤5.8，如果判断结果为“否”则转步骤5.4；步骤5.4、通过计算当前层的输入数据集，如果是第一层则Xc_l＝X”；步骤5.5、通过判断c_epoch>epoch是否成立，进而判断当前c_epoch是否大于初始设定的epoch，如果判断结果为“真”转步骤5.3，否则转步骤5.6；步骤5.6、通过判断c_iter>iter是否成立，进而判断当前迭代次数c_iter是否大于总的迭代次数iter,如果判断结果为“真”则转步骤5.5，否则转步骤5.7；步骤5.7、通过判断等式c_l＝layer_number是否成立来判断是否是后一层；如果判断结果为“真”则采用缩小网络预测结果ic_l和实际结果之间的误差，并转入步骤5.6；若判断结果为“假”则通过缩小输入向量ic_l与重构向量之间的误差以更新当前层中编码层和解码层的权重矩阵和偏置向量Wc_l,bc_l,W′c_l,b′c_l参数，并转入步骤5.6；其中需随机注入噪音来确保学习到鲁本文档来自技高网...

【技术保护点】
1.一种多维度分布式异常交易行为检测方法，其特征在于：依次包括以下步骤：/n步骤1、爬取与交易行为相关的交易前和交易中的相关数据构建样本集，样本集为正负样本不均衡数据集；/n步骤2、提取数据样本集中的原始特征并构建特征向量如下：/nX＝(x

【技术特征摘要】
1.一种多维度分布式异常交易行为检测方法，其特征在于：依次包括以下步骤：
步骤1、爬取与交易行为相关的交易前和交易中的相关数据构建样本集，样本集为正负样本不均衡数据集；
步骤2、提取数据样本集中的原始特征并构建特征向量如下：
X＝(x1,x2,...,xn)∈Rm×n
其中，m是指统计出来的特征个数，即数据集的原始特征维度，n表示样本集中样本的数量；若交易行为样本xi存在特征fk所表征的现象，则fk对应的特征值为1，否则fk对应的特征值为0，1≤i≤n，1≤k≤m；
步骤3、将样本集X划分为K大小相同的互斥子集，即：
X＝X1∪X2∪...∪XK，且l≠h，1≤l,h≤K，
然后将K-1个子集的并集作为训练集，剩余的1个子集作为测试集，依次类推获得K组不同的训练集与测试集组合；
步骤4、对步骤3产生的每一个训练集采用样本和属性的双重扰动产生具备多样性的L个训练子集X″i，1≤i≤L；
步骤5、将步骤4中所得的L个训练子集X″i并行输入到对应的L个MSDAE深度学习特征融合方法中，训练MSDAE模型通过多层非线性变换以自动获得隐藏的且更具代表性的特征，从而共构建出L个新的训练子集；
步骤6、将步骤5获取的L个训练子集输入到SpaEnsemble集成框架的L×C个基分类器中，进而来训练基分类器模型，其中每个节点包含C个分类器，其中1个为主分类器，其它C-1均为辅助分类器；
步骤7、采用SpaEnsemble集成框架中的自适应用加权方法AdaVoting计算最终预测结果，即正常交易行为和异常交易行为；
步骤8、步骤8、在测试阶段，将步骤3中产生的测试集输入到步骤5中学习到的MSDAE模型中来学习新的典型特征，将学习到的新特征输入到步骤6训练的L×C个基分类器模型中获取预测结果，最终通过AdaVoting算法进行整合并做出最终决策。


2.根据权利要求1所述的多维度分布式异常交易行为检测方法，其特征在于：所述步骤2中的原始特征类型包括：针对合约代码层的特征类型、针对虚拟机的特征类型和针对区块链的特征类型；
针对合约代码层的特征类型包括可重入漏洞、危险的delegatecall、算术上溢/下溢、默认函数类型、强行注入ether和外部调用的返回值；
针对虚拟机的特征类型包括短地址攻击和Tx.Origin漏洞；
针对区块链的特征类型包括打包交易顺序异常和伪随变量。


3.根据权利要求1所述的多维度分布式异常交易行为检测方法，其特征在于：所述步骤4中经样本扰动与属性扰动产生的多样性子集操作过程如下：
步骤4.1、样本扰动即假设原始数据集X中有n个样本，每次随机从X中取一个样本，拷贝它并放入新数据集X'，原始样本继续放回X，也就是有放回取样，这个过程重复g次，即可生成一个包含g个样本的新数据集X'；
步骤4.2、步骤4.2、对X'进行属性扰动，即随机抽取其中的p部分特征作为属性子集，例如原始特征m维，则属性子集的特征维度为m×p，0≤p≤1；
步骤4.3、将步骤4.1与步骤4.2进行组合，即通过4.1生成X'然后在X'上执行4.2生成X”，由此每组[训练集，测试集]即可产生L个训练子集X″i，1≤i≤L。


4.根据权利要求1所述的多维度分布式异常交易行为检测方法，其特征在于：所述步骤5中的MSDAE深度学习特征融合方法如下：
步骤5.1、设置初始值，使用epoch，batch_size，layer_number，W,b,W'和b'构造深度学习网络-堆叠去噪自编码器SDAE；
其中，epoch指所有样本送入网络中完成一次前向计算及反向传播的过程，batch_size是指为加速训练而采用的分批次训练中每次送入网络的小批量数据的个数，layer_number是深度网络的层数，W和b代表每一层网络编码过程的权重矩阵和偏置向量；W'和b'表示其解码过程的权重矩阵和偏置向量。
步骤5.2、计算迭代次数iter＝size(X”)/batch_size，X”是指包含g个样本的新数据集，即size(X”)＝g；
步骤5.3、通过判断c_l>layer_number是否成立，进而判断当前层数c_l是否超过layer_number设置的最大网络层数，如果判断结果为“真”则转步骤5.8，如果判断结果为“否”则转步骤5.4；
步骤5.4、通过计算当前层的输入数据集，如果是第一层则Xc_l＝X”；
步骤5.5、通...

【专利技术属性】
技术研发人员：朱会娟，王良民，沈玉龙，程珂，黎洋，谢嘉迪，王栎帆，
申请(专利权)人：江苏大学，西安电子科技大学，
类型：发明
国别省市：江苏;32