一种基于数据流虚拟资产在线异常发现的方法技术

本发明专利技术公开一种基于数据流虚拟资产在线异常发现的方法，主要包括数据处理、离线分析、在线分析。用户操作行为日志数据流流入数据窗口并进行预处理提取数据概要，数据库中的数据定期用模式生成算法挖掘用户正常行为模式和异常行为模式，系统实时对滑动窗口中的数据进行分析，提取当前的行为模式与模式库中的正常行为模式和异常行为模式匹配。本发明专利技术将数据流的技术应用于虚拟资产的异常发现，设计了基于数据流的虚拟资产在线异常发现技术框架，使得系统能更快速有效地实现实时检测异常，从而更好地预防用户的损失。

【技术实现步骤摘要】

本专利技术属互联网
，具体涉及一种基于数据流虚拟资产在线异常发现的方法。
技术介绍
互联网的迅猛发展催生了电子商务的繁荣，其中虚拟资产交易的增长尤为迅速，虚拟资产是指在网络世界中存在的具有竞争性、持久性以及可以交换或者买卖的物品，包括网上银行、网络帐号、网游装备武器、虚拟货币等。目前，我国已经开展了基于eID的网域空间虚拟资产管理与保全技术研究，以实现对虚拟资产的规范统一管理。虚拟资产保全系统全面准确的记录了对虚拟资产的各种操作，但如何从这些记录数据中间挖掘出异常的交易行为仍然面临诸多挑战。针对网络虚拟资产交易信息规模巨大，增长速度非常快的特点，自动地从海量的虚拟资产交易信息中发现以及预测异常行为，从而对已经发生以及可能发生的犯罪行为进行有效的检测显得极为迫切。异常发现的主要目的是根据已知的异常数据训练并建立一个异常检测模型。异常发现方法主要包括基于统计学、基于信息论、基于谱、基于机器学习的异常发现技术，其中基于机器学习的异常发现技术又主要包括基于聚类、基于分类、基于序列模式的异常发现技术。基于聚类的异常发现技术只能用于离线分析，把所有数据进行聚类之后，那些个体数量小于某一阈值的族群被视为是异常，聚类算法的优势在于它不需要历史数据带有标签。异常发现从本质上讲可以看作是个分类问题，就是把数据进行分类，分为正常或异常。异常发现技术主要是使用带标签的历史数据进行训练，得到分类器，然后运用这个分类
器对新来的数据进行分类。基于序列模式的异常发现技术主要是通多用户的操作时序数据挖掘出用户的一些正常行为模式和异常行为模式，之后对用户新数据提取行为模式，与数据库中的正常行为模式和异常行为模式进行匹配，看当前操作是否属于异常。全拥等人[1]提出了一种基于共生矩阵的电子商务交易日志的异常检测方法，该算法利用共生矩阵对用户的交易行为建模，通过PCA方法建立共生矩阵空间，从而得到用户正常交易模式。在检测阶段，对待数据产生的共生矩阵进行了修正并获取用户的交易模式，通过矩阵2-范数计算用户交易模式和其正常模式之间的距离并以此来判断用户的交易行为是否异常。姬炳帅等人[2]提出了另一电子商务的用户行为异常检测方法，首先根据用户行为日志数据的特点将其分割为静态属性集和操作序列集，然后利用基于轴属性的Apriori算法和GSP序列模式挖掘算法分别对这两种类型的数据集进行模式挖掘，在此基础上建立用户的正常行为模式，最后使用基于先后顺序的模式比较方法将用户当前的行为模式与其历史正常行为模式进行匹配，以此来判断该用户的交易行为是否异常。赵学良[3]提出了一种基于滑动窗口模型的数据流离群点检测方法，该方法使用简单的滑动窗口对数据流的新旧数据更迭进行有效管理，并且算法采用的数据结构有效地降低了近邻集统计时的计算量，使得算法性能较优。然而，上述前两种[1,2]虚拟资产中的异常检测方法都是离线进行分析，离线分析是针对历史数据进行分析，如果发现异常数据，那么再对异常数据进行追溯，找到异常源头，因此，时效性很低。上述第三种[3]异常发现方法所寻找的离群点是指当前滑动窗口中的异常点，而不是全局的异常点，而且也没有给出基于数据流的离群点发现技术的框架。[1]全拥,李树栋,贾焰,等.基于共生矩阵的电子商务交易日志异常检测[J].中国电子商情:通信市场,2013(4):39-45。[2]姬炳帅,李虎,韩伟红,等.面向电子商务的用户异常行为检测研究[J].信息网络安全,2014(9):80-85。[3]赵学良.基于滑动窗口模型的数据流离群点检测研究[D].重庆大学,2012。
技术实现思路
针对以上问题，本专利技术提供一种基于数据流虚拟资产在线异常发现的方法，可实时地对异常进行检测，适用于实时检测虚拟资产操作中的异常行为。本专利技术的技术方案如下：一种基于数据流虚拟资产在线异常发现的方法，包括以下步骤：(1)数据处理：用户操作行为日志数据流流入数据窗口中，通过对数据窗口中数据的预处理提取到数据概要，已经处理过的数据流直接流出数据窗口，存到永久存储器中；(2)离线分析：数据库中的数据定期计算一次，用模式生成算法挖掘出用户的正常行为模式和异常行为模式；(3)在线分析：系统实时地对滑动窗口中的数据进行分析，提取当前的行为模式，与模式库中的正常行为模式和异常行为模式进行匹配，看是否属于异常，若被判为异常，进行报警处理。其中，所述的步骤(2)中包括以下步骤：1、数据的存储：从数据窗口流出的数据流流进永久存储器时默认为正常行为标签，当实时分析模块检测到某个用户操作为异常时，调整数据库中对应数据的标签。同时，调整数据库中对应数据的标签还包括人工反馈性的调整，如
当系统判断某用户行为异常并发出警报后被人工确认为是错误警报，需要把信息反馈到数据库中去调整相应数据的标签。应对虚拟资产用户操作行为海量数据的存储一般采用nosql的数据库存储，如Cassandra。2、模式的生成：对离线分析模块数据库中的数据，系统定期用模式生成算法定期计算一次，得到每个用户的正常行为模式库和异常行为模式库。模式生成算法采用多种算法，如关联规则、序列模式、谱理论、基于时空序列挖掘等；3、模式的更新：对数据库中数据进行计算更新模式时，只使用用户最后一次登出之前的所有操作行为数据进行分析。其中，所述的步骤(3)中包括以下步骤：1)提取数据概要：只对用户登录到登出之间的数据进行处理，只记录登录操作的时间，节省内存空间而保证不丢失重要信息，且所用数据结构有利于后续计算；2)提取当前用户行为模式：每一次用户有新的操作行为数据进入时，都对该用户对应的数据概要进行当前用户行为模式提取；3)行为模式匹配：提取出的行为模式与离线分析模块中生成的正常行为模式库和异常行为模式进行匹配。进一步的，所述的步骤1)中还包括以下步骤：步骤1：首先创建一个新的HashMap，命名为dataProfile，用来存数据概要；步骤2：读到缓冲区的一条记录，验证该记录中用户ID字段是否为空，若为空，直接跳到步骤5；否则，进入下一步骤；步骤3：验证当前数据概要dataProfile中是否存在key为当前用户ID的记录，若不存在，则在dataProfile中添加一条key为当前用户ID的记录，这种情
况操作类型肯定为登录操作，需要记录登录时间；否则，进入下一步骤；步骤4：查看当前操作类型是何类型，若为登出操作，则将dataProfile中key为当前用户ID的记录删除；若为其他操作，则在dataProfile中key为当前用户ID的记录的value中的操作序列中加入当前操作类型和相应商品ID；步骤5：读取缓冲区下一条记录，进入循环。进一步的，所述的步骤3)中还包括以下步骤：步骤a：与异常行为模式库中异常行为模式匹配；步骤b：若匹配成功，则将其判断为已知的异常；步骤c：若未匹配成功，则再与正常行为模式匹配，若匹配成功，则将其判断为正常，若未匹配成功，则将其判断为未知的异常；步骤d：确认为异常后，进行以下四个操作：①实时反馈给前端，发出异常报警，②在数据概要中将该用户的记录删除，③把该用户加入到一个异常用户队列中去，不再对其进行异常检测了，直至该用户发送登出行为，将其从异常用户队列中删除，④把异常反馈给数据库，调整本文档来自技高网...

【技术保护点】
一种基于数据流虚拟资产在线异常发现的方法，其特征在于，包括以下步骤：步骤一：数据处理：用户操作行为日志数据流流入数据窗口中，对数据窗口中数据进行预处理提取到数据概要，已处理过的数据流直接流出数据窗口，存入永久存储器；步骤二：离线分析：数据库中的数据定期计算，用模式生成算法挖掘用户的正常行为模式和异常行为模式；步骤三：在线分析：系统实时对滑动窗口中的数据进行分析，提取当前的行为模式，与模式库中的正常行为模式和异常行为模式进行匹配，判断是否属于异常，若被判为异常，进行报警处理。

【技术特征摘要】
1.一种基于数据流虚拟资产在线异常发现的方法，其特征在于，包括以下步骤：步骤一：数据处理：用户操作行为日志数据流流入数据窗口中，对数据窗口中数据进行预处理提取到数据概要，已处理过的数据流直接流出数据窗口，存入永久存储器；步骤二：离线分析：数据库中的数据定期计算，用模式生成算法挖掘用户的正常行为模式和异常行为模式；步骤三：在线分析：系统实时对滑动窗口中的数据进行分析，提取当前的行为模式，与模式库中的正常行为模式和异常行为模式进行匹配，判断是否属于异常，若被判为异常，进行报警处理。2.根据权利要求1所述的一种基于数据流虚拟资产在线异常发现的方法，其特征在于，所述的步骤二中包括以下步骤：步骤A：数据的存储：从数据窗口流出的数据流流入永久存储器时默认为正常行为标签，当实时分析模块检测到用户操作为异常时，调整数据库中对应数据的标签；步骤B：模式的生成：对离线分析模块数据库中的数据，系统用模式生成算法定期计算，得到每个用户的正常行为模式库和异常行为模式库；步骤C：模式的更新：对数据库中数据进行计算更新模式时，只使用用户最后一次登出之前的所有操作行为数据进行分析。3.根据权利要求1所述的一种基于数据流虚拟资产在线异常发现的方法，其特征在于，所述的步骤三中包括以下步骤：步骤a：提取数据概要：只对用户登录到登出之间的数据进行处理，只记录
\t登录操作的时间；步骤b：提取当前用户行为模式：每次用户有新的操作行为数据进入时，都对该用户对应的数据概要进行当前用户行为模式提取；步骤c：行为模式匹配：提取出的行为模式与离线分析模块中生成的正常行为模式库和异常行为模式进行匹配。4.根据权利要求2所述的一种基于数据流虚拟资产在线异常发现的方法，其特征在于，所述的步骤A中调整数据库中对应数据的标签还包括人工反馈性的调整。5.根据权利要求2所述的一种基于数据流虚...

【专利技术属性】
技术研发人员：朱伟辉，傅翔，贾焰，韩伟红，李树栋，李爱平，周斌，杨树强，黄九鸣，全拥，邓璐，李虎，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43