基于用户的移动互联网恶意程序URL智能分析挖掘方法技术

本发明专利技术涉及互联网络技术领域，具体涉及一种基于用户的移动互联网恶意程序URL智能分析挖掘方法，它采用如下方法步骤：步骤一；订购模式匹配：步骤二；第一次智能分析：步骤三；根据步骤二得到的第一次输出数据，进行分析得出黑白名单URL；步骤四：根据步骤三的数据进行第二次智能分析：步骤五；针对第二次输出数据，进行第三次智能分析：它具有速度快，定位准确，能够提前发现疑似URL的时间，针对目前通过用户投诉才能发现恶意扣费移动互联网恶意程序，能够在发现移动互联网恶意程序样本之前侦测得到到移动互联网恶意程序主控地址，保护了手机用户的安全使用移动互联网络，减少损失。

【技术实现步骤摘要】

本专利技术涉及互联网络
，具体涉及一种基于手机用户上网日志的移动互联网恶意程序URL智能分析挖掘方法。
技术介绍
互联网又称英特网，是网络与网络之间所串连成的庞大网络，这些网络以一组通用的协议相连，形成逻辑上的单一巨大国际网络。随着科技技术的不断发展，针对手机的4G网络的也随之高速发展，国内的手机用户在不断地增长随着智能手机的普及，移动互联网恶意程序已经日益剧增，已经严重影响到用户正常使用手机。互联网中的恶意程序通常是指带有攻击意图所编写的一段程序。这些威胁可以分成两个类别：需要宿主程序的威胁和彼此独立的威胁。前者基本上是不能独立于某个实际的应用程序、实用程序或系统程序的程序片段；后者是可以被操作系统调度和运行的自包含程序。移动互联网恶意程序在资费、隐私保护、网络稳定等多个方面影响移动运营商的服务质量和客户满意度，其中恶意扣费类的移动互联网恶意程序会利用移动增值业务的漏洞进行恶意扣费，会给移动运营商造成极大的影响。因此移动运营商纷纷开始构建各种手机移动互联网恶意程序的监测分析类系统，利用移动运营商的特殊优势，对移动网络、通信网络中的海量数据进行挖掘和分析，全面监控和防范移动互联网恶意程序的传播和爆发。传统的移动互联网恶意程序侦测方法，是通过提取已发现的移动互联网恶意程序的网络行为特征，再从海量的数据进行挖掘和分析，才能监测已经感染移动互联网恶意程序用户。这样的前提是在发现已知移动互联网恶意程序的情况下才进行的侦测已发现移动互联网恶意程序的操作，是在用户已感染的移动互联网恶意程序的情况下才发现，不能够做到提前发现移动互联网恶意程序，达到预防的效果。同时不能对未知的移动互联网恶意程序进行挖掘，在发现已知情况下移动互联网恶意程序前，相信大部分用户已经造成经济损失了。因此在大数据横行的年代，需要从大数据中挖掘移动互联网恶意程序的网络行为，快速定位移动互联网恶意程序特征，进行相关的处置，才能够保证用户不受移动互联网恶意程序的感染。
技术实现思路
本专利技术的目的在于针对现有技术的缺陷和不足，提供一种结构简单，设计合理、使用方便的基于用户的移动互联网恶意程序URL智能分析挖掘方法，它具有速度快，定位准确，能够提前发现疑似URL的时间，针对目前通过用户投诉才能发现恶意扣费移动互联网恶意程序，能够在发现移动互联网恶意程序样本之前侦测得到到移动互联网恶意程序主控地址，保护了手机用户的安全使用移动互联网络，减少损失。本专利技术所述的基于用户的移动互联网恶意程序URL智能分析挖掘方法，它采用如下方法步骤：步骤一：订购模式匹配：输入：用户每天访问的url列表；输出：订购业务的疑似URL，判断是可疑的业务订购；1)根据业务订购关键筛选有关URL，通过IO操作与URL数据库进行数据交换；2)按时间顺序依此扫描用户访问的URL地址，根据关键字匹配判断用户订购的业务类型，根据订购类型(比如gameOrder)确定需要匹配的业务流程节点。然后提取出相应的URL段进行业务流程节点匹配，打印出匹配到的业务流程节点(所有业务流程节点构成一个业务流程节点链)；3)根据用户访问的流程节点链条，通过订购模式库，进行分析判断；其中：URL数据库，现在生产环境的数据库主要为ORACLE数据库，程序主要以一天的数据为单位进行分析；其中：IO操作，支持两种数据库操作方式，包括原生数据库读取和Hibernate(面向对象)数据读取，现在主要使用原生数据库操作；IO操作主要是根据关键词匹配，比如(cmgame，mmGo，cmread，10086等等进行匹配)过滤掉无关的用户数据；其中：订购模式库：人工提取移动的标准订购流程，定义为规范(xml定义存储)；步骤二：第一次智能分析：1)以每个用户一天的数据为单位，根据用户想要订购的业务而选取对应的标准订购模式进行匹配，并打印相应的信息(经过的流程节点)到日志；2)得出结论，输出：这是一个完整/不完整的订购业务，如果完整，则判断，输出：是一次可疑/可信的业务订购行为，并且打印出相应的用户id，形成第一次输出数据；第一次输出数据根据订购模式匹配，把可疑的订购行为的用户访问URL记录输出和相应的用户信息输出；第一次输出数据包括可疑订购的URL分析和可疑用户的URL列表；步骤三：根据步骤二得到的第一次输出数据，进行分析得出黑白名单URL；输入：可疑的URL列表输出：匹配到的URL黑名单；建立了两种列表：移动互联网恶意程序黑名单URL列表(已知的移动互联网恶意程序主控地址)和URL白名单(主流网站，新浪，百度等等)；在程序开始运行把相应的黑白名单信息写入到缓存，然后通过对url进行匹配，命中到黑名单则输出，命中到白名单的URL则对在url列表中移除相应的url信息步骤四：根据步骤三的数据进行第二次智能分析：1)步骤三中所得到的黑名单、白名单；2)URL痕迹匹配：输入：可疑的url列表输出：相似度高的URL；实现步骤：主要是加载白名单的列表，然后对每个url一一跟白名单的URL进行相似度匹配，但相似度达到一定的权值则输出；3)余弦相似性判断：输入：可疑的url列表输出：相似度高的URL实现方法：主要是加载白名单的列表，然后对每个url一一跟白名单的URL进行相似度匹配，但相似度达到一定的权值则输出；URL相似度分析(用编辑距离算法，又名venshtein距离)：Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数；许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符；这样子，通过距离的大小，就可以很好的代表两个的字符串的相似度匹配)；4)进行第二次智能分析后得到第二次输出数据；第二次输出数据：主要输出有两种：1)可疑URL主控地址；2)可疑URL传播地址；可疑的URL传播地址，可以通过程序爬去直接获得移动互联网恶意程序样本。而主控地址则可以通过MMDS手机病毒分析系统分析而获取相应的移动互联网恶意程序样本可疑URL传播主控；步骤五：针对第二次输出数据，进行第三次智能分析：将可疑URL进行主控特征提取，然后从用户上网日志的下载链接中进行疑似主控特征过滤，将过滤获取到的移动互联网恶意程序样本提交给人工进行分析，提取移动互联网恶意程序特征，加入移动互联网恶意程序特征库，改善杀毒效果；1)将第二次输出数据中的可疑URL主控地址，进行系统分析，然后输入至病毒样本智能分析中，同时将可疑URL主控地址输入至URL特征库备存；2)将第二次输出数据中可疑的URL传播主控直接输送至病毒样本智能分析，并输送至URL特征库备存；3)方便下次进行第二次智能分析时，根据URL特征库进行比对。采用上述结构后，本专利技术有益效果为：本专利技术所述的基于用户的移动互联网恶意程序URL智能分析挖掘方法，其研究目的是通过用户访问的URL，判断该历史记录是否代表用户本身自愿的操作，然后对移动互联网恶意程序强制的操作进行挖掘分析，通过对移动网络侧大数据的过滤分析，找到移动互联网恶意程序的根源，然后进行整治挖掘，具有速度快，定位准确，能够提前发现疑似URL的时间，针对目前通过用户投诉才能发现恶意扣费移动互联网恶意程序，能够在发现移动互联网恶意程序样本之前侦测得到到移动互联网恶意程序主控地址，保护了手机用本文档来自技高网...

【技术保护点】
基于用户的移动互联网恶意程序URL智能分析挖掘方法，其特征在于：它采用如下方法步骤：步骤一：订购模式匹配：输入：用户每天访问的url列表；输出：订购业务的疑似URL，判断是可疑的业务订购；1)根据业务订购关键筛选有关URL，通过IO操作与URL数据库进行数据交换；2)按时间顺序依此扫描用户访问的URL地址，根据关键字匹配判断用户订购的业务类型，根据订购类型(比如gameOrder)确定需要匹配的业务流程节点。然后提取出相应的URL段进行业务流程节点匹配，打印出匹配到的业务流程节点(所有业务流程节点构成一个业务流程节点链)；3)根据用户访问的流程节点链条，通过订购模式库，进行分析判断；其中：URL数据库，现在生产环境的数据库主要为ORACLE数据库，程序主要以一天的数据为单位进行分析；其中：IO操作，支持两种数据库操作方式，包括原生数据库读取和Hibernate(面向对象)数据读取，现在主要使用原生数据库操作；IO操作主要是根据关键词匹配，比如(cmgame，mmGo，cmread，10086等等进行匹配)过滤掉无关的用户数据；其中：订购模式库：人工提取移动的标准订购流程，定义为规范(xml定义存储)；步骤二：第一次智能分析：1)以每个用户一天的数据为单位，根据用户想要订购的业务而选取对应的标准订购模式进行匹配，并打印相应的信息(经过的流程节点)到日志；2)得出结论，输出：这是一个完整/不完整的订购业务，如果完整，则判断，输出：是一次可疑/可信的业务订购行为，并且打印出相应的用户id，形成第一次输出数据；第一次输出数据根据订购模式匹配，把可疑的订购行为的用户访问URL记录输出和相应的用户信息输出；第一次输出数据包括可疑订购的URL分析和可疑用户的URL列表；步骤三：根据步骤二得到的第一次输出数据，进行分析得出黑白名单URL；输入：可疑的URL列表输出：匹配到的URL黑名单；建立了两种列表：移动互联网恶意程序黑名单URL列表(已知的移动互联网恶意程序主控地址)和URL白名单(主流网站，新浪，百度等等)；在程序开始运行把相应的黑白名单信息写入到缓存，然后通过对url进行匹配，命中到黑名单则输出，命中到白名单的URL则对在url列表中移除相应的url信息步骤四：根据步骤三的数据进行第二次智能分析：1)步骤三中所得到的黑名单、白名单；2)URL痕迹匹配：输入：可疑的url列表输出：相似度高的URL；实现步骤：主要是加载白名单的列表，然后对每个url一一跟白名单的URL进行相似度匹配，但相似度达到一定的权值则输出；3)余弦相似性判断：输入：可疑的url列表输出：相似度高的URL实现方法：主要是加载白名单的列表，然后对每个url一一跟白名单的URL进行相似度匹配，但相似度达到一定的权值则输出；URL相似度分析(用编辑距离算法，又名venshtein距离)：Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数；许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符；这样子，通过距离的大小，就可以很好的代表两个的字符串的相似度匹配)；4)进行第二次智能分析后得到第二次输出数据；第二次输出数据：主要输出有两种：1)可疑URL主控地址；2)可疑URL传播地址；可疑的URL传播地址，可以通过程序爬去直接获得移动互联网恶意程序样本。而主控地址则可以通过MMDS手机病毒分析系统分析而获取相应的移动互联网恶意程序样本可疑URL传播主控；步骤五：针对第二次输出数据，进行第三次智能分析：将可疑URL进行主控特征提取，然后从用户上网日志的下载链接中进行疑似主控特征过滤，将过滤获取到的移动互联网恶意程序样本提交给人工进行分析，提取移动互联网恶意程序特征，加入移动互联网恶意程序特征库，改善杀毒效果；1)将第二次输出数据中的可疑URL主控地址，进行系统分析，然后输入至病毒样本智能分析中，同时将可疑URL主控地址输入至URL特征库备存；2)将第二次输出数据中可疑的URL传播主控直接输送至病毒样本智能分析，并输送至URL特征库备存；3)方便下次进行第二次智能分析时，根据URL特征库进行比对。...

【技术特征摘要】
1.基于用户的移动互联网恶意程序URL智能分析挖掘方法，其特征在于：它采用如下方法步骤：步骤一：订购模式匹配：输入：用户每天访问的url列表；输出：订购业务的疑似URL，判断是可疑的业务订购；1)根据业务订购关键筛选有关URL，通过IO操作与URL数据库进行数据交换；2)按时间顺序依此扫描用户访问的URL地址，根据关键字匹配判断用户订购的业务类型，根据订购类型(比如gameOrder)确定需要匹配的业务流程节点。然后提取出相应的URL段进行业务流程节点匹配，打印出匹配到的业务流程节点(所有业务流程节点构成一个业务流程节点链)；3)根据用户访问的流程节点链条，通过订购模式库，进行分析判断；其中：URL数据库，现在生产环境的数据库主要为ORACLE数据库，程序主要以一天的数据为单位进行分析；其中：IO操作，支持两种数据库操作方式，包括原生数据库读取和Hibernate(面向对象)数据读取，现在主要使用原生数据库操作；IO操作主要是根据关键词匹配，比如(cmgame，mmGo，cmread，10086等等进行匹配)过滤掉无关的用户数据；其中：订购模式库：人工提取移动的标准订购流程，定义为规范(xml定义存储)；步骤二：第一次智能分析：1)以每个用户一天的数据为单位，根据用户想要订购的业务而选取对应的标准订购模式进行匹配，并打印相应的信息(经过的流程节点)到日志；2)得出结论，输出：这是一个完整/不完整的订购业务，如果完整，则判断，输出：是一次可疑/可信的业务订购行为，并且打印出相应的用户id，形成第一次输出数据；第一次输出数据根据订购模式匹配，把可疑的订购行为的用户访问URL记录输出和相应的用户信息输出；第一次输出数据包括可疑订购的URL分析和可疑用户的URL列表；步骤三：根据步骤二得到的第一次输出数据，进行分析得出黑白名单URL；输入：可疑的URL列表输出：匹配到的URL黑名单；建立了两种列表：移动互联网恶意程序黑名单URL列表(已知的移动互联网恶意程序主控地址)和URL白名单(主流网站，新浪，百度等等...

【专利技术属性】
技术研发人员：黄宏昌，罗剑华，刘小坤，吴林辉，陈海建，蔡晓光，朱煜家，陈清，董森涛，王汉威，罗俊，
申请(专利权)人：广东华仝九方科技有限公司，
类型：发明
国别省市：广东;44