一种在互联网中管理IDC资源的方法和运营商网络技术

本发明专利技术实施例提供一种在互联网中管理IDC资源的方法和运营商网络，生成爬取任务，所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源，执行所述爬取任务，在至少一个网站中遍历以识别出相应类别的IDC资源，提取所述IDC资源的标示信息，将所述IDC资源和标示信息发送给互联网数据中心，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置。获取IDC资源及其标示信息，根据标示信息识别IDC资源的真实存放位置，掌握IDC资源的准确分布，并为后续引入IDC资源提供了依据。

【技术实现步骤摘要】
一种在互联网中管理IDC资源的方法和运营商网络
本专利技术涉及互联网技术，特别是指一种在互联网中管理IDC资源的方法和运营商网络。
技术介绍
互联网中，资源引入一般有IDC(InternetDataCenter，互联网数据中心)引入和缓存两种手段。通过引入IDC资源保证用户尽可能访问运营商网络内资源，减少去往其他运营商的互联互通流量。包括域名(泛域名、子域名)和视频资源等在内的IDC资源都需要由网络内容服务商(ICP，InternetContentProvider)提供，但无法保证ICP提供的IDC资源的正确性，也无法核实缓存系统中的资源是否与IDC中的IDC资源相同。现有技术存在如下问题：ICP提供的IDC资源不具备可控性和科学性，且IDC中网站的具体内容变化频繁，因此也不具备实时性。运营商需要时常联系ICP以核实IDC资源，降低了工作效率；其次，因为无法精确获得已引入运营商网络内的IDC资源，运营商的导航网站无法引导用户行为，其推荐的具体内容往往并不在运营商网络内，影响了用户感知和运营商的引导效果；ICP提供IDC资源的正确性较差，导致缓存系统重复缓存了相同的资源，降低了缓存的工作效能，也增加了流量结算的成本；无法快速获取分片段放置的影片中每片的信息；运营商无法及时发现和纠错ICP调度错误。
技术实现思路
本专利技术要解决的技术问题是提供一种在互联网中管理IDC资源的方法和运营商网络，解决现有技术中，由于无法精确获得已引入运营商网络内的资源，导致运营商间的互联互通频繁及缓存结算成本高昂的缺陷。为解决上述技术问题，本专利技术的实施例提供一种在互联网中管理IDC资源的方法，方法包括：生成爬取任务，所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源，执行所述爬取任务，在至少一个网站中遍历以识别出相应类别的IDC资源，提取所述IDC资源的标示信息，将所述IDC资源和标示信息发送给互联网数据中心，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置。所述的方法中，在至少一个网站中遍历以识别出相应类别的IDC资源，提取所述IDC资源的标示信息具体包括：当IDC资源是视频资源时，在一个视频资源网站上遍历并获取所有网页的URL，将视频资源所在的网页的URL作为所述标示信息的一部分；以及，将视频资源的名称和分集数目作为所述标示信息的一部分。所述的方法中，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置具体包括：当IDC资源是视频资源时，由内容识别服务器模拟运行视频资源所在的网页中的播放插件，得到所述视频资源的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置。所述的方法中，提取所述IDC资源的标示信息还包括：当视频资源是分片式视频资源时，监控网页中的播放插件与视频调度服务器之间的交互过程，得到播放每一片的播放清单，采用Httphead请求根据播放清单向由内容识别服务器获取当前一片的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置之后，模拟运行网页中的快进插件到下一片。所述的方法中，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置包括：向内容识别服务器获取每一片的真实URL，以及计算每一片在互联网数据中心的分布情况，根据所述真实URL和分布情况生成所述分析报告。所述的方法中，分析所述IDC资源和标示信息后生成分析报告之后还包括：结合深度包检测(DPI，DeepPacketInspection)中的日志以及所述IDC资源的分布情况，获取不同分布的IDC资源受到的关注程度。所述的方法中，在至少一个网站上遍历网页识别出相应类别的IDC资源，以及提取所述IDC资源的标示信息具体包括：当IDC资源是域名时，根据入口域名进行爬取，发现有新域名时解析该新域名并记录在标示信息中。所述的方法中，分析所述IDC资源和标示信息后生成分析报告之后还包括：对子域名进行归并分析得到泛域名，根据泛域名得到IDC资源的目录清单作为所述分析报告的一部分。所述的方法中，分析所述IDC资源和标示信息后生成分析报告之后还包括：进行调度纠错，其中，获得IDC资源的真实URL，当其中的ip地址为网外地址ipx时，使用运营商网络内IDC资源所在网站所属的ip地址逐个替换网外地址ipx，替换之后，若能够通过Httphead请求获得所述IDC资源，表明存在关于该IDC资源的调度错误，与ICP协调纠正该调度错误。所述的方法中，分析所述IDC资源和标示信息后生成分析报告之后还包括：进行引入评估，其中，当IDC资源是域名时，利用网站引入深度进行评价；引入深度定义为：已引入运营商网络内该网站子域名/网站所有子域名数；当IDC资源是视频资源时，采用文件大小运营商网络内占比和文件数量运营商网络内占比进行评价；其中，文件大小运营商网络内占比定义为：已引入运营商网络内视频资源文件大小/网站所有视频资源大小；文件数量运营商网络内占比定义为：已引入运营商网络内视频资源数量/网站所有视频资源数量。一种运营商网络，包括：爬虫控制装置、爬虫装置、互联网数据中心和行为内容分析网元；爬虫控制装置，用于生成爬取任务，所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源，爬虫装置，用于执行爬取任务，在至少一个网站中遍历以识别出相应类别的IDC资源，以及提取所述IDC资源的标示信息，互联网数据中心，用于接收所述IDC资源和标示信息，传输给行为内容分析网元；行为内容分析网元，用于分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置。所述的运营商网络中，行为内容分析网元包括：视频资源分析单元，用于结合DPI中的日志以及所述IDC资源的分布情况，获取不同分布的IDC资源受到的关注程度，IDC资源是视频资源；域名分析单元，用于对子域名进行归并分析得到泛域名，根据泛域名得到IDC资源的目录清单作为所述分析报告的一部分，IDC资源是域名。所述的运营商网络中，还包括：内容识别服务器，用于当IDC资源是视频资源时，模拟运行视频资源所在的网页中的播放插件，得到所述视频资源的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置；当视频资源是分片式视频资源时，监控网页中的播放插件与视频调度服务器之间的交互过程，得到播放每一片的播放清单，采用Httphead请求根据播放清单向由内容识别服务器获取当前一片的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置之后，模拟运行网页中的快进插件到下一片；所述互联网数据中心，还用于计算每一片在互联网数据中心的分布情况，根据所述真实URL和分布情况生成所述分析报告。本专利技术的上述技术方案的有益效果如下：获取IDC资源及其标示信息，根据标示信息识别IDC资源的真实存放位置，掌握IDC资源的准确分布，并为后续引入IDC资源提供了依据。附图说明图1表示一种在互联网中管理IDC资源的方法流程示意图；图2表示互联网的组织结构示意图；图3表示获取及分析IDC资源的结构示意图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加本文档来自技高网...

【技术保护点】
一种在互联网中管理IDC资源的方法，其特征在于，方法包括：生成爬取任务，所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源，执行所述爬取任务，在至少一个网站中遍历以识别出相应类别的IDC资源，提取所述IDC资源的标示信息，将所述IDC资源和标示信息发送给互联网数据中心，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置。

【技术特征摘要】
1.一种在互联网中管理IDC资源的方法，其特征在于，方法包括：生成爬取任务，所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源，执行所述爬取任务，在至少一个网站中遍历以识别出相应类别的IDC资源，提取所述IDC资源的标示信息，将所述IDC资源和标示信息发送给互联网数据中心，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置；进行调度纠错，其中，获得IDC资源的真实URL，当其中的ip地址为网外地址ipx时，使用运营商网络内IDC资源所在网站所属的ip地址逐个替换网外地址ipx，替换之后，若能够通过Httphead请求获得所述IDC资源，表明存在关于该IDC资源的调度错误，与ICP协调纠正该调度错误。2.根据权利要求1所述的方法，其特征在于，在至少一个网站中遍历以识别出相应类别的IDC资源，提取所述IDC资源的标示信息具体包括：当IDC资源是视频资源时，在一个视频资源网站上遍历并获取所有网页的URL，将视频资源所在的网页的URL作为所述标示信息的一部分；以及，将视频资源的名称和分集数目作为所述标示信息的一部分。3.根据权利要求1所述的方法，其特征在于，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置具体包括：当IDC资源是视频资源时，由内容识别服务器模拟运行视频资源所在的网页中的播放插件，得到所述视频资源的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置。4.根据权利要求3所述的方法，其特征在于，提取所述IDC资源的标示信息还包括：当视频资源是分片式视频资源时，监控网页中的播放插件与视频调度服务器之间的交互过程，得到播放每一片的播放清单，采用Httphead请求根据播放清单向由内容识别服务器获取当前一片的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置之后，模拟运行网页中的快进插件到下一片。5.根据权利要求4所述的方法，其特征在于，分析所述IDC资源和标示信息后生成分析报告，分析报告中记载IDC资源的真实存放位置包括：向内容识别服务器获取每一片的真实URL，以及计算每一片在互联网数据中心的分布情况，根据所述真实URL和分布情况生成所述分析报告。6.根据权利要求1所述的方法，其特征在于，分析所述IDC资源和标示信息后生成分析报告之后还包括：结合DPI中的日志以及所述IDC资源的分布情况，获取不同分布的IDC资源受到的关注程度。7.根据权利要求1所述的方法，其特征在于，在至少一个网站上遍历网页识别出相应类别的IDC资源，以及提取所述IDC资源的标示信息具体包括：当IDC资源是域名时，根据入口域名进行爬取，发现有新域名时解析该新域名并记录在标示信息中。8.根据权利要求7所述的方法，其特征在于，分析所述IDC资...

【专利技术属性】
技术研发人员：程路，赵炜，于杭，袁明亮，胡轶，纪翀，李鲲，
申请(专利权)人：中国移动通信集团浙江有限公司，
类型：发明
国别省市：浙江;33