一种数据获取方法、装置及系统制造方法及图纸

本发明专利技术公开了一种数据获取方法、装置及系统，该方法应用于配置于终端或服务器上第一模块，包括：在第二模块向数据服务器请求目标数据时，抓取第二模块向数据服务器发送的至少一个网络请求；根据预设规则，从抓取到的网路请求中筛选出目标获取请求；数据服务器在接收到目标获取请求后会返回目标数据的数据地址目标获取请求的发送方；利用目标获取请求获取目标数据。在数据获取过程中，无需对加密规则进行破解，降低了数据获取的难度，减少了工作量。

【技术实现步骤摘要】
一种数据获取方法、装置及系统
本申请涉及互联网
，尤其涉及一种数据获取方法、装置及系统。
技术介绍
随着互联网技术的发展，人们在互联网上的生活也愈加丰富，越来越多的人倾向于在互联网上的视频分享平台上分享自制视频，视频分享平台如何对自制视频内侵权内容的审核也就成为了一项亟待解决的问题。目前，在对自制视频进行审核时，需要将自制视频与版权视频进行对比，从而判断自制视频中是否包括版权视频的内容，自制视频是否包括侵权内容。其中，版权视频的获取一般需要对其源播放统一资源定位符(UniformResourceLocator，url)所使用的加密规则进行破解，从而获取版权视频的数据地址，实现版权视频的获取。一旦版权视频的加密规则变更，则又需要重新破解，破解难度高、工作量大。
技术实现思路
有鉴于此，本申请实施例提供了一种数据获取方法、装置及系统，能够解决现有技术中视频获取难度高、工作量大的问题。本申请实施例提供的数据获取方法，应用于第一模块；所述方法包括：在第二模块向数据服务器请求目标数据时，抓取所述第二模块向所述数据服务器发送的至少一个网络请求；根据预设规则，从抓取到的网路请求中筛选出目标获取请求；所述数据服务器在接收到所述目标获取请求后返回所述目标数据的数据地址；利用所述目标获取请求获取所述目标数据。可选的，所述利用所述目标获取请求获取所述目标数据，具体包括：发送所述目标获取请求至所述数据服务器；接收所述数据服务器对所述目标获取请求的应答；所述应答携带所述目标数据的数据地址；从所述数据服务器对目标获取请求的应答中获取所述目标数据的数据地址；利用所述目标数据的数据地址，获取所述目标数据。可选的，所述根据预设规则，从抓取到的网路请求中筛选出目标获取请求，具体包括：判断待选网络请求中是否包括期望域名和/或期望参数；所述待选网络请求是所述抓取到的网路请求中的任意一个；若是，则将所述待选网络请求作为所述目标获取请求。可选的，所述第二模块向数据服务器请求目标数据时，抓取所述第二模块向所述数据服务器发送的至少一个网络请求，之前还包括：将所述目标数据的源url和用户登陆信息发送至所述第二模块，以使所述第二模块利用所述源url和所述用户登陆信息发送所述网络请求至所述数据服务器。可选的，所述用户登陆信息包括所述用户登陆临时文件，所述将所述目标数据的源url和用户登陆信息发送至所述第二模块，之前还包括：判断所述用户登陆临时文件是否有效；若否，则重新登录所述数据服务器获得有效的用户登陆临时文件。可选的，所述将所述目标数据的源url和用户登陆信息发送至所述第二模块，之前还包括：判断所述用户登陆信息的使用频率是否超于预设阈值；若是，则更新所述用户登陆信息。本申请实施例提供的数据获取装置，应用于第一模块；所述装置包括：请求获取单元、请求提取单元和数据获取单元；所述请求获取单元，用于在第二模块向数据服务器请求目标数据时，抓取所述第二模块向所述数据服务器发送的至少一个网络请求；所述请求提取单元，用于根据预设规则，从抓取到的网路请求中筛选出目标获取请求；所述数据服务器在接收到所述目标获取请求后返回所述目标数据的数据地址；所述数据获取单元，用于利用所述目标获取请求获取所述目标数据。本申请实施例提供的一种数据获取系统，包括：第一模块和第二模块；所述第二模块，用于发送网络请求至数据服务器；所述网络请求用于从所述数据服务器获取目标数据，所述网络请求包括目标获取请求，所述数据服务器在接收到所述目标获取请求后返回所述目标数据的数据地址；所述第一模块，用于在所述第二模块向所述数据服务器请求所述目标数据时，抓取所述第二模块发送的网络请求，并根据预设规则从抓取到的网路请求中筛选出所述目标数据获取请求，利用所述目标获取请求获取所述目标数据。可选的，所述第二模块为多个；所述第一模块，还用于基于负载均衡规则，向每个所述第二模块发送各个目标数据的源url和用户登陆信息；所述第二模块，具体用于利用所述第一模块发送的目标数据的源url和用户登陆信息，发送网络请求至所述数据服务器。可选的，所述第一模块，还用于按照预设周期，重启所述第二模块。与现有技术相比，本申请至少具有以下优点：在本申请实施例中，在第二模块向数据服务器请求目标数据时，第一模块抓取第二模块为获得目标数据向数据服务器发送的各个网络请求，再基于预设规则，从抓取到的网络请求中筛选出目标获取请求。数据服务器在接收到该目标获取请求时，会返回目标数据的数据地址至目标获取请求的发送方，以便目标获取请求的发送方利用该数据地址获取目标数据。第一模块在筛选出目标获取请求后，可以利用该目标获取请求获取目标数据，无需对加密规则进行破解，降低了数据获取的难度，减少了工作量。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本申请实施例提供的一种数据获取方法的流程示意图；图2为本申请实施例提供的一种网络请求列表及视频url地址的示意图；图3为本申请实施例提供的另一种数据获取方法的流程示意图；图4为本申请实施例提供的一种用户登录cookie的示意图；图5为本申请实施例提供的一种数据获取装置的结构示意图；图6为本申请实施例提供的一种数据获取系统的结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。为了满足现有技术中数据获取需要，本申请实施例提供了一种数据获取方法、装置及系统，在第二模块向数据服务器请求目标数据时，第一模块利用抓包技术抓取第二模块为了得到目标数据而向数据服务器发送的网络请求。然后，第一模块根据预设规则从抓取到的网络请求中，筛选出目标获取请求。数据服务器在接收到该目标获取请求后，会返回目标数据的数据地址至目标数据的数据地址至目标获取请求的发送方，以便目标获取请求的发送方利用该数据地址获得目标数据。然后，第一模块在筛选出目标数据获取请求后，可以利用该目标获取请求获取目标数据，无需对加密规则进行破解，降低了数据获取的难度，减少了工作量。需要说明的是，本申请实施例提供的数据获取方法，不仅可本文档来自技高网...

【技术保护点】
1.一种数据获取方法，其特征在于，应用于第一模块；所述方法包括：在第二模块向数据服务器请求目标数据时，抓取所述第二模块向所述数据服务器发送的至少一个网络请求；根据预设规则，从抓取到的网路请求中筛选出目标获取请求；所述数据服务器在接收到所述目标获取请求后返回所述目标数据的数据地址；利用所述目标获取请求获取所述目标数据。

【技术特征摘要】
1.一种数据获取方法，其特征在于，应用于第一模块；所述方法包括：在第二模块向数据服务器请求目标数据时，抓取所述第二模块向所述数据服务器发送的至少一个网络请求；根据预设规则，从抓取到的网路请求中筛选出目标获取请求；所述数据服务器在接收到所述目标获取请求后返回所述目标数据的数据地址；利用所述目标获取请求获取所述目标数据。2.根据权利要求1所述的方法，其特征在于，所述利用所述目标获取请求获取所述目标数据，具体包括：发送所述目标获取请求至所述数据服务器；接收所述数据服务器对所述目标获取请求的应答；所述应答携带所述目标数据的数据地址；从所述数据服务器对目标获取请求的应答中获取所述目标数据的数据地址；利用所述目标数据的数据地址，获取所述目标数据。3.根据权利要求1所述的方法，其特征在于，所述根据预设规则，从抓取到的网路请求中筛选出目标获取请求，具体包括：判断待选网络请求中是否包括期望域名和/或期望参数；所述待选网络请求是所述抓取到的网路请求中的任意一个；若是，则将所述待选网络请求作为所述目标获取请求。4.根据权利要求1-3任意一项所述的方法，其特征在于，所述第二模块向数据服务器请求目标数据时，抓取所述第二模块向所述数据服务器发送的至少一个网络请求，之前还包括：将所述目标数据的源url和用户登陆信息发送至所述第二模块，以使所述第二模块利用所述源url和所述用户登陆信息发送所述网络请求至所述数据服务器。5.根据权利要求4所述的方法，其特征在于，所述用户登陆信息包括所述用户登陆临时文件，所述将所述目标数据的源url和用户登陆信息发送至所述第二模块，之前还包括：判断所述用户登陆临时文件是否有效；若否，则重新登录所述数据服务器获得有效的用户登陆...

【专利技术属性】
技术研发人员：张博，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11