一种动态网站的直播方法及系统技术方案

本发明专利技术公开了一种动态网站的直播方法及系统，该方法包括：根据动态网站中选定用户的授权信息，获取授权信息对应的永久登陆动态网站的令牌；为每个令牌分配一个爬虫机器人，利用爬虫机器人获取动态网站的预设用户的当前最新数据，并将当前最新数据存储至数据库；对数据库中存储的当前最新数据进行监控，获取预设用户更新的最新数据，并将最新数据发送至预设的直播平台；本发明专利技术通过获取永久登陆动态网站的令牌，解决了动态网站对爬虫机器人的访问限制，通过为每个令牌分配一个爬虫机器人，可以使用多个爬虫机器人对动态网站的预设用户的当前最新数据进行抓取，有效的避免了如新浪微博的动态网站对爬取频率的限制，提高了直播的实时性。

【技术实现步骤摘要】
一种动态网站的直播方法及系统
本专利技术涉及计算机应用
，特别涉及一种动态网站的直播方法及系统。
技术介绍
随着现代社会科技的发展，人们对生活的需求越来越高，CrawlRobot也被需求应用于生活的各个方面，比如直播系统。CrawlRobot也称作爬虫机器人、网络蜘蛛或者网络机器人，它为搜索引擎从互联网中下载网页，并且从相关网页链接中采集资源，是一个功能很强的网页的自动抓取程序。在这项技术诞生之初，其主要应用于搜索引擎之中，是决定一个搜索引擎搜索性能和扩展性的重要组成组成部分。现有技术中，大多数直播系统往往面向的静态网站，并且面向的是免登录的网站。而随着现阶段网站的安全性越来越高，例如新浪微博这类动态网站，在登录网站的时候往往需要提供用户名和密码以及验证码，这样一来，传统直播系统就没有办法利用传统的爬虫机器人面向这类动态网站直播相关信息。并且，新浪微博也对相关请求进行了监控，在某一时间段来自某一IP的请求过于频繁会对其IP进行拒绝访问一段时间。因此，传统的直播系统无法对新浪微博这类动态网站进行直播。这就使得需要相关人员获取最新信息需要不断地去刷新页面已获取目标数据，然而这样的工作方式不仅极大的消耗着人们的精力，而且，难以避免不可容忍的延迟。例如，在新浪微博和博客之中有很多大V会实时直播股市行情以及相关股票信息，以往人们获取相关信息只能通过刷新页面获取，这样的缺点往往不仅仅消耗着人力，而且往往会错过关键重要的信息。因此，如何利用爬虫机器人对动态网站中的数据进行直播，减少直播的延迟时间，提高用户体验，是现今急需解决的问题。
技术实现思路
本专利技术的目的是提供一种动态网站的直播方法及系统，以利用爬虫机器人对动态网站中的数据进行直播，减少直播的延迟时间，提高用户体验。为解决上述技术问题，本专利技术提供一种动态网站的直播方法，包括：根据动态网站中选定用户的授权信息，获取所述授权信息对应的永久登陆所述动态网站的令牌；其中，所述授权信息包括对应的选定用户登陆动态网站的登录信息；为每个所述令牌分配一个爬虫机器人，利用所述爬虫机器人获取所述动态网站的预设用户的当前最新数据，并将所述当前最新数据存储至数据库；对所述数据库中存储的所述当前最新数据进行监控，获取所述预设用户更新的最新数据，并将所述最新数据发送至预设的直播平台。可选的，所述根据动态网站中选定用户的授权信息，获取所述授权信息对应的永久登陆所述动态网站的令牌，包括：根据所述授权信息，通过Oauth2.0协议模拟用户获取所述授权信息对应的永久登陆所述动态网站的令牌。可选的，所述根据所述授权信息，通过Oauth2.0协议模拟用户获取所述授权信息对应的永久登陆所述动态网站的令牌之前，还包括：向所述选定用户发送获取所述授权信息的授权请求；获取所述选定用户返回的所述授权信息。可选的，所述利用所述爬虫机器人获取所述动态网站的预设用户的当前最新数据，包括：为每个所述预设用户分配预设数量的所述爬虫机器人；每个所述预设用户对应的爬虫机器人依次在各自的预设时间内获取所述当前最新数据。可选的，该方法还包括：通过固定平台网站根据预设指标对每个所述预设用户对应的全部所述最新数据进行统计并展示统计结果。此外，本专利技术还提供了一种动态网站的直播系统，包括：访问授权模块，用于根据动态网站中选定用户的授权信息，获取所述授权信息对应的永久登陆所述动态网站的令牌；其中，所述授权信息包括对应的选定用户登陆动态网站的登录信息；数据获取模块，用于为每个所述令牌分配一个爬虫机器人，利用所述爬虫机器人获取所述动态网站的预设用户的当前最新数据，并将所述当前最新数据存储至数据库；所述数据库，用于存储每个所述预设用户对应的所述当前最新数据；监听器模块，用于对所述数据库中存储的所述当前最新数据进行监控，获取所述预设用户更新的最新数据，并将所述最新数据发送至预设的直播平台。可选的，所述访问授权模块，包括：令牌获取单元，用于根据所述授权信息，通过Oauth2.0协议模拟用户获取所述授权信息对应的永久登陆所述动态网站的令牌。可选的，所述访问授权模块，包括：发送单元，用于向所述选定用户发送获取所述授权信息的授权请求；接收单元，用于获取所述选定用户返回的所述授权信息。可选的，所述数据获取模块，包括：分配单元，用于为每个所述预设用户分配预设数量的所述爬虫机器人；获取单元，用于每个所述预设用户对应的爬虫机器人依次在各自的预设时间内获取所述当前最新数据。可选的，该系统还包括：统计模块，用于通过固定平台网站根据预设指标对每个所述预设用户对应的全部所述最新数据进行统计并展示统计结果。本专利技术所提供的一种动态网站的直播方法，包括：根据动态网站中选定用户的授权信息，获取所述授权信息对应的永久登陆所述动态网站的令牌；其中，所述授权信息包括对应的选定用户登陆动态网站的登录信息；为每个所述令牌分配一个爬虫机器人，利用所述爬虫机器人获取所述动态网站的预设用户的当前最新数据，并将所述当前最新数据存储至数据库；对所述数据库中存储的所述当前最新数据进行监控，获取所述预设用户更新的最新数据，并将所述最新数据发送至预设的直播平台。可见，本专利技术通过根据动态网站中选定用户的授权信息，获取授权信息对应的永久登陆动态网站的令牌，可以使爬虫机器人通过令牌永久登陆动态网站，解决了动态网站对爬虫机器人的访问限制，通过为每个令牌分配一个爬虫机器人，利用爬虫机器人获取动态网站的预设用户的当前最新数据，可以使用多个爬虫机器人对动态网站的预设用户的当前最新数据进行抓取，有效的避免了如新浪微博的动态网站对爬虫机器人爬取频率的限制，提高了直播的实时性，提升了用户体验。此外，本专利技术还提供了一种动态网站的直播系统，同样具有上述有益效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例所提供的一种动态网站的直播方法的流程图；图2为本专利技术实施例所提供的一种动态网站的直播方法的系统结构示意图。图3为本专利技术实施例所提供的另一种动态网站的直播方法的流程图；图4为本专利技术实施例所提供的另一种动态网站的直播方法的令牌获取示意图；图5为本专利技术实施例所提供的另一种动态网站的直播方法的系统流程示意图；图6为本专利技术实施例所提供的一种动态网站的直播系统的结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1和图2，图1为本专利技术实施例所提供的一种动态网站的直播方法的流程图；图2为本专利技术实施例所提供的一种动态网站的直播方法的系统结构示意图。该方法可以包括：步骤101：根据动态网站中选定用户的授权信息，获取所述授权信息对应的永久登陆所述动态网站的令牌；其中，所述授权信息包括对应的选定用户登陆动态网站的登录信息。可以理本文档来自技高网...

【技术保护点】
一种动态网站的直播方法，其特征在于，包括：根据动态网站中选定用户的授权信息，获取所述授权信息对应的永久登陆所述动态网站的令牌；其中，所述授权信息包括对应的选定用户登陆动态网站的登录信息；为每个所述令牌分配一个爬虫机器人，利用所述爬虫机器人获取所述动态网站的预设用户的当前最新数据，并将所述当前最新数据存储至数据库；对所述数据库中存储的所述当前最新数据进行监控，获取所述预设用户更新的最新数据，并将所述最新数据发送至预设的直播平台。

【技术特征摘要】
1.一种动态网站的直播方法，其特征在于，包括：根据动态网站中选定用户的授权信息，获取所述授权信息对应的永久登陆所述动态网站的令牌；其中，所述授权信息包括对应的选定用户登陆动态网站的登录信息；为每个所述令牌分配一个爬虫机器人，利用所述爬虫机器人获取所述动态网站的预设用户的当前最新数据，并将所述当前最新数据存储至数据库；对所述数据库中存储的所述当前最新数据进行监控，获取所述预设用户更新的最新数据，并将所述最新数据发送至预设的直播平台。2.根据权利要求1所述的动态网站的直播方法，其特征在于，所述根据动态网站中选定用户的授权信息，获取所述授权信息对应的永久登陆所述动态网站的令牌，包括：根据所述授权信息，通过Oauth2.0协议模拟用户获取所述授权信息对应的永久登陆所述动态网站的令牌。3.根据权利要求2所述的动态网站的直播方法，其特征在于，所述根据所述授权信息，通过Oauth2.0协议模拟用户获取所述授权信息对应的永久登陆所述动态网站的令牌之前，还包括：向所述选定用户发送获取所述授权信息的授权请求；获取所述选定用户返回的所述授权信息。4.根据权利要求3所述的动态网站的直播方法，其特征在于，所述利用所述爬虫机器人获取所述动态网站的预设用户的当前最新数据，包括：为每个所述预设用户分配预设数量的所述爬虫机器人；每个所述预设用户对应的爬虫机器人依次在各自的预设时间内获取所述当前最新数据。5.根据权利要求1至4任一项所述的动态网站的直播方法，其特征在于，还包括：通过固定平台网站根据预设指标对每个所述预设用户对应的全部所述最新数据进行统计并展示统计结...

【专利技术属性】
技术研发人员：姚雨，殷元林，李庆，郎宝军，
申请(专利权)人：中科院微电子研究所昆山分所，
类型：发明
国别省市：江苏,32