数据处理的方法及装置制造方法及图纸

本发明专利技术提供了一种数据处理的方法及装置，涉及电子信息的技术领域，能够获取预先存储的源头网站列表，其中，源头网站列表包括多个源头网站的链接信息；按照预先设置的周期向链接信息对应的源头网站发送数据请求；如果接收到源头网站返回的响应信息，提取预先设置的字段信息；从返回响应信息的源头网站中抓取与字段信息匹配的数据；将抓取的数据存储至非关系型数据库，待用户需要数据时，直接从非关系型数据库中进行查询得到查询结果，提高了服务器的响应时间，以及提升了用户体验。

Data Processing Method and Device

【技术实现步骤摘要】
数据处理的方法及装置
本专利技术涉及电子信息
，尤其是涉及一种数据处理的方法及装置。
技术介绍
互联网包括了各种知识，包括音乐，图书，动漫，电视剧，动漫，公开课，演讲等各种海量数据，种类繁多，内容丰富。随着互联网技术的飞速发展，网络数据也在飞速增长。在现有技术中，由于互联网中数据的种类和规模的庞大，对于传统的业务处理方式，特别是需要处理大量并行数据的业务，常常需要从互联网中下载数据，再从内存中检索处理指令，然后在运算机中进行数据处理分析。由于发送互联网的请求次数多，将导致服务器的响应时间过长，而且这种业务处理方式需要与网络数据实时连通，若网络环境不稳定，降低用户的体验。
技术实现思路
有鉴于此，本专利技术的目的在于提供了一种数据处理的方法及装置，以缓解上述技术问题。第一方面，本专利技术实施例提供了一种数据处理的方法，其中，该方法包括：获取预先存储的源头网站列表，其中，源头网站列表包括多个源头网站的链接信息；按照预先设置的周期向链接信息对应的源头网站发送数据请求；如果接收到源头网站返回的响应信息，提取预先设置的字段信息；从返回响应信息的源头网站中抓取与字段信息匹配的数据；将抓取的数据存储至非关系型数据库。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，按照预先设置的周期向链接信息对应的源头网站发送数据请求之后，上述方法还包括：判断在第一时间阈值内是否接收到源头网站返回的响应信息；如果否，重新向源头网站发送数据请求；如果在第二时间阈值内未接收到源头网站返回的响应信息，将中断与源头网站的通信请求，其中，第二时间阈值大于第一时间阈值。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，将抓取的数据存储至非关系型数据库的步骤包括：判断非关系型数据库是否通信正常；如果是，将抓取的数据存储至非关系型数据库；如果否，生成非关系型数据库的异常日志，保存非关系型数据库的异常信息。结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，将抓取的数据存储至非关系型数据库的步骤包括：将抓取的数据与非关系型数据库中的数据进行匹配，如果未匹配到相同数据，则将抓取的数据存储至非关系型数据库。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，该方法还包括：将非关系型数据库中保存的数据进行分类处理，以对数据进行整合；统计每个类别包含数据的数据量，将整合后的类别，以及每个类别的数据量进行存储。结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，上述方法还包括：对分类处理后的每个类别，以及每个类别的数据量进行页面显示，页面显示的内容至少包括对每个类别的图标显示、名称显示以及数量显示。结合第一方面的第五种可能的实施方式，本专利技术实施例提供了第一方面的第六种可能的实施方式，上述方法还包括：在页面提供数据搜索控件；当监测到合法用户在数据搜索控件输入关键字时，在非关系型数据库搜索与关键字匹配的数据，并在页面显示关键字的搜索结果。第二方面，本专利技术实施例还提供一种数据处理的装置，包括：获取模块，用于获取预先存储的源头网站列表，其中，源头网站列表包括多个源头网站的链接信息；发送模块，用于按照预先设置的周期向链接信息对应的源头网站发送数据请求；提取模块，用于如果接收到源头网站返回的响应信息，提取预先设置的字段信息；抓取模块，用于从返回响应信息的源头网站中抓取与字段信息匹配的数据；存储模块，用于将抓取的数据存储至非关系型数据库。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，该装置还包括：第一判断模块，用于按照预先设置的周期向链接信息对应的源头网站发送数据请求之后，判断在第一时间阈值内是否接收到源头网站返回的响应信息；重新发送模块，用于第一判断模块的判断结果为否时，重新向源头网站发送数据请求；设置模块，用于如果在第二时间阈值内未接收到源头网站返回的响应信息，将源头网站的链接信息设置为无效信息，其中，第二时间阈值大于第一时间阈值。结合第二方面，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，该存储模块还用于：判断非关系型数据库是否通信正常；如果是，将抓取的数据存储至非关系型数据库；如果否，生成非关系型数据库的异常日志，保存非关系型数据库的异常信息。本专利技术实施例带来了以下有益效果：本专利技术实施例提供的一种数据处理的方法及装置，能够获取预先存储的源头网站列表，其中，源头网站列表包括多个源头网站的链接信息；按照预先设置的周期向链接信息对应的源头网站发送数据请求；如果接收到源头网站返回的响应信息，提取预先设置的字段信息；从返回响应信息的源头网站中抓取与字段信息匹配的数据；将抓取的数据存储至非关系型数据库，待用户需要数据时，直接从非关系型数据库中进行查询得到查询结果，提高了服务器的响应时间，以及提升了用户体验。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种数据处理的方法的流程图；图2为本专利技术实施例提供的另一种数据处理的方法的流程图；图3为本专利技术实施例提供的一种数据处理的装置的结构示意图；图4为本专利技术实施例提供的另一种数据处理的装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前，传统的并行业务处理的方法，需要向互联网发送多次请求才能实现对业务的处理，这将导致服务器的响应时间过长，且需要与网络数据实时连通，若网络环境不稳定，降低用户的体验。基于此，本专利技术实施例提供的一种数据处理的方法及装置，可以实现当用户需要数据时，能够直接从非关系型数据库中进行查询得到查询结果，有效缓解了服务器响应时间长，用户体验差的技术问题。为便于对本实施例进行理解，首先对本专利技术实施例所公开的一种数据处理的方法进行详细介绍，实施例一：本专利技术实施例提供了一种数据处理的方法，如图1所示的一种数据处理的方法的流程图，该方法包括以下步骤：步骤S102，获取预先存储的源头网站列表，其中，源头网站列表包括多个源头网站的链接信息。具体实现时，可以根据业务需求挑选出质量比较好符合业务要求的源头网站，例如，业务需求是寻求与能源相关的公司及产品，可以挑选出符合要求的公司及产品的源头网站，并将挑选出的源头网站存储在采集列表中。步骤S104，按照预先设置的周期向链接信息对应的源头网站本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，所述方法包括：获取预先存储的源头网站列表，其中，所述源头网站列表包括多个源头网站的链接信息；按照预先设置的周期向所述链接信息对应的所述源头网站发送数据请求；如果接收到所述源头网站返回的响应信息，提取预先设置的字段信息；从返回所述响应信息的所述源头网站中抓取与所述字段信息匹配的数据；将抓取的所述数据存储至非关系型数据库。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法包括：获取预先存储的源头网站列表，其中，所述源头网站列表包括多个源头网站的链接信息；按照预先设置的周期向所述链接信息对应的所述源头网站发送数据请求；如果接收到所述源头网站返回的响应信息，提取预先设置的字段信息；从返回所述响应信息的所述源头网站中抓取与所述字段信息匹配的数据；将抓取的所述数据存储至非关系型数据库。2.根据权利要求1所述方法，其特征在于，所述按照预先设置的周期向所述链接信息对应的所述源头网站发送数据请求之后，所述方法还包括：判断在第一时间阈值内是否接收到所述源头网站返回的响应信息；如果否，重新向所述源头网站发送数据请求；如果在第二时间阈值内未接收到所述源头网站返回的响应信息，将中断与所述源头网站的通信请求，其中，所述第二时间阈值大于所述第一时间阈值。3.根据权利要求1所述方法，其特征在于，所述将抓取的所述数据存储至非关系型数据库的步骤包括：判断所述非关系型数据库是否通信正常；如果是，将抓取的所述数据存储至非关系型数据库；如果否，生成所述非关系型数据库的异常日志，保存所述非关系型数据库的异常信息。4.根据权利要求3所述方法，其特征在于，所述将抓取的所述数据存储至非关系型数据库的步骤包括：将抓取的所述数据与所述非关系型数据库中的数据进行匹配，如果未匹配到相同数据，则将抓取的所述数据存储至所述非关系型数据库。5.根据权利要求4所述方法，其特征在于，所述方法还包括：将所述非关系型数据库中保存的所述数据进行分类处理，以对所述数据进行整合；统计每个类别包含的所述数据的数据量，将整合后的所述类别，以及每个所述类别的数据量进行存储。6.根据权利要求5所述方法，其特征在于，所述方法还...

【专利技术属性】
技术研发人员：吴志刚，周滢垭，吕丹扬，朱伟凯，
申请(专利权)人：上海泰豪迈能能源科技有限公司，
类型：发明
国别省市：上海,31