资源库中的资源采集方法和装置制造方法及图纸

本发明专利技术提供了一种资源库中的资源采集方法和装置，该方法包括：配置至少一种采集引擎和对应的采集信息；创建采集引擎，并控制采集引擎根据对应的采集信息对资源进行采集；其中，采集引擎包括：网页采集引擎，相应的，网页采集引擎对应的采集信息为网页资源采集信息；控制采集引擎按照预设策略将采集的对应的资源存入到资源库中。由于采集的资源包括了网页资源，极大的丰富了资源库中的资源，使资源库中的资源多样化，能够使资源库在实际应用中满足需求。

【技术实现步骤摘要】
资源库中的资源采集方法和装置
本专利技术实施例涉及互联网
，尤其涉及一种资源库中的资源采集方法和装置。
技术介绍
资源库将一定范畴的数据甚至数据连接等通过归纳、整理，以一定格式存放，便于进行查阅和使用。资源库在计算机、互联网等领域都有广泛的应用。现有技术中的资源库中的资源只来源于XML、text等文件中的资源以及数据库中的资源。对文件文件的资源进行采集时，通过对格式文件进行解析，获取到需要获取的文件文件，并存储到资源库中。对数据库中的资源进行采集时，通过查询数据库中的字段，获取到需要的数据库资源，并存储到资源库中。由于互联网技术的不断发展，使大量的资源不再局限于文件和数据库，所以现有的资源库中资源的采集途径过于单一，无法使资源库在实际应用中满足需求。
技术实现思路
本专利技术实施例提供一种资源库中的资源采集方法，该方法解决了现有技术中的资源库中的资源采集方法途径过于单一，无法使资源库在实际应用中满足需求的技术问题。本专利技术实施例提供一种资源库中的资源采集方法，包括：配置至少一种采集引擎和对应的采集信息；创建所述采集引擎，并控制所述采集引擎根据对应的采集信息对对应的资源进行采集；其中，所述采集引擎包括：网页采集引擎，相应的，所述网页采集引擎对应的采集信息为网页资源采集信息；控制所述采集引擎按照预设策略将所述采集的对应的资源存入到资源库中。本专利技术实施例提供一种资源库中的资源采集装置，包括：配置模块，用于配置至少一种采集引擎和对应的采集信息；创建模块，用于创建所述采集引擎，并控制所述采集引擎根据对应的采集信息对对应的资源进行采集；其中，所述采集引擎包括：网页采集引擎，相应的，所述网页采集引擎对应的采集信息为网页资源采集信息；控制模块，用于控制所述采集引擎按照预设策略将所述采集的对应的资源存入到资源库中。本专利技术实施例提供一种资源库中的资源采集方法和装置，通过配置至少一种采集引擎和对应的采集信息；创建采集引擎，并控制采集引擎根据对应的采集信息对资源进行采集；其中，采集引擎包括：网页采集引擎，相应的，网页采集引擎对应的采集信息为网页资源采集信息；控制采集引擎按照预设策略将采集的对应的资源存入到资源库中。由于采集的资源包括了网页资源，极大的丰富了资源库中的资源，使资源库中的资源多样化，能够使资源库在实际应用中满足需求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术资源库中的资源采集方法实施例一的流程图；图2为本专利技术资源库中的资源采集方法实施例二的流程图；图3为本专利技术资源库中的资源采集装置实施例一的结构示意图；图4为本专利技术资源库中的资源采集装置实施例二的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。图1为本专利技术资源库中的资源采集方法实施例一的流程图，如图1所示，则本实施例提供的资源库中的资源采集方法的执行主体为资源库中的资源采集装置，该资源库中的资源采集装置可集成或安装在计算机、笔记本电脑或服务器中。则本实施例提供的资源库中的资源采集方法包括以下几个步骤。步骤101，配置至少一种采集引擎和对应的采集信息。具体地，本实施例中，通过配置文件配置至少一种采集引擎和对应的采集信息。其中，采集引擎相当于计算机的一个进程，每个采集引擎间相互独立执行。采集引擎包括：网页采集引擎，相应的，网页采集引擎对应的采集信息为网页资源采集信息。其他的采集引擎还可以包括：文件采集引擎和数据库采集引擎。相应的，文件采集引擎对应的采集信息为文件资源采集信息；数据库采集引擎对应的采集信息为数据库资源采集信息。其中，采集信息包括：采集资源的特征信息以及采集资源的个数等。步骤102，创建采集引擎，并控制采集引擎根据对应的采集信息对资源进行采集。具体地，本实施例中，创建至少一个采集引擎，即创建至少一个进程。本实施例中，若采集引擎为网页采集引擎，则网页采集引擎可根据对应的采集信息对内网或外网的对应的资源进行采集。若采集引擎为文件采集引擎，则根据对应的采集信息对固定存储区域的文件资源进行采集。若采集引擎为数据库采集引擎，则根据对应的采集信息对数据路中的资源进行采集。步骤103，控制采集引擎按照预设策略将采集的对应的资源存入到资源库中。具体地，本实施例中，控制至少一个采集引擎按照预设策略将采集的对应的资源存入到资源库中。其中，每个采集引擎对资源的存储互相不受影响。对每种采集的资源存储的预设策略可以相同也可以不同，本实施例中对此不做限定。本实施例提供的资源库中的资源采集方法，通过配置至少一种采集引擎和对应的采集信息；创建采集引擎，并控制采集引擎根据对应的采集信息对资源进行采集；其中，采集引擎包括：网页采集引擎，相应的，网页采集引擎对应的采集信息为网页资源采集信息；控制采集引擎按照预设策略将采集的对应的资源存入到资源库中。由于采集的资源包括了网页资源，极大的丰富了资源库中的资源，使资源库中的资源多样化，能够使资源库在实际应用中满足需求。图2为本专利技术资源库中的资源采集方法实施例二的流程图，如图2所示，本实施例提供的资源库中的资源采集方法，是在本专利技术资源库中的资源采集方法实施例一的基础上，对步骤102的进一步细化，并且还包括了是否终止采集引擎采集资源的步骤，则本实施例提供的资源库中的资源采集方法包括以下步骤。步骤201，配置至少一种采集引擎和对应的采集信息。其中，采集引擎包括：网页采集引擎，相应的，网页采集引擎对应的采集信息为网页资源采集信息。进一步地，本实施例中，采集引擎还包括：文件采集引擎和数据库采集引擎；相应的，文件采集引擎对应的采集信息为文件资源采集信息；数据库采集引擎对应的采集信息为数据库资源采集信息。步骤202，创建采集引擎，并控制采集引擎根据对应的采集信息对资源进行采集。进一步地，本实施例中，若采集引擎为网页采集引擎，则控制采集引擎根据对应的采集信息对资源进行采集，具体包括：首先，控制采集引擎抓取内网或外网的网页资源；然后，对内网或外网的网页资源进行解析，获取与采集信息相匹配的网页资源。具体地，本实施例中，首先控制采集引擎可通过本文档来自技高网...

【技术保护点】
一种资源库中的资源采集方法，其特征在于，包括：配置至少一种采集引擎和对应的采集信息；创建所述采集引擎，并控制所述采集引擎根据对应的采集信息对资源进行采集；其中，所述采集引擎包括：网页采集引擎，相应的，所述网页采集引擎对应的采集信息为网页资源采集信息；控制所述采集引擎按照预设策略将所述采集的对应的资源存入到资源库中。

【技术特征摘要】
1.一种资源库中的资源采集方法，其特征在于，包括：配置至少一种采集引擎和对应的采集信息；创建所述采集引擎，并控制所述采集引擎根据对应的采集信息对资源进行采集；其中，所述采集引擎包括：网页采集引擎，相应的，所述网页采集引擎对应的采集信息为网页资源采集信息；控制所述采集引擎按照预设策略将所述采集的对应的资源存入到资源库中。2.根据权利要求1所述的方法，其特征在于，所述控制所述采集引擎根据对应的采集信息对资源进行采集之后，还包括：接收所述采集引擎发送的采集状态信息；根据所述采集状态信息判断是否终止采集；若根据所述采集状态信息确定终止采集，则控制所述采集引擎终止采集。3.根据权利要求2所述的方法，其特征在于，若所述采集引擎为网页采集引擎，则所述控制所述采集引擎根据对应的采集信息对资源进行采集，具体包括：控制所述采集引擎抓取内网或外网的网页资源；对所述内网或外网的网页资源进行解析，获取与采集信息相匹配的网页资源。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述采集引擎还包括：文件采集引擎和数据库采集引擎；相应的，所述文件采集引擎对应的采集信息为文件资源采集信息；所述数据库采集引擎对应的采集信息为数据库资源采集信息。5...

【专利技术属性】
技术研发人员：侯胜涛，
申请(专利权)人：北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京,11