一种数据采集方法、装置、终端及存储介质制造方法及图纸

本发明专利技术公开了一种数据采集方法、装置、终端及存储介质，方法包括：通过目标链接接收数据采集请求，确定所述目标链接对应的目标数据提供方和目标数据规范；根据所述目标数据规范从所述目标数据提供方处采集目标数据。本发明专利技术提供的数据采集方法中，通过目标链接来确定对应的目标数据提供方和目标数据规范，根据目标数据规范从目标数据提供方处采集目标数据，根据合作协议的不同，需要从多个数据提供方处采集数据或增加数据提供方时，只需要增加链接映射至不同的数据提供方和数据规范即可，不需要新建新的数据采集接口，减少了重复工作。减少了重复工作。减少了重复工作。

【技术实现步骤摘要】
一种数据采集方法、装置、终端及存储介质


[0001]本专利技术涉及数据采集
，特别涉及一种数据采集方法、装置、终端及存储介质。

技术介绍

[0002]在互联网内容行业中，平台自身产出的内容在经过了一段积累后，平台用户会逐渐完成对内容的筛选阅读，内容平台用户因为版权等因素无法第一时间获取其他平台的内容，在多个平台创建阅读账号对用户的阅读积极性也会有很大的影响，想要进一步提高订阅会变得相对困难，针对这种情况，不同平台之间通过互相授权内容来进行内容合作可以使用户在熟悉的阅读平台不断接触到其他平台的优质内容，不需要在不同平台间进行辗转，对于阅读平台来说积累内容可以产生二次收入。
[0003]平台间在通过授权后，会基于某一方的内容接入规范进行开发，搭建用于内容合作的线上采集接口，但是，目前的方案大多数都是为每次合作进行单独的接口开发，合作方规范升级后需要再次逐一对已完成的接口进行升级开发，重复工作高。
[0004]因此，现有技术还有待改进和提高。

技术实现思路

[0005]针对现有技术的上述缺陷，本专利技术提供一种数据采集方法、装置、终端及存储介质，旨在解决现有技术中的平台间内容合作方案中需要对每一次内容合作专门进行接口开发工作，重复工作高的问题。
[0006]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0007]本专利技术的第一方面，提供一种数据采集方法，所述方法包括：
[0008]通过目标链接接收数据采集请求，确定所述目标链接对应的目标数据提供方和目标数据规范；
[0009]根据所述目标数据规范从所述目标数据提供方处采集目标数据。
[0010]所述的数据采集方法，其中，所述确定所述目标链接对应的目标数据提供方和目标数据规范，包括：
[0011]根据预先存储的链接与数据提供方的映射关系确定所述目标链接对应的所述目标数据提供方；
[0012]根据预先存储的链接与数据接收方的映射关系确定所述目标链接对应的目标数据接收方；
[0013]根据所述目标数据需求方确定所述目标数据需求方对应的所述目标数据规范。
[0014]所述的数据采集方法，其中，所述根据所述目标数据需求方确定所述目标数据需求方对应的所述目标数据规范，包括：
[0015]根据所述目标数据需求方确定所述目标数据需求方对应的规范版本号；
[0016]根据所述规范版本号确定所述目标数据规范。
[0017]所述的数据采集方法，其中，所述通过目标链接接收数据采集请求之前，所述方法还包括：
[0018]创建所述目标链接；
[0019]建立所述目标链接与所述目标数据提供方以及所述目标数据规范的映射关系。
[0020]所述的数据采集方法，其中，所述根据所述目标数据规范从所述目标数据提供方处采集目标数据，包括：
[0021]从所述目标数据提供方处采集初始数据；
[0022]根据所述目标数据规范对所述初始数据进行处理，生成所述目标数据。
[0023]所述的数据采集方法，其中，所述根据所述目标数据规范从所述目标数据提供方处采集目标数据之后，所述方法还包括：
[0024]向所述目标数据需求方返回所述目标数据。
[0025]所述的数据采集方法，其中，所述目标链接为Ant风格链接。
[0026]本专利技术的第二方面，提供一种数据采集装置，包括：
[0027]请求接收模块，所述请求接收模块用于通过目标链接接收数据采集请求，确定所述目标链接对应的目标数据提供方和目标数据规范；
[0028]数据采集模块，所述数据采集模块用于根据所述目标数据规范从所述目标数据提供方处采集目标数据。
[0029]本专利技术的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的数据采集方法的步骤。
[0030]本专利技术的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的数据采集方法的步骤。
[0031]与现有技术相比，本专利技术提供了一种数据采集方法、装置、终端及存储介质，本专利技术提供的数据采集方法中，通过目标链接来确定对应的目标数据提供方和目标数据规范，根据目标数据规范从目标数据提供方处采集目标数据，根据合作协议的不同，需要从多个数据提供方处采集数据或增加数据提供方时，只需要增加链接映射至不同的数据提供方和数据规范即可，不需要新建新的数据采集接口，减少了重复工作。
附图说明
[0032]图1为本专利技术提供的数据采集方法的实施例的流程图；
[0033]图2为本专利技术提供的数据采集方法的实施例中数据采集全过程的逻辑框图；
[0034]图3为本专利技术提供的数据采集装置的实施例的结构原理图；
[0035]图4为本专利技术提供的终端的实施例的原理示意图。
具体实施方式
[0036]为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0037]本专利技术提供的数据采集方法，可以是由终端来执行。所述终端包括但不限于是各种计算机、服务器、手机、平板电脑、可穿戴式设备等。
[0038]实施例一
[0039]如图1所示，所述数据采集方法的一个实施例中，包括步骤：
[0040]S100、通过目标链接接收数据采集请求，确定所述目标链接对应的目标数据提供方和目标数据规范。
[0041]平台之间的内容合作中存在内容接入方和内容提供方，内容接入方从内容提供方处获取内容提供方授权的内容，从而使得内容接入方的用户可以在内容接入方的平台上阅读内容提供方的平台上的内容。对于同一个内容提供方来说，可能会和多个内容接入方进行合作，而根据合作协议的不同，内容提供方向内容接入方提供的内容可以是平台下不同频道的内容，例如，内容提供方与内容接入方A公司的合作协议中只约定合作旗下男生频道的作品，与内容接入方B公司的合作协议中只阅读合作旗下女生频道的作品等，而不同的内容接入方有不同的数据规范，从内容提供方处采集的数据需要进行相应格式的处理后在内容接入方的平台上展示，根据不同的合作协议，一一地创建数据采集接口，以从内容提供方的不同频道中采集数据，并按照内容接入方的数据规范进行数据处理，需要很多重复劳动。在本实施例中，创建多个链接(URL)，通过URL映射实现多种合作协议的数据采集方式的支持，具体地，所述确定所述目标链接对应的目标数据提供方和目标数据规范，包括：
[0042]根据预先存储的链接与数据提供方的映射关系确定所述目标链接对应的所述目标数据提供方；
[0043]根据预先存储的链接与数据接收方的映射关系确定所述目标链接对应的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，所述方法包括：通过目标链接接收数据采集请求，确定所述目标链接对应的目标数据提供方和目标数据规范；根据所述目标数据规范从所述目标数据提供方处采集目标数据。2.根据权利要求1所述的数据采集方法，其特征在于，所述确定所述目标链接对应的目标数据提供方和目标数据规范，包括：根据预先存储的链接与数据提供方的映射关系确定所述目标链接对应的所述目标数据提供方；根据预先存储的链接与数据接收方的映射关系确定所述目标链接对应的目标数据接收方；根据所述目标数据需求方确定所述目标数据需求方对应的所述目标数据规范。3.根据权利要求2所述的数据采集方法，其特征在于，所述根据所述目标数据需求方确定所述目标数据需求方对应的所述目标数据规范，包括：根据所述目标数据需求方确定所述目标数据需求方对应的规范版本号；根据所述规范版本号确定所述目标数据规范。4.根据权利要求1所述的数据采集方法，其特征在于，所述通过目标链接接收数据采集请求之前，所述方法还包括：创建所述目标链接；建立所述目标链接与所述目标数据提供方以及所述目标数据规范的映射关系。5.根据权利要求1所述的数据采集方法，其特征在于，所述根据所述目标数据规范从所述目标数据提供方处采集目标数据，包括：从所述目标数据提供方处采集初始数...

【专利技术属性】
技术研发人员：党斌晖，
申请(专利权)人：北京来看科技有限公司，
类型：发明
国别省市：