【技术实现步骤摘要】
一种数据采集方法、设备及计算机可读存储介质
本专利技术涉及数据采集领域，尤其涉及一种数据采集方法、设备及计算机可读存储介质。
技术介绍
随着信息时代的推进，很多情况下，人们可能需要在网络上采集数据供公司或者个人使用。对于数据采集而言，通常需要较大的数据量，但是传统数据采集的方式是手动在网络上进行采集，然后是手动对数据进行保存，效率很低，占用了大量的时间，十分耗费人力物力。
技术实现思路
本专利技术提供一种数据采集方法、设备及计算机可读存储介质，通过智能的数据采集方法对目标数据进行采集。本专利技术一方面提供一种数据采集方法，包括：接收含目标数据地址的采集指令；依据所述采集指令，生成请求对象；向所述目标数据地址发送所述请求对象；获得含目标数据的第一响应对象；解析所述含目标数据的第一响应对象，获得所述目标数据。在一种可实施方式中，所述向所述目标数据地址发送所述请求对象之后，还包括：获得含错误信息的第二响应对象；存储所述错误信息至异常数据库；通过分析所述异常数据库调整所述请求对象；其中，调整后的所述请求对象用于发送至所述目标数据地址。在一种可实施方式中，所述解析所述含目标数据...
【技术保护点】
1.一种数据采集方法，其特征在于，包括：接收含目标数据地址的采集指令；依据所述采集指令，生成请求对象；向所述目标数据地址发送所述请求对象；获得含目标数据的第一响应对象；解析所述含目标数据的第一响应对象，获得所述目标数据。
【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：接收含目标数据地址的采集指令；依据所述采集指令，生成请求对象；向所述目标数据地址发送所述请求对象；获得含目标数据的第一响应对象；解析所述含目标数据的第一响应对象，获得所述目标数据。2.根据权利要求1所述的方法，其特征在于，所述向目标数据地址发送所述请求对象之后，还包括：获得含错误信息的第二响应对象；存储所述错误信息至异常数据库；通过分析所述异常数据库调整所述请求对象；其中，调整后的所述请求对象用于发送至所述目标数据地址。3.根据权利要求1所述的方法，其特征在于，所述解析含目标数据的第一响应对象，获得所述目标数据，包括：提取所述第一响应对象中的目标数据；对所述目标数据进行数据处理，获得去重整理的目标数据；存储所述去重整理的目标数据。4.根据权利要求3所述的方法，其特征在于，在所述解析含目标数据的第一响应对象，获得所述目标数据之后，所述方法还包括：从获得的所述目标数据中提取所述目标数据中其他目标数据地址；利用所述其他目标数据地址，生成含所述其他目标数据地址的其他采集指令；对所述其他采集指令去重处理，获得去重采集指令；其中，所述去重采集指令用于通过生成去重采集指令获得含其他目标数据的其他响应对象。5.根据权利要求1所述的方法，其特征在于，在所述接收含目标数据地址数据的采集指令之前，所述方法还包括：获取服务器相关配置；生成相应所述服务器配置的资源配置规则；其中，所述资源配置规则用于所述数据采集方法中的资源配...
【专利技术属性】
技术研发人员：沈建男，
申请(专利权)人：北京睦合达信息技术股份有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。