爬虫动作处理方法以及装置制造方法及图纸

本发明专利技术公开了一种爬虫动作处理方法以及装置，该方法包括：获取预设的爬虫动作书签；利用爬虫处理程序调用所述预设的爬虫动作书签，进行与所述爬虫动作书签对应的数据处理，得到数据处理结果；基于所述数据处理结果，向各个业务系统录入数据。本发明专利技术能够提高爬虫动作处理效果。

【技术实现步骤摘要】
爬虫动作处理方法以及装置
本专利技术涉及计算机领域，具体而言，涉及一种爬虫动作处理方法以及装置。
技术介绍
目前，各个业务系统需要以结构化的形式存储数据，因此，在录入数据时，会手动对原始数据进行格式转化，再存储入各个业务系统。其中，通常采用爬虫爬取原始数据，再实现原始数据的录入。然而，对于爬虫动作的处理需要程序员将爬虫动作写入程序代码，在爬虫动作需要更新的时候，依赖于熟悉业务逻辑的程序员在程序代码中进行手动更新，从而导致爬虫动作处理效果不佳。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种爬虫动作处理方法以及装置，以至少提高爬虫动作处理效果。根据本专利技术实施例的一个方面，提供了一种爬虫动作处理方法，包括：获取预设的爬虫动作书签；利用爬虫处理程序调用所述预设的爬虫动作书签，进行与所述爬虫动作书签对应的数据处理，得到数据处理结果；基于所述数据处理结果，向各个业务系统录入数据。作为一种可选的实施方式，所述预设的爬虫动作书签由以下步骤设置得到：获取各个书签字段类本文档来自技高网...

【技术保护点】
1.一种爬虫动作处理方法，其特征在于，包括：/n获取预设的爬虫动作书签；/n利用爬虫处理程序调用所述预设的爬虫动作书签，进行与所述爬虫动作书签对应的数据处理，得到数据处理结果；/n基于所述数据处理结果，向各个业务系统录入数据。/n

【技术特征摘要】
1.一种爬虫动作处理方法，其特征在于，包括：
获取预设的爬虫动作书签；
利用爬虫处理程序调用所述预设的爬虫动作书签，进行与所述爬虫动作书签对应的数据处理，得到数据处理结果；
基于所述数据处理结果，向各个业务系统录入数据。


2.根据权利要求1所述的方法，其特征在于，所述预设的爬虫动作书签由以下步骤设置得到：
获取各个书签字段类别对应的书签字段；
基于各个书签字段类别对应的书签位置以及所获取的各个书签字段，确定所述预设的爬虫动作书签。


3.根据权利要求2所述的方法，其特征在于，所述书签字段类别至少包括以下字段类别的任意组合：书签标识、元素定位方式、元素定位配置、元素类型、单元格信息。


4.根据权利要求3所述的方法，其特征在于，所述利用爬虫处理程序调用所述预设的爬虫动作书签，进行与所述爬虫动作书签对应的数据处理，得到数据处理结果，包括：
利用所述爬虫处理程序识别所述预设的爬虫动作书签的各个书签字段；
基于所述元素定位方式对应的书签字段，确定原始数据；
基于所述元素定位配置对应的书签字段，配置所述原始数据，得到数据处理结果。


5.根据权利要求4所述的方法，其特征在于，所述基于所述元素定位配置对应的书签字段，配置所述原始数据，得到数据处理结果，包括：
基于预设的等量代替字符表，解析所述元素定位配置对应的书签字段，得到解析后的字段；
基于所述解析后的字段，配置所述原始数据，得到所述数据处理结果。


6...

【专利技术属性】
技术研发人员：梁益欣，
申请(专利权)人：航天信息广东有限公司，
类型：发明
国别省市：广东;44