【技术实现步骤摘要】
数据采集的方法、装置、计算机设备以及存储介质
本专利技术涉及计算机
，尤其涉及一种数据采集的方法、装置、计算机设备以及存储介质。
技术介绍
当需要对某个企业有更多的了解时，可以根据该企业公开的大致信息进行了解，但是当需要对该企业有更加深入的了解时，则需要在不同网站采集数据。通常需要创建一个企业信息表以记录在不同网站上进行数据采集的过程，从而确保每个网站中与该企业相关的信息进行完整的数据采集并且采集的数据不重复，但是随着采集数据越来越多会使得该企业信息表不利于维护，从而导致后续继续对企业进行数据采集时出现效率低下的问题。
技术实现思路
本专利技术实施例提供了一种数据采集的方法、装置、计算机设备以及存储介质，旨在解决现有技术方法中所存在的数据采集效率低的问题。第一方面，本专利技术实施例提供了一种数据采集的方法，其包括：若接收到对企业进行数据采集的请求，根据所述请求获取相应的企业信息；判断所述企业信息是否存在于预设的企业信息表中；若所述企业信息存在于所述企业信息表中，根据所...
【技术保护点】
1.一种数据采集的方法，应用于网站数据采集，其特征在于，包括以下步骤：/n若接收到对企业进行数据采集的请求，根据所述请求获取相应的企业信息；/n判断所述企业信息是否存在于预设的企业信息表中；/n若所述企业信息存在于所述企业信息表中，根据所述企业信息表中的首次采集字段和预设的日志表对所述企业进行数据采集；其中所述日志表用于记录所述企业进行数据采集；/n若所述企业信息不存在于预设的企业信息表中，将所述企业信息插入至所述企业信息表中并对所述企业进行数据采集，同时将数据采集的记录保存至所述日志表中。/n
【技术特征摘要】
1.一种数据采集的方法，应用于网站数据采集，其特征在于，包括以下步骤：
若接收到对企业进行数据采集的请求，根据所述请求获取相应的企业信息；
判断所述企业信息是否存在于预设的企业信息表中；
若所述企业信息存在于所述企业信息表中，根据所述企业信息表中的首次采集字段和预设的日志表对所述企业进行数据采集；其中所述日志表用于记录所述企业进行数据采集；
若所述企业信息不存在于预设的企业信息表中，将所述企业信息插入至所述企业信息表中并对所述企业进行数据采集，同时将数据采集的记录保存至所述日志表中。
2.根据权利要求1所述的数据采集的方法，其特征在于，所述根据所述企业信息表中的首次采集字段和预设的日志表对所述企业进行数据采集，包括：
判断所述首次采集字段的信息是否为空；
若所述首次采集字段的信息为空，根据所述企业信息对所述企业进行数据采集；
若所述首次采集字段的信息不为空，根据所述日志表以及所述企业信息对所述企业进行数据采集并更新所述企业信息表中的最后采集字段的信息和所述日志表。
3.根据权利要求2所述的数据采集的方法，其特征在于，所述根据所述日志表以及所述企业信息对所述企业进行数据采集并更新所述企业信息表中的最后采集字段的信息和所述日志表，包括：
判断所述日志表中是否包含所述企业进行数据采集的记录；
若所述日志表中不包含所述企业进行数据采集的记录，根据所述企业信息对所述企业进行数据采集并更新所述最后采集字段的信息和所述日志表；
若所述日志表中包含所述企业进行数据采集的记录，根据所述日志表中的标识对所述企业进行数据采集并更新所述最后采集字段的信息和所述日志表。
4.根据权利要求3所述的数据采集的方法，其特征在于，所述根据所述企业信息和所述日志表中的标识对所述企业进行数据采集并更新所述最后采集字段的信息和所述日志表，包括：
根据预设的识别规则对所述日志表中的标识进行识别以得到所述标识的信息；
若所述标识的信息为已经采集，根据所述日志表中的最后采集时间的信息对所述企业进行数据采集并更新所述最后采集字段的信息和所述日志表；
若所述标识的信息为正在采集，更新所述最后采集字段的信息和所述日志表。
5.根据权利要求2所述的数据采集的方法，其特征在于，所述若所述首次采集字...
【专利技术属性】
技术研发人员：谢滨泽，肖树德，申志彬，
申请(专利权)人：深圳前海环融联易信息科技服务有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。