一种零售网站数据自动获取系统技术方案

本发明专利技术公开了一种零售网站数据自动获取系统，包括数据自动获取主程序、数据查询模块和日志记录中心，所述数据自动获取主程序的上层连接安装在主机上的开始程序，且数据自动获取主程序的下层设置有网站登陆模块，所述网站登陆模块的下层通过电信号连接模拟进入各数据模块，所述数据查询模块设置在模拟进入各数据模块与模拟数据抓取模块之间，且模拟数据抓取模块与数据抓取模块相连，所述数据抓取模块的下层连接数据解析中心，所述日志记录中心分别与数据查询模块和数据库相连。该零售网站数据自动获取系统，有利于减少人力损耗，能够自动下载各类单据数据，并便于进行数据的筛选处理存储，保证了数据的准确性、完整性以及及时性。

【技术实现步骤摘要】
一种零售网站数据自动获取系统
本专利技术涉及一种数据自动获取系统，尤其涉及各类零售商网站的页面数据自动下载系统；此外，本专利技术还涉及自动下载数据校验监控的方法。
技术介绍
为有效提高零供双方作业效率并及时共享信息，大型的零售商都建立供应链平台，开放给供应商使用，零售商在网站上发布与各供应商相关的单据(包含并不限于订货单、收货单、退货单、结算单、对账单、发票)、数据(包含并不限于实销数据、库存数据)，向各供应商传达各项讯息，供应商通过使用配套的账号密码登录网站，记录或者导出数据后，再进行后续数据处理。一些零售商(如大润发、永辉等)会根据区域或产品分类，提供多个登录账号给供应商，因此供应商需要使用多个账号登录才能查看完整的单据数据；且零供双方基本每天都会发生单据、数据往来，数据频率与总量不断增大，此外，同一供应商通常同时服务多个零售商，因每个零售商的网站内容、数据格式、单据类型、数据呈现方式各不相同，人工处理量非常大，效率不高。但由于零售商多及登陆账户量较大，目前人工登陆网站记录、获取各类单据数据的方式，在保证单据数据必须及时处理的前提下，需投入大量人力，且在这种高频率的纯人工处理方式下，无法保证数据的准确性、完整性、及时性，另外，记录的数据多种多样，分类、整理存在很大的困难，因此，我们提出一种零售网站数据自动获取系统，以便于解决上述中提出的问题。
技术实现思路
本专利技术的目的在于提供一种零售网站数据自动获取系统，以解决上述
技术介绍
提出的目前由于零售商多及登陆账户量较大，目前人工登陆网站记录、获取各类单据数据的方式，在保证单据数据必须及时处理的前提下，需投入大量人力，且在这种高频率的纯人工处理方式下，无法保证数据的准确性、完整性、及时性，另外，记录的数据多种多样，分类、整理存在很大的困难的问题。为实现上述目的，本专利技术提供如下技术方案：一种零售网站数据自动获取系统，包括数据自动获取主程序、数据查询模块和日志记录中心，所述数据自动获取主程序的上层连接安装在主机上的开始程序，且数据自动获取主程序的下层设置有网站登陆模块，所述网站登陆模块的下层通过电信号连接模拟进入各数据模块，所述数据查询模块设置在模拟进入各数据模块与模拟数据抓取模块之间，且模拟数据抓取模块与数据抓取模块相连，所述数据抓取模块的下层连接数据解析中心，且数据解析中心的下层连接有数据库，所述日志记录中心分别与数据查询模块和数据库相连。优选的，所述数据自动获取主程序由网站登陆模块进行模拟登陆，且网站登陆模块通过其内部设置的验证模块实现进行验证。优选的，所述模拟登陆以及验证包含以下步骤：步骤1：通过预设的网站、账号、密码，在网站登陆模块进行模拟登陆；步骤2：模拟登陆过程中，通过网站登陆模块内部的验证模块进行登陆验证；步骤3：所述的登陆验证方式有：数字验证码、字母验证码、文字组合验证码、滑动验证码等；步骤4：若登陆验证识别失败则自动执行重试机制，进行反复登陆验证尝试，若登陆验证识别成功后，模拟进入网站各数据模块，进行模拟数据查询。优选的，所述模拟数据查询包含以下步骤：步骤1：验证并成功登陆后，按模拟预设的各模块查询条件(或查询原则)，进行模拟数据查询，若数据查询失败则自动执行重试机制，进行再次查询尝试；步骤2：验证并成功登陆后，按模拟预设的各模块查询条件(或查询原则)，进行模拟数据查询，查询成功则自动识别查询结果是否有数据，若检测结果为“无数据”，则自动返回检测结果，且作为执行结果记录写入日志表中；步骤3：验证并成功登陆后，按模拟预设的各模块查询条件(或查询原则)，进行模拟数据查询，查询成功则自动识别查询结果是否有数据，若检测结果为“有数据”，则进行数据抓取处理。优选的，所述数据抓取模块分别与数据查询模块、模拟数据抓取模块和数据解析中心相连接；同时模拟数据抓取模块按预设逻辑、字段范围进行数据抓取处理，若数据抓取失败，则自动返回到模拟查询步骤，进行再一次模拟查询及抓取处理，若数据抓取成功后，根据网站的数据格式在数据解析中心内进行数据解析。优选的，所述数据解析的步骤为数据抓取成功后，根据网站的数据格式进行数据解析，成功解析后，根据预设的各单据、数据唯一性判断原则，对多次下载的数据进行重复性判断及数据更新判断，并写入数据库。优选的，所述数据处理中心将数据信息传输进数据库内，且数据库接收信息并自动进行执行结果记录，并且将结果记录传输至日志记录中心。优选的，所述日志写入完成后，则单次数据自动获取处理执行完成。优选的，所述数据自动获取主程序与定时程序相连，其可按实际作业需求(固定频率，开始、结束时间范围)进行数据定时自动下载处理，并根据定时任务监控每次下的执行情况，且进行日志写入。优选的，所述数据自动获取主程序还与自动下载程序相连，且自动下载程序根据预设的各单据、数据的唯一性判断原则对多次下载的数据进行重复性、更新情况进行判断筛选。与现有技术相比，本专利技术的有益效果是：该零售网站数据自动获取系统，有利于减少人力损耗，能够自动下载各类单据数据，并便于进行数据的筛选处理存储，保证了数据的准确性、完整性以及及时性；1.通过智能技术自动下载各零售商网站的各类单据数据，能实现按固定频率，便于批量下载预设时间范围内的网站页面的所有数据，有利于减少人力损耗；2.按各零售商各类单据的关键唯一值规则，关联各页面数据，按设定的数据类型，以标准栏位数据进行筛选存储，从而便于进行数据的筛选处理存储；3.为保证数据准确性、完整性以及及时性，本专利技术还提供数据重复下载机制、数据筛选方式、数据修改验证和自动下载执行监控的实现方法。附图说明图1为本专利技术数据自动获取主程序示意图；图2为本专利技术数据自动获取主程序、定时程序与自动下载程序相连示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-2，本专利技术提供一种技术方案：一种零售网站数据自动获取系统，包括数据自动获取主程序、数据查询模块和日志记录中心，数据自动获取主程序的上层连接安装在主机上的开始程序，且数据自动获取主程序的下层设置有网站登陆模块，网站登陆模块的下层通过电信号连接模拟进入各数据模块，数据查询模块设置在模拟进入各数据模块与模拟数据抓取模块之间，且模拟数据抓取模块与数据抓取模块相连，数据抓取模块的下层连接数据解析中心，且数据解析中心的下层连接有数据库，日志记录中心分别与数据查询模块和数据库相连。数据自动获取主程序由网站登陆模块进行模拟登陆，且网站登陆模块通过其内部设置的验证模块实现进行验证，便于对不同类型的数据进行分类处理，有利于数据的有序处理工作的进行，模拟登陆以及验证包含以下步骤：步骤1：通过预设的网站、账号、密码，在网站登陆模块进行模拟登陆；步骤2：模拟登陆过程中，通过网站登陆模块内部的验证模块进行登陆验证；步骤3：的登陆验证方式有：数字验证码、字母验证码、文字组合验证码、滑动验证码等；步骤4：若登陆验证识别失败则自动执行重试机制，进行反复登陆验证尝试，若登陆验证识别成功后，模拟进入网站各数据模块，进行模拟本文档来自技高网...

【技术保护点】
1.一种零售网站数据自动获取系统，包括数据自动获取主程序、数据查询模块和日志记录中心，其特征在于：所述数据自动获取主程序的上层连接安装在主机上的开始程序，且数据自动获取主程序的下层设置有网站登陆模块，所述网站登陆模块的下层通过电信号连接模拟进入各数据模块，所述数据查询模块设置在模拟进入各数据模块与模拟数据抓取模块之间，且模拟数据抓取模块与数据抓取模块相连，所述数据抓取模块的下层连接数据解析中心，且数据解析中心的下层连接有数据库，所述日志记录中心分别与数据查询模块和数据库相连。

【技术特征摘要】
1.一种零售网站数据自动获取系统，包括数据自动获取主程序、数据查询模块和日志记录中心，其特征在于：所述数据自动获取主程序的上层连接安装在主机上的开始程序，且数据自动获取主程序的下层设置有网站登陆模块，所述网站登陆模块的下层通过电信号连接模拟进入各数据模块，所述数据查询模块设置在模拟进入各数据模块与模拟数据抓取模块之间，且模拟数据抓取模块与数据抓取模块相连，所述数据抓取模块的下层连接数据解析中心，且数据解析中心的下层连接有数据库，所述日志记录中心分别与数据查询模块和数据库相连。2.根据权利要求1所述的一种零售网站数据自动获取系统，其特征在于：所述数据自动获取主程序由网站登陆模块进行模拟登陆，且网站登陆模块通过其内部设置的验证模块实现进行验证。3.根据权利要求2所述的一种零售网站数据自动获取系统，其特征在于：所述模拟登陆以及验证包含以下步骤：步骤1：通过预设的网站、账号、密码，在网站登陆模块进行模拟登陆；步骤2：模拟登陆过程中，通过网站登陆模块内部的验证模块进行登陆验证；步骤3：所述的登陆验证方式有：数字验证码、字母验证码、文字组合验证码、滑动验证码等；步骤4：若登陆验证识别失败则自动执行重试机制，进行反复登陆验证尝试，若登陆验证识别成功后，模拟进入网站各数据模块，进行模拟数据查询。4.根据权利要求3所述的一种零售网站数据自动获取系统，其特征在于：所述模拟数据查询包含以下步骤：步骤1：验证并成功登陆后，按模拟预设的各模块查询条件(或查询原则)，进行模拟数据查询，若数据查询失败则自动执行重试机制，进行再次查询尝试；步骤2：验证并成功登陆后，按模拟预设的各模块查询条件(或查询原则)，进行模拟数据查询，查询成功则自动识别查询结果是否有数据，若检测结果为“无数据”，则自动返回检测结果，且作为执行结果...

【专利技术属性】
技术研发人员：赵健民，刘红，肖洒，
申请(专利权)人：上海阿米特数据系统有限公司，
类型：发明
国别省市：上海,31