文旅资源采集方法和系统技术方案

本发明专利技术涉及一种文旅资源采集方法和系统，一种文旅资源采集方法，包括以下步骤：数据采集，采集程序进行数据的采集将原始数据保存入库；数据抽取，抽取程序进行数据的聚合和分析，将原始数据经过抽取转化成业务需要的数据，并保存至中间临时数据表；数据交换，交换程序将抽取完成的业务数据交换至业务数据库，供业务系统使用。本发明专利技术的有益之处在于，通过将整个文旅数据采集过程分为3个步骤，每个步骤独立运行工作，处理各自的业务逻辑，抽取和交换程序出现问题不会影响采集程序的正常运行，不会造成数据丢失，同时加入监控程序，采集的每一个过程遇到问题都能实时预警和通知开发人员，方便排查问题。方便排查问题。方便排查问题。

【技术实现步骤摘要】
文旅资源采集方法和系统


[0001]本专利技术涉及一种文旅资源采集方法和系统。

技术介绍

[0002]文旅行业和用户息息相关，产生多种多样的数据格式不统一，目前基本使用接口对接的方式按需采集，即数据提供方提供采集接口，数据采集方调用采集接口获取数据，对数据进行加工存储，几乎每次采集都需要定制开发。
[0003]一方面，每次采集都需要定制开发，工作量庞大，数据加工存储的逻辑会非常多样，不利于后期维护；另一方面，数据质量和完整性无法保障，接口报错或数据格式有错误时不能及时预警，造成阶段性数据丢失。

技术实现思路

[0004]本专利技术的目的在于提供一种文旅资源采集方法和系统，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]一种文旅资源采集方法，包括以下步骤：
[0007]数据采集，采集程序进行数据的采集将原始数据保存入库；
[0008]数据抽取，抽取程序进行数据的聚合和分析，将原始数据经过抽取转化成业务需要的数据，并保存至中间临时数据表；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文旅资源采集方法，其特征在于，包括以下步骤：数据采集，采集程序进行数据的采集将原始数据保存入库；数据抽取，抽取程序进行数据的聚合和分析，将原始数据经过抽取转化成业务需要的数据，并保存至中间临时数据表；数据交换，交换程序将抽取完成的业务数据交换至业务数据库，供业务系统使用；其中，所述数据采集、所述数据抽取和所述数据交换的过程中均进行实时控制和监控，出现异常时可以实时预警。2.根据权利要求1所述的文旅资源采集方法，其特征在于，所述采集程序通过字段映射配置和任务调度的方法，将接口对接的数据全量存储入库。3.根据权利要求2所述的文旅资源采集方法，其特征在于，所述数据采集，包括以下步骤：第一步，建立符合采集数据标准的规约库；第二步，配置采集字段和规约库的表字段的映射关系；第三步，配置数据采集的接口请求参数和采集频率；第四步，配置数据采集程序预警规则；第五步，启用采集程序。4.根据权利要求1所述的文旅资源采集方法，其特征在于，所述抽取程序根据文旅业务数据使用要求，将采集的全量数据聚合分析成有价值的业务数据并存储在中间临时数据表中。5.根据权利要求4所述的文旅资源采集方法，其特征在于，所述数据抽取，包括以下步骤：第一步，建立符合抽取标准的规约表；第二步，配置抽取规则，即源数据字段聚合及计算规则；第三步，将第二步结果映射至抽取表数据字段；第四步，配置数据抽取程序预警规则；第五步，启用抽取程序。6.根据权利...

【专利技术属性】
技术研发人员：赵进平，陈海江，
申请(专利权)人：浙江力石科技股份有限公司，
类型：发明
国别省市：