一种行业价格信息的数据采集方法技术

本发明专利技术提供一种行业价格信息的数据采集方法，属于大数据应用与分析领域，本发明专利技术基于互联网数据采集技术，通过对一个或多个目标站点的行业价格信息相关的数据接口进行高频次的遍历请求，保存为结构化的行业价格数据，从而达到对行业价格信息的实时动态获取。通过对行业价格信息公示网站的数据开放接口进行实时采集，实现了动态遍历行业价格数据。高效、准确且真实，降低了数据搜集的成本，进而为后续的数据处理、数据分析、建模仿真等大数据技术的应用提供了数据基础，大幅提高了互联网数据的利用效率。

【技术实现步骤摘要】

本专利技术涉及大数据应用与分析、数据挖掘及采集领域，尤其涉及一种行业价格信息的数据采集方法。

技术介绍

1、行业价格信息数据具有数量大、维度多、价值高、时效性强、使用周期长、使用地点分散等特点，且实时更新动态变化。受到数据统计途径、信息安全、数据传输调用的速度、web系统的运行压力、数据存储成本等多种因素的影响，仅有官方网站和少数大型公共资源交易平台有能力提供最新最准确的数据。然而行业价格信息的时效性强，通常为每日发布，加之此类信息往往以网页公告的形式发布，难以结构化，且不支持往期历史信息的查询和下载，不同时段的公告信息难以合并汇总，给数据分析带来困难，难以满足从业人员的数据需求。搞好行情信息的调查，可以了解人民需要的满足情况，为商品生产者和经营者提供决策依据，加强生产和经营的计划性；并为他们开展业务提供及时的、有效的信息，增强他们经营的灵活性和主动性，以提高经济效益。

2、因此，应用互联网数据采集技术定时访问官方网或专业的线上产品信息平台(如统计部门官网、第三方产品批发和交易平台等)的数据查询接口，实时高频的获取行业价格公开数据，对行业分析有本文档来自技高网...

【技术保护点】

1.一种行业价格信息的数据采集方法，其特征在于，

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求2所述的方法，其特征在于，

5.根据权利要求1所述的方法，其特征在于，

6.根据权利要求1所述的方法，其特征在于，

7.根据权利要求1所述的方法，其特征在于，

8.根据权利要求1所述的方法，其特征在于，

【技术特征摘要】

1.一种行业价格信息的数据采集方法，其特征在于，

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求2所述的方法，其特征在于，

【专利技术属性】
技术研发人员：邢荣，单震，张延群，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：