基于网络爬虫的皮革行业数据中心系统技术方案

1、发明专利技术的名称：基于网络爬虫的皮革行业数据中心系统2、发明专利技术的所属技术领域：本发明专利技术涉及行业数据及网络爬虫技术领域3、所要解决的技术问题：解决了之前网络上信息分散不够集中，缺乏权威实操数据平台的问题4、解决该问题的技术方案的要点：此项技术能够实现数据自动抓取供应数据、需求数据、经济数据、价格数据,自动生成可视化图形图表，并允许用户灵活调整分析指标和时间段进行有效的定制性分析。5、主要用途：本发明专利技术的基于网络爬虫的皮革行业数据中心系统，根据用户的自身需求，用户可以通过设置相应的关键词、时间和区域等参数信息，有针对性的从各大主皮革信息网站中爬取用户所需要的皮革信息从而有效地节省企业用户的人力和时间成本。

Leather industry data center system based on Web Crawler

【技术实现步骤摘要】
基于网络爬虫的皮革行业数据中心系统
本专利技术涉及行业数据及网络爬虫
，具体涉及一种基于网络爬虫的制革行业数据的集成与可视化系统。
技术介绍
行业数据是指用宏观和微观相结合的分析方式，利用科学的统计分析方法，描述行业概貌的同时，对行业进行细化分析，主要运用图表方式，直观地阐明了行业的经济类型构成、规模构成、经营效益比较、生产、供需求市场状况及对国内国外贸易情况等。据中国轻工业网数据：全球皮革每年总需求量约为1.0亿平方米，相当于3亿张牛皮(标准皮)的产量，中国皮革年产量折合标准皮近7000万张，约占全球皮革产量的23.33%，但中国的每年牛屠宰量约4000万头，远不能满足国内的加工需求，因此中国50%以上的原料牛皮依赖进口，然而中国的原料皮进口却十分缺乏定价话语权。究其原因主要是中国原料皮进口企业之间缺少足够的行业数据信息交流，对外谈判时无法形成团体共识效应，所以在价格谈判中始终处于被动局面。相对于占中国原料牛皮进口量60%的美国来说，依托美国原料皮协会的信息共享，美国原料皮供货商对中国有着极强的话语权。目前国内没有一个真正的有行业实操经验支持的皮革行业数据公开平台。由于原料牛皮的国际市场价格主要受供应、需求、经济金融三大因素影响，如果中国皮革企业能及时掌握影响原料皮价格的各方面数据，加上对特定指标的科学计算分析，参考各种实操渠道共享的各国原皮报价信息，才能科学地对原料皮的市场行情和未来走势作出科学的判断。解决了之前网络上信息分散不够集中，缺乏权威实操数据平台的问题。
技术实现思路
此项技术能够实现数据自动抓取以下四个方面的数据,自动生成可视化图形图表，并允许用户灵活调整分析指标和时间段进行有效的定制性分析。供应数据：各国政府统计局权威公布的各国牛、猪、羊只存栏量和屠宰量，以及美国农业部网站公布的美国原皮销售量、出货量、预售量、主要供应商报价等；需求数据：各原皮进口目的国的进口数据，下游皮鞋、箱包、汽车、劳保用品、服装的产量数据等;经济数据：关系到进口成本的各国汇率、竞争产品人造革的主要原料国际石油、橡胶等大宗商品，影响牛只饲养成本的大豆、玉米、小麦、玉米浆饮料、活牛价格、牛屠体价格，以及影响相关工业风向标的黄金、铜、铁矿石等相关大宗商品价格等。价格数据：各种贸易渠道获取的各国原料皮报价以及价格参考等。此项技术包含以下四个模块：(附图1)需求参数设置模块：用于根据用户的需求，设置待爬取的皮革信息的相应参数及数据展示；数据库模块：使用非关系型数据库对数据进行存储，使得获取的数据都能够很好的保存；网络爬虫模块，用于根据用户对需求参数设置模块设定的参数，对其页面源代码进行解析，获取符合用户要求的网页内相关的信息；可视化模块：根据行业特点，将数据进行分组归类，关联信息能够进行对比分析。每个模块的具体实施方案如下：需求参数设置模块设定的参数包括皮革行业信息的区域、时间范围和类型。数据库模块包括皮革行业信息数据库，用于接收所述网络爬虫模块输入的其获取到的皮革行业信息数据。网络爬虫模块包括满足用户要求的皮革行业信息对应的网址超链接，以宽度优先的模式爬取网页，具体步骤如下：步骤1：用户设置待爬取的皮革行业信息的相应参数。步骤2：根据用户设置待爬取的皮革行业信息的相应参数，对网页进行爬取；优选地，以宽度优先的模式爬取网页。步骤3：针对每一个获取到的网页，根据用户设定的参数，对其页面源代码进行解析，获取符合用户要求的网页内的相关信息，如：相关皮革行业信息的标题与对应的网址链接。步骤4：将获取的数据输出到可视化模块进行展示。可视化模块展示的方式包括：通过Web端进行直观展示，或通过Excel表格展示；用户所设置的关键词、类型、区域和时间范围；满足用户要求的皮革行业信息标题。综上，本专利技术的基于网络爬虫的皮革行业数据中心系统，根据用户的自身需求，用户可以通过设置相应的关键词、时间和区域等参数信息，有针对性的从各大主皮革信息网站中爬取用户所需要的皮革信息从而有效地节省企业用户的人力和时间成本。此项技术的实现，将极大提高皮革产业链的自动化互联网交易水平，同时辐射到全球产业链，增强皮革中游企业对上游企业的话语权；同时大数据有助于优化企业的产能，引导企业的科学生产合理库存。另外，本数据中心系统支持英文版切换，利用我国占世界23.33%的制革大国体量，将我国的行业数据进行全球性传播，将极大增强我国的皮革产业对东南亚制革区域以及美国巴西澳大利亚和欧洲等全球主要原皮供应国家和地区的产业辐射影响。本文档来自技高网...

【技术保护点】
1.一种基于网络爬虫的皮革行业数据中心系统，其特征在于包括：1.1需求参数设置模块：用于根据用户的需求，设置待爬取的皮革信息的相应参数及数据展示；1.2数据库模块：使用非关系型数据库对数据进行存储，使得获取的数据都能够很好的保存；1.3、网络爬虫模块，用于根据用户对需求参数设置模块设定的参数，对其页面源代码进行解析，获取符合用户要求的网页内相关的信息；1.4、可视化模块：根据行业特点，将数据进行分组归类，关联信息能够进行对比分析。

【技术特征摘要】
1.一种基于网络爬虫的皮革行业数据中心系统，其特征在于包括：1.1需求参数设置模块：用于根据用户的需求，设置待爬取的皮革信息的相应参数及数据展示；1.2数据库模块：使用非关系型数据库对数据进行存储，使得获取的数据都能够很好的保存；1.3、网络爬虫模块，用于根据用户对需求参数设置模块设定的参数，对其页面源代码进行解析，获取符合用户要求的网页内相关的信息；1.4、可视化模块：根据行业特点，将数据进行分组归类，关联信息能够进行对比分析。2.根据权利要求1所述的基于网络爬虫的皮革行业数据中心系统，其特征在于所述需求参数设置模块设定的参数包括皮革行业信息的区域、时间范围和类型。3.根据权利要求1所述的基于网络爬虫的皮革行业数据中心系统，其特征在于所述数据库模块包括皮革行业信息数据库，用于接收所述网络爬虫模块输入的其获取到的皮革行业...

【专利技术属性】
技术研发人员：黄文穹，
申请(专利权)人：皮商云集厦门科技有限公司，
类型：发明
国别省市：福建,35