基于大数据的跨行业数据资源整合系统技术方案

本发明专利技术的基于大数据的跨行业数据资源整合系统，包括多源异构数据采集模块、多源异构数据融合计算模块、产品数据管理模块、采购管理模块以及销售管理模块，还可进一步包括库存预测预警模块、物流管理模块和生产模块。本发明专利技术的基于大数据的跨行业数据资源整合系统，能够比较全面准确的采集并处理配件信息，挖掘非易损件潜在需求，同时能够通过标签匹配，实现配件信息与供应商匹配透明化。利用本发明专利技术的系统，企业可以准确把握产品周期、提前进行研发布局，从而在市场有需求时快速准确投入，保证持续稳定供货，大大降低了生产成本。

Cross-industry Data Resource Integration System Based on Big Data

【技术实现步骤摘要】
基于大数据的跨行业数据资源整合系统
本专利技术属于数据资源整合
，特别涉及一种基于大数据的跨行业数据资源整合系统。
技术介绍
汽车作为一种较大型的交通工具，涉及的零配件有成千上万个，并且品类、型号复杂。传统汽车零配件包括常见的保养件、易损件、较少更换的非易损件以及发生事故后需要更换的事故件等。在上述四类配件中，非易损件虽然更换频率低，但由于配件单价较高，因此在后市场配件中价值占比最高，流通难度最大。对于专注于非易损件市场的公司而言，目前主要的瓶颈和挑战在于非易损件种类繁多，下游与车型匹配关系较为复杂且通用度极低，同时随新车型的发布急速增长，因此，若要统计出整个国家内甚至全球内某个非易损件品类的需求量，采用传统的人力搜集方法无异于大海捞针，加之我国汽车后市场上配件信息不透明，导致挖掘需求信息的难度非常大，根本无法实现。同时，汽车配件存在生命周期，只有准确预测提前布局才能持续不断的开发新品，适应市场需求。另一方面，后市场中存在数以万计的配件供应商，要将配件供应商与配件一一对应，仅仅依靠历史经验的积累也无法完成。得益于近年来“互联网+”在各行各业的迅速渗透，在此大背景下，与信息化技术的融合为汽车后市场的不断发展完善提供了更多可能，更有助于高效的后市场供应链体系的形成。为此，本专利技术提出一种基于大数据的跨行业数据资源整合系统，能够比较全面准确的采集并处理配件信息，挖掘非易损件潜在需求，同时能够通过标签匹配，实现配件信息与供应商匹配透明化。利用本专利技术的系统，公司还可以准确把握产品周期、提前进行研发布局，从而在市场有需求时快速准确投入，保证持续稳定供货，大大降低了生产成本。同时，利用本专利技术的系统，还可以对上下游的客户群体进行有效整合，能够形成规模化效应，极大地降低了管理成本，使得公司销售额每年增长速度达20％以上，近年来毛利率达26％以上，而同行业竞争对手的毛利率平均只有5％左右，保持了优势的领先地位。
技术实现思路
本专利技术需解决的技术问题是：跨行业采集并处理配件信息实现配件信息与供应商匹配透明化。为了解决上述技术问题，本专利技术提出基于大数据的跨行业数据资源整合系统，包括：多源异构数据采集模块、多源异构数据融合计算模块、产品数据管理模块、采购管理模块和销售管理模块，其中，多源异构数据采集模块包括采集子模块和存储子模块，采集子模块用于对多源异构数据进行采集，并对结构化数据进行批处理、对非结构化数据进行爬虫抓取、数据转换，处理转换完成后存储至分布式数据库中，采集完成的数据进入存储子模块，并分类存储在存储子模块中；多源异构数据融合计算模块包括BP神经网络计算子模块和权重修正优化子模块，BP神经网络计算子模块用于对每个多源异构数据进行处理得到预测初值，权重修正优化子模块用于对预测初值修正得到预测终值；权重修正优化是指利用销售反馈数据中的销售额占比和利润率构建修正权重公式，得到优化后的预测需求量；产品数据管理模块用于接收来自多源异构数据融合计算模块的计算结果，获取预测终值、进行项目立项决策、并自动接收包括设计过程、修改时间、负责人员、设计工具、项目反馈的数据信息；采购管理模块通过获取零配件供应商的至少包含专利大数据、历史交易记录、平均交货周期、品牌车型数据的数据，形成跨行业供应商数据库，按照预先设定的标准将供应商数据分组存储，将供应商数据分组存储的标准包括专利申请量、专利授权率、运输时间、配件产品名称、种类、销售量、销售额、售后服务次数、平均交货速度、覆盖车型品牌、供应商信息的至少一种参数，据此对包括供应商的技术领先程度、市场占有率、平均交货周期以及覆盖车型品牌的至少一种参数进行评价；销售管理模块用于将获取的客户数据信息形成销售商数据库，按照预先设定的标准分组存储，并根据预先设定的分析条件进行计算分析和销售订单跟踪，将符合分析条件的销售订单进行分析整理，生成目标客户名单序列表和销售订单跟踪记录，将获取的客户数据信息分组存储的标准包括运输时间、配件产品名称、种类、销售量、销售额、售后服务次数、平均交货速度、覆盖车型品牌、销售地域、客户信息的至少一种参数，所述分析条件包括运输时间、配件产品种类、车型、销售量、销售额、售后服务次数、平均交货周期、销售地域、客户信息的至少一种。作为本专利技术的进一步改进，采集子模块采集数据的方法包括以下步骤：步骤一：对于多源异构数据，首先判断其是结构化数据还是非结构化数据，属于结构化数据，则进入步骤二，对于非结构化数据则进入步骤三；步骤二：通过批处理工具将结构化的数据表抽取到基于Hadoop架构的分布式数据仓库Hive中；步骤三：如果是网页数据，则进行Nutch爬虫抓取；如果不属于网页数据，与经Nutch爬虫抓取的网页数据共同进入数据转换器，以文档的形式存储到基于Hadoop架构的分布式数据库HBase中。作为本专利技术批处理工具的进一步改进，批处理工具为Sqoop和/或Schema。作为本专利技术的又一步改进，BP神经网络计算子模块的计算方法包括以下步骤：(1)选择两层BP模型，不限制隐层节点数；(2)确定输入数据指标，选择6个重要影响因素作为指标；(3)确定输入层和输出层的节点数分别为6和1；(4)将Sigmoid函数作为传输函数，Sigmoid函数的公式为：f(x)＝(1+e-x)-1；(5)将输入数据指标输入输入层，输入层接收到输入信号，计算权重和，然后根据单元的传输函数，将信号传给中间层，将输出信号送给输出层，公式如下：Net-inputj＝ij＝∑WiOiNet-inputj＝Oj＝f(ij)-(1+exp(-ij))-1式中：Net为输入信号，inputj为输入层i单元实际输入值，inputj为输入层j单元实际输入值，ij为中间层单元实际输出值，Oj为输出层j单元应有的输出值，Wi为从输入层i单元到中间层i单元的连接权重，f(ij)传输函数为Sigmoid函数。(6)网络实际输出与应有的输出进行比较，如果误差超过给定值，则将误差从输出层传播至输入层，在后传过程中相应修改单元之间的连接权重。(7)获取需求量预测初值。作为本专利技术的再一步改进，权重修正优化子模块的优化方法包括以下步骤：(1)从多源异构数据中抽取销售反馈数据，构建修正权重公式，所述公式为f(Sn)＝α*Si+β*Sj。其中，0≤α、β≤1，Si＝销售额占比，Sj＝利润率。(2)利用权重校正预测需求量，得到优化后的预测需求量。作为本专利技术的又一步改进，分类标签包括：销售量、销售时间、价格、销售地域、交货期、品牌型号、适用车型、质量，质量标签包含涵盖返修率、评论数、评论星级。作为本专利技术客户数据信息的进一步改进，客户数据信息包括历史订单、销售量、销售额和物流跟踪信息。作为本专利技术的再一步改进，数据资源整合系统还包括用于实现所述采购管理模块与所述多源异构数据融合计算模块之间链接的配件数据平台，用于形成配件数据库与供应商数据库的匹配系统。作为本专利技术的又一步改进，数据资源整合系统还包括库存预测预警模块、物流管理模块和/或生产模块，库存预测预警模块用于获取不同车型不同配件产品的产量与实际销售量，将产量与实际销售量进行对比，并获取每一配件产品的销售地点及流向；物流管理模块用于跟踪物流信息，通过获取运输阶段中的相关信息实现产品从出库到购买者的全链条跟本文档来自技高网...

【技术保护点】
1.基于大数据的跨行业数据资源整合系统，其特征在于，包括：多源异构数据采集模块、多源异构数据融合计算模块、产品数据管理模块、采购管理模块和销售管理模块，其中，多源异构数据采集模块包括采集子模块和存储子模块，采集子模块用于对多源异构数据进行采集，并对结构化数据进行批处理、对非结构化数据进行爬虫抓取、数据转换，处理转换完成后存储至分布式数据库中，采集完成的数据进入存储子模块，并分类存储在存储子模块中；多源异构数据融合计算模块包括BP神经网络计算子模块和权重修正优化子模块，BP神经网络计算子模块用于对每个多源异构数据进行处理得到预测初值，权重修正优化子模块用于对预测初值修正得到预测终值；权重修正优化是指利用销售反馈数据中的销售额占比和利润率构建修正权重公式，得到优化后的预测需求量；产品数据管理模块用于接收来自多源异构数据融合计算模块的计算结果，获取预测终值、进行项目立项决策、并自动接收包括设计过程、修改时间、负责人员、设计工具、项目反馈的数据信息；采购管理模块通过获取零配件供应商的至少包含专利大数据、历史交易记录、平均交货周期、品牌车型数据的数据，形成跨行业供应商数据库，按照预先设定的标准将供应商数据分组存储，将供应商数据分组存储的标准包括专利申请量、专利授权率、运输时间、配件产品名称、种类、销售量、销售额、售后服务次数、平均交货速度、覆盖车型品牌、供应商信息的至少一种参数，据此对包括供应商的技术领先程度、市场占有率、平均交货周期以及覆盖车型品牌的至少一种参数进行评价；销售管理模块用于将获取的客户数据信息形成销售商数据库，按照预先设定的标准分组存储，并根据预先设定的分析条件进行计算分析和销售订单跟踪，将符合分析条件的销售订单进行分析整理，生成目标客户名单序列表和销售订单跟踪记录，将获取的客户数据信息分组存储的标准包括运输时间、配件产品名称、种类、销售量、销售额、售后服务次数、平均交货速度、覆盖车型品牌、销售地域、客户信息的至少一种参数，所述分析条件包括运输时间、配件产品种类、车型、销售量、销售额、售后服务次数、平均交货周期、销售地域、客户信息的至少一种。...

【技术特征摘要】
1.基于大数据的跨行业数据资源整合系统，其特征在于，包括：多源异构数据采集模块、多源异构数据融合计算模块、产品数据管理模块、采购管理模块和销售管理模块，其中，多源异构数据采集模块包括采集子模块和存储子模块，采集子模块用于对多源异构数据进行采集，并对结构化数据进行批处理、对非结构化数据进行爬虫抓取、数据转换，处理转换完成后存储至分布式数据库中，采集完成的数据进入存储子模块，并分类存储在存储子模块中；多源异构数据融合计算模块包括BP神经网络计算子模块和权重修正优化子模块，BP神经网络计算子模块用于对每个多源异构数据进行处理得到预测初值，权重修正优化子模块用于对预测初值修正得到预测终值；权重修正优化是指利用销售反馈数据中的销售额占比和利润率构建修正权重公式，得到优化后的预测需求量；产品数据管理模块用于接收来自多源异构数据融合计算模块的计算结果，获取预测终值、进行项目立项决策、并自动接收包括设计过程、修改时间、负责人员、设计工具、项目反馈的数据信息；采购管理模块通过获取零配件供应商的至少包含专利大数据、历史交易记录、平均交货周期、品牌车型数据的数据，形成跨行业供应商数据库，按照预先设定的标准将供应商数据分组存储，将供应商数据分组存储的标准包括专利申请量、专利授权率、运输时间、配件产品名称、种类、销售量、销售额、售后服务次数、平均交货速度、覆盖车型品牌、供应商信息的至少一种参数，据此对包括供应商的技术领先程度、市场占有率、平均交货周期以及覆盖车型品牌的至少一种参数进行评价；销售管理模块用于将获取的客户数据信息形成销售商数据库，按照预先设定的标准分组存储，并根据预先设定的分析条件进行计算分析和销售订单跟踪，将符合分析条件的销售订单进行分析整理，生成目标客户名单序列表和销售订单跟踪记录，将获取的客户数据信息分组存储的标准包括运输时间、配件产品名称、种类、销售量、销售额、售后服务次数、平均交货速度、覆盖车型品牌、销售地域、客户信息的至少一种参数，所述分析条件包括运输时间、配件产品种类、车型、销售量、销售额、售后服务次数、平均交货周期、销售地域、客户信息的至少一种。2.根据权利要求1所述的数据资源整合系统，其特征在于，所述采集子模块采集数据的方法包括以下步骤：步骤一：对于多源异构数据，首先判断其是结构化数据还是非结构化数据，属于结构化数据，则进入步骤二，对于非结构化数据则进入步骤三；步骤二：通过批处理工具将结构化的数据表抽取到基于Hadoop架构的分布式数据仓库Hive中；步骤三：如果是网页数据，则进行Nutch爬虫抓取；如果不属于网页数据，与经Nutch爬虫抓取的网页数据共同进入数据转换器，以文档的形式存储到基于Hadoop架构的分布式数据库HBase中。3.根据权利要求2所述的数据资源整合系统，其特征在于，所述批处理工具为Sqoop和/或Schema。4.根据权利要求1所述的数据资源整合系统，...

【专利技术属性】
技术研发人员：尹江华，钟永铎，鞠晓凤，
申请(专利权)人：青岛建邦供应链股份有限公司，
类型：发明
国别省市：山东,37