一种基于数据清洗的商品数据处理方法及装置制造方法及图纸

本申请属于计算机技术领域，公开了一种基于数据清洗的商品数据处理方法及装置，该方法包括：获取价格中心的价格数据

【技术实现步骤摘要】
一种基于数据清洗的商品数据处理方法及装置


[0001]本申请涉及计算机
，尤其涉及一种基于数据清洗的商品数据处理方法及装置
。

技术介绍

[0002]工业性商品具有比普通商品具有更多样的物料参数
、
分类数据等，例如，一个微小型滚珠直线导轨的可选物料参数包括滑块型式
、
尺寸
、
负荷型式
、
滑块固定方式
、
导轨固定方式
、
导轨长度
、
导轨特殊加工
、
预压等级
、
精度
、
单轴导轨数
、
防尘配件
、
润滑方式等等；而不同参数组合对应的物料又具有不同的价格，或者只为某些专属客户开放购买
。
因此对于工业用品的销售平台来说，需要处理的商品数据的数据量远远超过普通商品销售平台，导致客户在进行查询商品时，需要花费较长时间才能在大量数据中对该商品所有相关的参数
、
价格
、
客户权限等数据进行调取和展示，使得查询加载时间长
、
销售系统性能低下，从而导致客户体验差
。

技术实现思路

[0003]本申请提供了一种基于数据清洗的商品数据处理方法及装置，能够大大提高客户查询商品的加载速度和销售系统性能，从而提高客户体验
。
[0004]第一方面，本申请实施例提供了一种基于数据清洗的商品数据处理方法，该方法包括：r/>[0005]获取价格中心的价格数据
、
商品管理系统的商品数据和客户管理系统的客户数据；
[0006]对价格数据
、
商品数据和客户数据进行数据聚合，得到聚合数据；
[0007]对聚合数据进行全量清洗，得到清洗结果；
[0008]根据预设业务需求对清洗结果分类，得到商品展示数据和商品搜索数据；
[0009]将商品展示数据放入缓存数据库，将商品搜索数据放入商品数据中台；
[0010]通过商品数据中台将商品展示数据展示在销售界面上
。
[0011]进一步的，该方法还包括：
[0012]根据预设周期对价格数据和商品数据进行轮询；
[0013]若存在修改数据，则对修改数据进行增量清洗，得到增量清洗结果；
[0014]根据增量清洗结果更新缓存数据库和
/
或商品数据中台
。
[0015]进一步的，该方法还包括：
[0016]在得到增量清洗结果后，根据增量清洗结果生成修改提示信息；
[0017]将修改提示信息发送到
kafka
消息队列中
。
[0018]进一步的，预设周期包括多个预设同步周期；多个预设同步周期与商品数据中多种数据类型一一对应
。
[0019]进一步的，商品数据包括分类数据
、
品牌数据
、
类目参数
、
物料数据
、
库存数据和商
品组数据
。
[0020]进一步的，分类数据包括分类编码
、
分类名称
、
展示顺序
、
税号和业务国；
[0021]品牌数据包括品牌编码
、
品牌名称和品牌授权信息；
[0022]类目参数包括参数名称和参数顺序；库存数据包括物料号和库存数量
。
[0023]进一步的，物料数据包括物料号
、
物料编码
、
物料名称
、
物料类型
、
物料标签
、
供应商
、
客户信息
、
销售单位
、
起订量
、
制造商型号
、
图片
、
面价
、
商品组编号和物料参数
。
[0024]进一步的，商品数据包括商品组编号
、
商品组名称
、
品牌编码
、
分类编码和图片
。
[0025]进一步的，客户数据包括客户号
、
集团号和客户名称；价格数据包括客户号
、
物料号和物料价格
。
[0026]进一步的，上述对价格数据
、
商品数据和客户数据进行数据聚合，得到聚合数据，包括：
[0027]将分类数据进行打平，得到平级分类数据；
[0028]根据商品组编号聚合商品组数据和物料数据；
[0029]根据分类编码和品牌编码聚合商品组数据
、
平级分类数据和品牌数据，并将平级分类数据和品牌数据聚合到与商品组数据相关联的物料数据上；
[0030]根据物料号聚合物料数据中的物料参数和库存数据；
[0031]根据物料标签和物料参数关联的库存数据确定物料显示状态；
[0032]将物料显示状态添加到物料数据中；
[0033]根据客户号聚合价格数据和客户数据；
[0034]根据物料号聚合物料数据和与价格数据关联的客户数据；
[0035]将经过聚合的价格数据
、
商品数据和客户数据作为聚合数据
。
[0036]第二方面，本申请实施例提供了一种基于数据清洗的商品数据处理装置，该装置包括：
[0037]获取模块，用于获取价格中心的价格数据
、
商品管理系统的商品数据和客户管理系统的客户数据；
[0038]聚合模块，用于对价格数据
、
商品数据和客户数据进行数据聚合，得到聚合数据；
[0039]清洗模块，用于对聚合数据进行全量清洗，得到清洗结果；
[0040]分类模块，用于根据预设业务需求对清洗结果分类，得到商品展示数据和商品搜索数据；
[0041]存储模块，用于将商品展示数据放入缓存数据库，将商品搜索数据放入商品数据中台；
[0042]展示模块，用于通过商品数据中台将商品展示数据展示在销售界面上
。
[0043]进一步的，该装置还包括：
[0044]轮询模块，用于根据预设周期对价格数据和商品数据进行轮询；
[0045]增量模块，用于在存在修改数据时，对修改数据进行增量清洗，得到增量清洗结果；
[0046]更新模块，用于根据增量清洗结果更新缓存数据库和
/
或商品数据中台
。
[0047]进一步的，该装置还包括：
[0048]提示生成模块，用于得到增量清洗结果后，根据增量清洗结果生成修改提示信息；
[0049]提示发送模块，用于将修改提示信息发送到
kafka
消息队列中
。
[0050]第三方面，本申请实施例提供了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于数据清洗的商品数据处理方法，其特征在于，包括：获取价格中心的价格数据
、
商品管理系统的商品数据和客户管理系统的客户数据；对所述价格数据
、
所述商品数据和所述客户数据进行数据聚合，得到聚合数据；对所述聚合数据进行全量清洗，得到清洗结果；根据预设业务需求对所述清洗结果分类，得到商品展示数据和商品搜索数据；将所述商品展示数据放入缓存数据库，将所述商品搜索数据放入商品数据中台；通过所述商品数据中台将所述商品展示数据展示在销售界面上
。2.
根据权利要求1所述的基于数据清洗的商品数据处理方法，其特征在于，还包括：根据预设周期对所述价格数据和所述商品数据进行轮询；若存在修改数据，则对所述修改数据进行增量清洗，得到增量清洗结果；根据所述增量清洗结果更新所述缓存数据库和
/
或所述商品数据中台
。3.
根据权利要求2所述的基于数据清洗的商品数据处理方法，其特征在于，还包括：在得到所述增量清洗结果后，根据所述增量清洗结果生成修改提示信息；将所述修改提示信息发送到
kafka
消息队列中
。4.
根据权利要求2所述的基于数据清洗的商品数据处理方法，其特征在于，所述预设周期包括多个预设同步周期；多个所述预设同步周期与所述商品数据中多种数据类型一一对应
。5.
根据权利要求1所述的基于数据清洗的商品数据处理方法，其特征在于，所述商品数据包括分类数据
、
品牌数据
、
类目参数
、
物料数据
、
库存数据和商品组数据
。6.
根据权利要求5所述的基于数据清洗的商品数据处理方法，其特征在于，所述分类数据包括分类编码
、
分类名称
、
展示顺序
、
税号和业务国；所述品牌数据包括品牌编码
、
品牌名称和品牌授权信息；所述类目参数包括参数名称和参数顺序；所述库存数据包括物料号和库存数量
。7.
根据权利要求6所述的基于数据清洗的商品数据处理方法，其特征在于，所述物料数据包括所述物料号
、
物料编码
、
物料名称
、
物料类型
、
物料标签
、
供应商
、
客户信息
、
销售单位
、
起订量
、
制造商型号
、
图片
、
面价
、
商品组编号和物料参数
。8.
根据权利要求7所述的基于数据清洗的商品数据处理方法，其特征在于，所述商品数据包括所述商品组编号
、
商品组名称
、
所述品牌编码
、
所述分类编码和所述图片
。9.
根据权利要求8所述的基于数据清洗的商品数据处理方法，其特征在于，...

【专利技术属性】
技术研发人员：周艳华，李振波，钟浩，王丰雷，侯凯，
申请(专利权)人：上海固瑞捷工业科技有限公司，
类型：发明
国别省市：