商品主数据异常识别方法、系统、计算机设备和存储介质技术方案

本发明专利技术公开了一种商品主数据异常识别方法、系统、计算机设备和存储介质，方法包括：从商品数据中筛选商品主数据；对商品主数据进行预处理；对预处理后的所有商品主数据进行分类；结合阈值突变法和孤立森林算法对每一类商品的商品主数据进行第一次异常检测；设置商品主数据各属性特征的上下限，对第一次异常检测后的正常商品主数据进行第二次异常检测。系统包括：筛选模块、预处理模块、分类模块、第一异常检测模块以及第二异常检测模块。计算机设备和存储介质通过执行计算机程序能够实现上述方法过程。本发明专利技术通过使用异常识别算法实现异常商品主数据的检测，不仅节省人力，且快速有效、精度高。

Method, system, computer equipment and storage medium of commodity master data anomaly identification

【技术实现步骤摘要】
商品主数据异常识别方法、系统、计算机设备和存储介质
本专利技术属于主数据异常识别领域，特别涉及一种商品主数据异常识别方法、系统、计算机设备和存储介质。
技术介绍
商品主数据指商品的长、宽、高、体积、毛重等指标，在商品入库的时候，由于人工在测量、录入时存在错误，会对商品的存储、包装、运输、配送等过程造成麻烦和巨大损失。因此，识别出异常的商品主数据具有重要的意义。目前识别异常主数据的方法有：1)靠人工二次复查所有商品主数据，该方法完全依靠人工，不仅可能会出现二次错误，且工作量巨大，费时费力，此外在上报过程中存在延时；2)在商品存储、包装、运输、配送等过程中，发现错误，进行上报复查，该方法一次只能找出个别商品主数据的错误，且在上报过程中存在延时，不能及时处理。
技术实现思路
本专利技术的目的在于针对以上现象和现有技术的不足，提供一种基于异常检测算法的商品主数据异常识别方法、系统、计算机设备和存储介质，以维护商品主数据，支持商品入库作业。实现本专利技术目的的技术解决方案为：一种商品主数据异常识别方法，所述方法包括：<本文档来自技高网...

【技术保护点】
1.一种商品主数据异常识别方法，其特征在于，所述方法包括：/n从商品数据中筛选商品主数据；/n对商品主数据进行预处理；/n对预处理后的所有商品主数据进行分类；/n对每一类商品的商品主数据进行第一次异常检测，并剔除异常商品数据；/n设置商品主数据各属性特征的上下限，对所述第一次异常检测后的正常商品主数据进行第二次异常检测。/n

【技术特征摘要】
1.一种商品主数据异常识别方法，其特征在于，所述方法包括：
从商品数据中筛选商品主数据；
对商品主数据进行预处理；
对预处理后的所有商品主数据进行分类；
对每一类商品的商品主数据进行第一次异常检测，并剔除异常商品数据；
设置商品主数据各属性特征的上下限，对所述第一次异常检测后的正常商品主数据进行第二次异常检测。


2.根据权利要求1所述的商品主数据异常识别方法，其特征在于，所述对商品主数据进行预处理，具体包括：
检测极端异常数据，并将这些极端异常数据从原始商品主数据中剔除同时添加至商品主数据异常集合中，不进行后续处理；
为极端异常数据检测后剩余的商品主数据添加新的属性特征，包括：商品标签、商品长宽比、商品密度；其中，商品标签用于区分正常商品主数据和异常商品主数据。


3.根据权利要求2所述的商品主数据异常识别方法，其特征在于，所述极端异常的定义包括：属性特征中存在空值，属性特征为0值或小于0值，属性特征值小于该属性特征的最小阈值，以及属性特征值大于该属性特征的最大阈值；满足上述任一条定义的数据判定为极端异常数据。


4.根据权利要求3所述的商品主数据异常识别方法，其特征在于，所述对每一类商品的商品主数据进行第一次异常检测，具体过程包括：
判断每一类商品中商品主数据的数据量是否小于该类商品对应的预设阈值p，若是，则该类商品的所有商品主数据被初步判定为正常数据，否则执行下一步；
利用阈值突变法进行数据异常检测；
利用孤立森林算法对所述数据异常检测结果进行校验，若校验结果一致，则该结果即为该商品主数据最终的检测结果，若校验结果不一致，则最终判定该商品主数据为正常或异常数据，由此获得所有商品主数据最终的数据异常检测结果，并将所有异常数据剔除同时添加至所述商品主数据异常集合中。


5.根据权利要求4所述的商品主数据异常识别方法，其特征在于，所述利用阈值突变法进行数据异常检测，具体包括：
自定义预设异常比例和初始突变阈值；
针对每一类商品的所有商品主数据，对每一个属性特征对应的所有数据进行降序排列，形成若干属性特征数据列；
针对每一个属性特征数据列中的每一个数据xi，求取增量突变比率形成若干增量突变比率数据列，其中求取增量突变比率的公式为：



式中，xi+1为与数据xi相邻且比其小的数据；
针对每一个增量突变比率数据列，自定义选取某一分位点，从该分位点开始向两边对增量突变比率进行比较，若存在增量突变比率大于所述突变阈值，判断该增量突变比率对应的属性特征数据位于所述属性特征数据列靠近大值的方向还是靠近小值的方向，若是前者则判定该属性特征数据为异常，若是后者则判定该属性特征数据为正常，且位于该属性特征数据之前和之后的数据均判定为异常；若增量突变比率数据列全部比较结束后，不存在大于所述突变阈值的增量突变比率，则该增量突变比率数据列对应的属性特征数据列中的所有数据均判定为正常；
求取上一步获得的异常数据的比例，并判断该比例是否超过预设的异常比例，若是，则根据阈值增长率调整更新突变阈值，并返回第二步重新进行数据异常检测；反之结束利用阈值突变法进行数据异常检测的过程；其中，所述阈值增长率依据所述求取上一步获得的异常数据比例选取，且与异常数据比例呈正相关；所述根据阈值增长率调整更新突变阈值，所用公式为：突变阈值＝突变阈值*(1+阈值增长率)。


6.根据权利要求5所述的商品主数据异常识别方法，其特征在于，所述设置商品主数据各属性特征的上下限，对所述第一次异常检测后的正常商品主数据进行第二次异常检测，具体包括：
针对第一次异常检测剔除异常商品数据后的每一个属性特征数据列，自定义选取n分位点，取1/n分位点处的数据并乘以p1作为该属性特征的上限l1，取n-1/n分位点处的数据并乘以p2作为该属性特征的下限l2；其中l2<l1，n为整数且n≥2，p1、p2均为有理数，且p1≥1,0≤p2≤1；
将每一个属性特征数据列中不在该属性特征上、下限范围内的数据判定为异常数据，并将所有异常数据剔除同时添加至所述商品主数据异常集合中。


7.一种商品主数据异常识别系统，其...

【专利技术属性】
技术研发人员：夏朋辉，戚成亮，曹晖，
申请(专利权)人：苏宁云计算有限公司，
类型：发明
国别省市：江苏;32