一种缺陷数据关联性的分析方法、系统、设备及存储介质技术方案

本发明专利技术涉及制造业技术领域，公开了一种缺陷数据关联性的分析方法、系统、设备及存储介质，通过视觉智能检测系统获取缺陷数据并传输到负载均衡专用服务器上；负载均衡专用服务器对缺陷数据进行合法性校验后传递至数据转存模块；数据转存模块将缺陷数据上传到分布式文件系统中并存储；通过ETL模块定时处理存储到分布式文件系统中的缺陷数据，并将处理后的缺陷数据加载至数据仓库模块中；基于数据仓库模块中的缺陷数据，完成与业务关联性的分析。本发明专利技术通过二次处理缺陷数据后存储到数据仓库内，基于数据仓库对数据关联性、数据业务关联性进行分析，将缺陷数据与制造生产环节进行关联，从而明确定位出产生问题的制造生产环节。从而明确定位出产生问题的制造生产环节。从而明确定位出产生问题的制造生产环节。

【技术实现步骤摘要】
一种缺陷数据关联性的分析方法、系统、设备及存储介质


[0001]本专利技术涉及制造业
，特别涉及一种缺陷数据关联性的分析方法、系统、设备及存储介质。

技术介绍

[0002]企业为了应市场要求提高产品的出厂品质，通常将检测作为最终的把控环节，并投入大量的人力。当前大多数企业采用传统的人工检测，该种方式容易产生漏检、错检的现象，导致效率低、误差大与成本增长。检测多半为机械性的基础工作，因此，大多数企业正在尝试寻找一个能够代替人工的智能设备，利用机器替代人工实现检测和判断，由此，视觉检测技术应运而生。
[0003]通过视觉检测技术识别出产品的缺陷数据、质量数据，并进行分析及绘制出缺陷分布地图、缺陷数据项关联性、缺陷工艺关联性等图，可以直观的从上述图表中展现出企业质量缺陷弱点环节，但对缺陷弱点的处理及应对措施却还需要进一步地的人工分析确定具体出现问题的制造环节。

技术实现思路

[0004]为了解决现有技术中对缺陷数据所反应的问题需要进一步地人工参与进行分析确定产生问题所对应的制造环节的问题，本专利技术提供了一种缺陷数据关联性的分析方法、系统、设备及存储介质，将缺陷数据与制造生产环节进行关联，从而明确定位出产生问题的制造生产环节。
[0005]本专利技术的
技术实现思路
如下：
[0006]一种缺陷数据关联性的分析方法，包括缺陷数据关联性的分析系统，包括以下步骤：
[0007]通过视觉智能检测系统获取缺陷数据并传输到负载均衡专用服务器上；
[0008]所述负载均衡专用服务器对缺陷数据进行合法性校验后传递至数据转存模块；
[0009]所述数据转存模块将缺陷数据上传到分布式文件系统中并存储；
[0010]通过ETL模块定时处理存储到分布式文件系统中的缺陷数据，并将处理后的缺陷数据加载至数据仓库模块中；
[0011]基于数据仓库模块中的缺陷数据，完成与业务关联性的分析。
[0012]进一步地，所述通过视觉智能检测系统获取缺陷数据并传输到负载均衡专用服务器上时，包括：
[0013]所述视觉智能检测系统将缺陷数据通过MQTT消息队列的形式传输至负载均衡专用服务器上，所述负载均衡专用服务器通过Nginx+Lua负载均衡接收缺陷数据。
[0014]进一步地，所述负载均衡专用服务器对缺陷数据进行合法性校验后传递至数据转存模块时，包括：
[0015]所述负载均衡专用服务器将缺陷数据转成json格式数据存到日志文件并通过
Nginx+Lua脚本+crontab对日志文件进行合法性校验，并将校验过的日志文件传递至数据转存模块。
[0016]负载均衡专用服务器对日志进行合法性校验包括：初步筛查过滤掉脏数据，接着进行初步的分拣，将不同产品线的日志写入不同的日志文件中，并定时完成日志文件的切割。
[0017]进一步地，所述数据转存模块将缺陷数据上传到分布式文件系统中并存储时，包括：
[0018]所述数据转存模块定时将日志文件上传至分布式文件系统的特定目录，并再次校验是否存在漏传日志文件现象，若是，则自动补传缺失的日志文件。
[0019]若分布式文件系统出现故障，数据会暂存在本地，待分布式文件系统恢复后再自动补传至分布式文件系统，该步骤通过python脚本实现。
[0020]进一步地，所述通过ETL模块定时处理存储到分布式文件系统中的缺陷数据，并将处理后的缺陷数据加载至数据仓库模块中时，包括：
[0021]所述ETL模块定时将新上传的日志文件进行各种数据预处理。
[0022]进一步地，所述预处理包括：
[0023]非法脏数据的处理、数据类型转换、字段合法性校验、缺失值填补或转换为列式存储文件格式中的一种或多种。
[0024]进一步地，所述基于数据仓库模块中的缺陷数据，完成与业务关联性的分析时，包括：
[0025]通过作业调度模块定时调度执行分析，并将分析结果存储以定时查看分析结果。
[0026]本专利技术还提供了一种缺陷数据关联性的分析系统，包括：
[0027]负载均衡专用服务器，用于接收视觉智能检测系统检测出的缺陷数据并对缺陷数据进行合法性校验；
[0028]收集服务器，用于接收所述负载均衡专用服务器处理后的缺陷数据并对缺陷数据再次处理，基于再次处理后的缺陷数据完成与业务关联性的分析。
[0029]进一步地，所述收集服务器包括：
[0030]数据转存模块，用于定时将处理后的日志文件上传至分布式文件系统的特定目录；
[0031]ETL模块，用于定时将新上传的日志文件进行各种数据预处理；
[0032]数据仓库模块，用于存储所述ETL模块处理后的缺陷数据；
[0033]作业调度模块，用于基于所述数据仓库模块中的缺陷数据，结合业务需求完成对缺陷数据的分析，并完成定时调度执行分析。
[0034]本专利技术还提供了一种缺陷数据关联性的分析设备，
[0035]包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序；
[0036]所述处理器执行所述计算机程序时实现上述任一项缺陷数据关联性的分析方法的步骤。
[0037]本专利技术还提供了一种计算机可读存储介质，
[0038]所述计算机可读存储介质包括存储的计算机程序；
[0039]其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一项所述的应用于家居设备的多云连接方法的步骤。
[0040]本专利技术的有益效果至少包括：本文通过收集视觉智能检测系统检测到的缺陷数据，二次处理缺陷数据后存储到数据仓库内，基于数据仓库对数据关联性、数据业务关联性进行分析，将缺陷数据与制造生产环节进行关联，从而明确定位出产生问题的制造生产环节。
附图说明
[0041]图1为实施例1提供的一种缺陷数据关联性的分析方法的实施流程图示意图。
[0042]图2为实施例2提供的一种缺陷数据关联性的分析系统的流程结构示意图。
具体实施方式
[0043]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0044]实施例1
[0045]结合图1所示，本实施例提供了一种缺陷数据关联性的分析方法，包括缺陷数据关联性的分析系统，包括以下步骤：
[0046]通过视觉智能检测系统获取缺陷数据并传输到负载均衡专用服务器上；
[0047]所述负载均衡专用服务器对缺陷数据进行合法性校验后传递至数据转存模块；
[0048]所述数据转存模块将缺陷数据上传到分布式文件系统中并存储；
[0049]通过ETL模块定时处理存储到分布式文件系统中的缺陷数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缺陷数据关联性的分析方法，包括缺陷数据关联性的分析系统，其特征在于：包括以下步骤：通过视觉智能检测系统获取缺陷数据并传输到负载均衡专用服务器上；所述负载均衡专用服务器对缺陷数据进行合法性校验后传递至数据转存模块；所述数据转存模块将缺陷数据上传到分布式文件系统中并存储；通过ETL模块定时处理存储到分布式文件系统中的缺陷数据，并将处理后的缺陷数据加载至数据仓库模块中；基于数据仓库模块中的缺陷数据，完成与业务关联性的分析。2.根据权利要求1所述的一种缺陷数据关联性的分析方法，其特征在于：所述通过视觉智能检测系统获取缺陷数据并传输到负载均衡专用服务器上时，包括：所述视觉智能检测系统将缺陷数据通过MQTT消息队列的形式传输至负载均衡专用服务器上，所述负载均衡专用服务器通过Nginx+Lua负载均衡接收缺陷数据。3.根据权利要求2所述的一种缺陷数据关联性的分析方法，其特征在于：所述负载均衡专用服务器对缺陷数据进行合法性校验后传递至数据转存模块时，包括：所述负载均衡专用服务器将缺陷数据转成json格式数据存到日志文件并通过Nginx+Lua脚本+crontab对日志文件进行合法性校验，并将校验过的日志文件传递至数据转存模块；负载均衡专用服务器对日志文件进行合法性校验包括：初步筛查过滤掉脏数据，接着进行初步的分拣，将不同产品线的日志写入不同的日志文件中，并定时完成日志文件的切割。4.根据权利要求3所述的一种缺陷数据关联性的分析方法，其特征在于：所述数据转存模块将缺陷数据上传到分布式文件系统中并存储时，包括：所述数据转存模块定时将日志文件上传至分布式文件系统的特定目录，并再次校验是否存在漏传日志文件现象，若是，则自动补传缺失的日志文件。5.根据权利要求4所述的一种缺陷数据关联性的分析方法，其特征在于：所述通过...

【专利技术属性】
技术研发人员：任昱衡，郭伟鹏，林建，林伟凯，
申请(专利权)人：厦门鲲鹭物联信息技术有限公司，
类型：发明
国别省市：