基于深度学习和机器视觉的端云协同缺陷打标系统及方法技术方案

本发明专利技术提供一种基于深度学习和机器视觉的端云协同缺陷打标系统及方法，该系统采用端云协同的部署模式，将前端系统和后端系统均部署在云端服务器上，用户使用时无需下载安装打标软件，也无需安装机器视觉算法库以及配置其环境变量；只需要打开系统所配套的终端可视化界面，比如网页，即可在视化界面中发起打标请求，并上传待打标样品图片，云端程序接收后便会对样品图片进行缺陷信息打标，并且返回带有缺陷打标信息的结果图给用户；解决了人工打标的局限性。同时，将打标算法运行于服务器端，采用端云协同的部署模式，来解决传统软件使用起来安装复杂的问题。来安装复杂的问题。来安装复杂的问题。

【技术实现步骤摘要】
基于深度学习和机器视觉的端云协同缺陷打标系统及方法


[0001]本专利技术涉及图像处理、图像缺陷打标领域，更具体地，涉及一种基于深度学习和机器视觉的端云协同缺陷打标系统及方法。

技术介绍

[0002]随着深度学习技术的不断发展，其应用场景越来越广泛。而对其数据集的打标工作，一直以来都是依靠人工来完成，这样所耗费的人力成本巨大。并且由于人体的视觉感官的局限性以及长时间工作后的疲劳性，人工打出来的标签往往准确率低，同时标签形式也不统一。尤其是在材料缺陷检测领域，缺陷的类型众多，同时有些缺陷十分细微，难以被肉眼发现，所以人工打标的方式在这种场景下具有相当大的局限性。同时传统打标软件的下载安装过程往往比较复杂。而与此同时，机器视觉在图像处理尤其是图像检测领域的发展越来越成熟其分辨率和精度已经达到了相当高的水平。
[0003]现有技术中公开了一种缺陷打标方法和系统的专利，该专利系统包括设置在待检测产品上方的视野可以覆盖待检测产品的X轴方向的至少一个摄像装置，待检测产品在传输轴的运动下沿Y轴运动，传输轴与编码器连接；该专利方法包括：通过至少一个摄像装置采集待检测产品的目标检测图像，根据目标检测图像确定目标缺陷的位置信息；获取编码器读数，根据编码器读数计算运行长度；根据打标装置的位置信息、目标缺陷的位置信息、摄像装置的位置信息以及运行长度，确定目标缺陷是否到达打标装置的预设范围内，若是，则控制打标装置在待检测产品上进行缺陷标记；采用本专利技术专利，可以提高连续性材料的缺陷打标的精度。然而，该专利对于采用端云协同的部署模式，来解决传统软件使用起来安装复杂的问题却没有任何的报道。

技术实现思路

[0004]本专利技术提供一种基于深度学习和机器视觉的端云协同缺陷打标系统，该系统将深度学习中的图像分类算法与机器视觉算法相结合来实现自动打标，来解决人工打标的局限性；将打标算法运行于服务器端，采用端云协同的部署模式，来解决传统软件使用起来安装复杂的问题。
[0005]本专利技术的又一目的在于提供一种应用在上述系统中的基于深度学习和机器视觉的端云协同缺陷打标方法。
[0006]为了达到上述技术效果，本专利技术的技术方案如下：
[0007]一种基于深度学习和机器视觉的端云协同缺陷打标系统，包括用户终端、前端系统、后端系统，其中前端系统和后端系统均部署在云端服务器；
[0008]所述用户终端用于向用户提供可操作界面和人机交互接口；
[0009]所述前端系统用于支持用户终端，向用户提供该端云协同缺陷检测系统中各种可视化操作界面；
[0010]所述后端系统用于获取用户从可视化操作界面输入的待打标图片，然后完成缺陷
信息打标，并将检查结果返回给可视化操作界面；同时，存储带有样品缺陷的图片和用户信息，以及封装好的机器视觉算子库。
[0011]进一步地，所述后端系统包括后台服务器和储服务器，后台服务器用于从前台服务器获取用户从所述可视化操作界面输入的待打标图片，然后自动调用其中的打标方法完成缺陷信息打标，并将检查结果返回给所述可视化操作界面；储服务器是数据库系统，用于存储带有样品缺陷的图片和用户。
[0012]进一步地，所述后台服务器部署了进行材料缺陷打标的功能模块，对于输入的的带有缺陷的样品图片，首先调用先前训练好的深度学习中的图片分类算法模型，按缺陷类型进行图片分类，以此来判断该样品包含哪种或哪几种缺陷，进而再自动调用已经写好的与上一步分类结果相对应的机器视觉缺陷检测算子，来完成样品图片缺陷的精准打标，并将结果自动保存在相应文件夹，同时将打标完的带有样品缺陷的图片返回给可视化操作界面。
[0013]进一步地，所述数据库系统包括的表格有：
[0014]a.用户表，存储用户个人信息数据，包括：用户ID、用户名称、用户密码、用户创建时间、用户更新时间、用户电话、用户邮箱；
[0015]b.权限表，存储系统操作的不同权限的相关信息数据，记录用户ID及用户ID所对应权限，包括：权限ID、权限名、权限创建时间、权限更新时间；
[0016]c.缺陷类型表，记录样品缺陷的信息数据，包括：缺陷类型ID、缺陷类型名；
[0017]d.缺陷图片表，记录缺陷图片的信息数据，包括图片ID、图片名、基本类型、图片类型、原始URL、坐标点x1、坐标点x2、坐标点y1、坐标点y2。
[0018]进一步地，所述前端系统根据用户权限的不同，分为首页显示模块、后台管理显示模块、平台功能显示模块；首页展示模块：用于创建前端系统中关于首页的所有视图对象和控制对象，并通过分页插件显示于用户终端的可编辑界面；后台管理展示模块：用于创建前端系统中关于后台管理的所有视图对象和控制对象，并通过分页插件显示于用户终端的可编辑界面；平台功能显示模块：用于创建前端系统中关于图像缺陷检测功能的所有视图对象和控制对象，并通过分页插件显示于用户终端的可编辑界面。
[0019]进一步地，所述后端系统还包括与后台服务器连接的：
[0020]缺陷自打标功能模块，用于获取前端系统传过来的待打标样品图片和相关信息，首先通过调用已经训练好的深度学习中的图片分类模型，按缺陷类型进行图片分类，以此判断该待打标图片中的缺陷属于哪几类，然后在机器视觉算子库中自动调用已经封装好的与分类结果相匹配的检测算子；
[0021]算子库功能模块，算子库中包含了不同的基于机器视觉的缺陷检测算子，并且该算子库是可动态调整的，用户在获取相应权限后，可以根据需要对库中的算子进行更新或增删操作；
[0022]用户管理模块，用于处理用户的相关业务。
[0023]进一步地，所述用户管理模块包括：
[0024]用户登录注册子模块，用于接收用户进行登录注册的第一请求，然后通过存储服务器对进行登录注册请求的用户的密码进行加密处理后存储于数据库，并对发出所述第一请求的用户的邮箱进行校验认证；
[0025]用户列表子模块和用户个人详情子模块，用户列表子模块用于从数据库读取用户表，通过前端系统显示于用户终端的可编辑界面；用户个人详情子模块用于根据用户进行登录注册的第一请求中匹配用户ID，并根据用户ID查询数据库，返回用户的个人详情数据，通过前端系统显示于用户终端的可编辑界面。
[0026]进一步地，如果图片分类模型判断待打标图片属于点缺陷和线缺陷类，则调用点算子和线算子对图片进行打标；打标后的结果图上会有红框将缺陷位置标记出来，红框的左上角(X1,Y1)和右下角(X2，Y2)有坐标信息，同时会在旁边注明缺陷类型；然后将打标后的图片存储于服务器，并通过前端系统显示于用户终端的可编辑界面；若用户对结果不满意，选择勾选去掉图像分类步骤，从而调用所有已存的机器视觉缺陷检测算子或自定义选择自己所需的检测算子，与待打标图片一起打包发送给运行在服务器端的后台程序，让程序进行相应的缺陷打标，并返回打标后的结果图。
[0027]优选地，所述用户终端是电脑、手机、平板等任意一种或多种设备，不同设备搭载有相同或不同的操作系统，用于向用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和机器视觉的端云协同缺陷打标系统，其特征在于，包括用户终端、前端系统、后端系统，其中前端系统和后端系统均部署在云端服务器；所述用户终端用于向用户提供可操作界面和人机交互接口；所述前端系统用于支持用户终端，向用户提供该端云协同缺陷检测系统中各种可视化操作界面；所述后端系统用于获取用户从可视化操作界面输入的待打标图片，然后完成缺陷信息打标，并将检查结果返回给可视化操作界面；同时，存储带有样品缺陷的图片和用户信息，以及封装好的机器视觉算子库。2.根据权利要求1所述的基于深度学习和机器视觉的端云协同缺陷打标系统，其特征在于，所述后端系统包括后台服务器和储服务器，后台服务器用于从前台服务器获取用户从所述可视化操作界面输入的待打标图片，然后自动调用其中的打标方法完成缺陷信息打标，并将检查结果返回给所述可视化操作界面；储服务器是数据库系统，用于存储带有样品缺陷的图片和用户。3.根据权利要求2所述的基于深度学习和机器视觉的端云协同缺陷打标系统，其特征在于，所述后台服务器部署了进行材料缺陷打标的功能模块，对于输入的的带有缺陷的样品图片，首先调用先前训练好的深度学习中的图片分类算法模型，按缺陷类型进行图片分类，以此来判断该样品包含哪种或哪几种缺陷，进而再自动调用已经写好的与上一步分类结果相对应的机器视觉缺陷检测算子，来完成样品图片缺陷的精准打标，并将结果自动保存在相应文件夹，同时将打标完的带有样品缺陷的图片返回给可视化操作界面。4.根据权利要求3所述的基于深度学习和机器视觉的端云协同缺陷打标系统，其特征在于，所述数据库系统包括的表格有：a.用户表，存储用户个人信息数据，包括：用户ID、用户名称、用户密码、用户创建时间、用户更新时间、用户电话、用户邮箱；b.权限表，存储系统操作的不同权限的相关信息数据，记录用户ID及用户ID所对应权限，包括：权限ID、权限名、权限创建时间、权限更新时间；c.缺陷类型表，记录样品缺陷的信息数据，包括：缺陷类型ID、缺陷类型名；d.缺陷图片表，记录缺陷图片的信息数据，包括图片ID、图片名、基本类型、图片类型、原始URL、坐标点x1、坐标点x2、坐标点y1、坐标点y2。5.根据权利要求4所述的基于深度学习和机器视觉的端云协同缺陷打标系统，其特征在于，所述前端系统根据用户权限的不同，分为首页显示模块、后台管理显示模块、平台功能显示模块；首页展示模块：用于创建前端系统中关于首页的所有视图对象和控制对象，并通过分页插件显示于用户终端的可编辑界面；后台管理展示模块：用于创建前端系统中关于后台管理的所有视图对象和控制对象，并通过分页插件显示于用户终端的可编辑界面；平台功能显示模块：用于创建前端系统中关于图像缺陷检测功能的所有视图对象和控制对象，并通过分页插件显示于用户终端的可编辑界面。6.根据权利要求5所述的基于深度学习和机器视觉的端云协同缺陷打标系统，其特征在于，所述后端系统还包括与后台服务器连接的：缺陷自打标功能模块，用于获取前端系统传过来的待打标样品图片和相关信息，首先通过调用已经训练好的深度学习中的图片分类模型，按缺陷类型进行图片分类，以此判断
该待打标图片中的缺陷属于哪几类，然后在机器视觉算子库中自动调用已经封装好的与分类结果相匹配的...

【专利技术属性】
技术研发人员：吴宗泽，龚文超，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：