基于弱监督学习的用户定制化目标检测方法、系统和存储介质技术方案

本发明专利技术公开了一种基于弱监督学习的用户定制化目标检测方法、系统及存储介质，方法包括下述步骤：构建目标检测架构，包括客户端和服务端；在客户端上传训练所需的图像数据和图像类别标注数据，服务端根据标注类别数构建WSDDN‑PCL弱监督目标检测模型；服务端使用用户上传的图像和标注数据训练弱监督目标检测模型，训练好的模型保存在服务端；在客户端上传需要检测的图像数据，服务端加载训练好的目标检测模型，并对用户上传的图像数据进行检测，将检测结果存储在服务端；用户从服务端下载检测结果，完成目标检测任务。本发明专利技术的方法可以定制化地从线上图库中爬取数据并训练目标检测模型，并将复杂的计算过程放到服务器进行，同时满足易用性和快速性的要求。

【技术实现步骤摘要】
基于弱监督学习的用户定制化目标检测方法、系统和存储介质
本专利技术属于图像目标检测的
，具体涉及一种基于弱监督学习的用户定制化目标检测方法、系统和存储介质。
技术介绍
图像目标检测是计算机视觉领域的一项基础且重要的研究，近年来随着智慧城市和摄像技术的发展，目标检测任务越来越得到重视。目标检测的任务是从图像中找出所有感兴趣的目标，确定它们的位置和类别，并且将目标用矩形方框完整地框出。目标检测有很多方面的应用，例如自动驾驶、人脸识别、行人检测、物体跟踪等。比如在自动驾驶技术中，为了判断汽车周围环境的情况，可通过电子摄像头获取周围场景的图像，并利用目标检测技术从图像中识别汽车周围是否有行人等物体，以此来指导汽车的行驶过程。目前的目标检测模型以卷积神经网络为主要组成部分。卷积神经网络具有强大的表征学习的能力，能够有效提取图像特征，可以满足高精度目标检测任务的要求。但是，训练高精度的目标检测模型，需要使用大量的以矩形包围框为形式的精细的图像标注作为监督信息，对图像进行标注时将会耗费大量的人力成本。随着近年来大数据的迅速发展，面对海量的视觉数据和越来越复杂的业务，通过人工标注来获取训练数据在很多情况下已经不可行。为了减少人工标注的工作量，出现了弱监督目标检测技术；弱监督目标检测使用弱化的监督信息进行学习，即模型仅需要图片的类别标注就可以学习目标检测，而不需要标注目标的矩形包围框，大大降低了人工标注的难度。而且网络中有大量的包含类别标注的图像，这使模型从海量数据中学习目标检测成为可能。目前最先进的弱监督目标检测模型，在准确率上已经接近经典的有监督目标检测模型，如RCNN。因为需要更少的监督信息，弱监督目标检测模型能够使用更大规模的数据来进行训练，因此在某些情况下，其准确率要优于有监督目标检测模型。目前主流的目标检测系统，以有监督目标检测模型为主，需要用户提供图像以及精细的标注作为训练数据，而用户在标注数据时需要耗费大量的人力，且提供的数据量有限，训练出的模型在准确率上未必能满足用户的需求。
技术实现思路
本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于弱监督学习的用户定制化目标检测方法、系统和存储介质，可以定制化地从线上图库中爬取数据并训练目标检测模型，并将复杂的计算过程放到服务器进行，同时满足易用性和快速性的要求。为了达到上述目的，本专利技术采用以下技术方案：本专利技术一方面提出了一种基于弱监督学习的用户定制化目标检测方法，包括下述步骤：构建目标检测架构，所述目标检测架构包括客户端和服务端，所述客户端采用PyQT设计，用于与服务端交互、采集网络数据及过滤不良数据；所述服务端使用tornado搭建，用于接收用户上传数据、创建目标检测模型、训练模型、存储模型、存储训练数据和检测结果，所述服务器数据库使用MySQL管理，用于图像数据、标注数据和模型的存储，所述目标检测模型使用Pytorch搭建；在客户端上传训练所需的图像数据和图像类别标注数据，服务端根据标注类别数构建WSDDN-PCL弱监督目标检测模型；服务端使用用户上传的图像和标注数据训练弱监督目标检测模型，训练好的模型保存在服务端；在客户端上传需要检测的图像数据，服务端加载训练好的目标检测模型，并对用户上传的图像数据进行检测，将检测结果存储在服务端；用户从服务端下载检测结果，完成目标检测任务。优先的，所述客户端采用PyQT设计，具体为：项目设计，所述项目设计包括创建项目和打开项目，若选择创建项目，则服务端生成项目文件夹用于管理新项目；若选择打开项目，则选择要打开某一具体项目；模型检测，所述模型检测包括模型训练和目标检测；当选择模型训练，服务端自动生成模型并进行训练，训练好的模型被保存到服务端并由用户命名；当选择目标检测，则选择已经训练好的模型版本，并选择一个测试集，最终服务端会将测试集的图像数据输入所选模型进行目标检测，并输出结果到服务端；数据传输，所述数据传输包括上传训练集、上传测试集和下载检测结果；若选择上传训练集，则用户从本地文件中选择训练集后上传，上传的数据集将被合并到该项目的训练集中，一个项目只能有一个训练集；若选择上传测试集，则用户从本地文件中选择测试集，命名后上传，一个项目可有多个测试集；若选择下载检测结果，则用户从服务端中下载模型的检测结果；数据爬取，输入检测和爬取数量，自动从网络图库中爬取相关图像，爬取结果将展示在界面中，过滤数据之后，并输入该数据集的分类标签并为数据集命名，将数据集上传至服务端。优先的，所述所述服务端使用tornado搭建，所述服务端用于训练模型和目标检测；训练模型时，服务端分配GPU和内存资源，导入客户端指定的训练集，生成模型并训练，训练好的模型将保存于服务端并由相应项目管理；进行目标检测时，服务端分配GPU和内存资源，导入客户端指定的模型和测试集并执行目标检测，目标检测的结果将保存于服务端并由相应项目管理。优先的，所述图像数据和图像类别标注数据从本地上传；或者使用图像自动采集功能从互联网图库中收集图像数据，用户在数据采集模块中输入关键字和采集数量，由系统从互联网图库中爬取相关图像，爬取结果将以略缩图形式展示给用户，并剔除不良数据，完成图像爬取后，为爬取到的数据集命名，作为该数据集的类别标注。优先的，使用ResNet-50模型作为提取图片特征的主干网络，网络在ImageNet分类数据集上经过预训练。训练时，使用Adam优化算法来优化网络参数。优先的，所述WSDDN-PCL弱监督目标检测模型是在传统的以MIL方式为基础的弱监督目标检测模型上，增加了多层自训练的细化网络层，最终将多层细化网络层的输出取均值，作为模型的输出。优先的，所述WSDDN-PCL弱监督目标检测模型在训练时，记录训练集每轮迭代的平均损失，并返回在最后一轮中损失较高的图像及其标注，由用户判断是否为不良数据或错误标注，并由用户清除或修改标注。用户将决定是否重新训练或者继续训练。模型训练完成后，将存储在服务器中；用户进行目标检测时，选择相应的项目和模型版本，将待检测图像上传至服务端，服务端加载模型并进行检测，检测完成后，结果将存储于服务端，用户通过客户端下载图像检测结果。优先的，模型输出的结果包括图像以及将图像中目标所包围的矩形标注框，标注框中包括目标类别及其置信度。本专利技术的另一方面还提出了一种基于弱监督学习的用户定制化目标检测系统，应用于所述的基于弱监督学习的用户定制化目标检测方法，包括目标检测架构构建模块、弱监督目标检测模型构建模块、训练模块、检测模块以及下载模块；所述目标检测架构构建模块，用于构建目标检测架构，所述目标检测架构包括客户端和服务端，所述客户端采用PyQT设计，用于与服务端交互、采集网络数据及过滤不良数据；所述服务端使用tornado搭建，用于接收用户上传数据、创建目标检测模型、训练模型、存储模型、存储训练数据和检测结果，所述服务器数据库使用MySQL本文档来自技高网...

【技术保护点】
1.基于弱监督学习的用户定制化目标检测方法，其特征在于，包括下述步骤：/n构建目标检测架构，所述目标检测架构包括客户端和服务端，所述客户端采用PyQT设计，用于与服务端交互、采集网络数据及过滤不良数据；所述服务端使用tornado搭建，用于接收用户上传数据、创建目标检测模型、训练模型、存储模型、存储训练数据和检测结果，所述服务器数据库使用MySQL管理，用于图像数据、标注数据和模型的存储，所述目标检测模型使用Pytorch搭建；/n在客户端上传训练所需的图像数据和图像类别标注数据，服务端根据标注类别数构建WSDDN-PCL弱监督目标检测模型；/n服务端使用用户上传的图像和标注数据训练弱监督目标检测模型，训练好的模型保存在服务端；/n在客户端上传需要检测的图像数据，服务端加载训练好的目标检测模型，并对用户上传的图像数据进行检测，将检测结果存储在服务端；/n用户从服务端下载检测结果，完成目标检测任务。/n

【技术特征摘要】
1.基于弱监督学习的用户定制化目标检测方法，其特征在于，包括下述步骤：
构建目标检测架构，所述目标检测架构包括客户端和服务端，所述客户端采用PyQT设计，用于与服务端交互、采集网络数据及过滤不良数据；所述服务端使用tornado搭建，用于接收用户上传数据、创建目标检测模型、训练模型、存储模型、存储训练数据和检测结果，所述服务器数据库使用MySQL管理，用于图像数据、标注数据和模型的存储，所述目标检测模型使用Pytorch搭建；
在客户端上传训练所需的图像数据和图像类别标注数据，服务端根据标注类别数构建WSDDN-PCL弱监督目标检测模型；
服务端使用用户上传的图像和标注数据训练弱监督目标检测模型，训练好的模型保存在服务端；
在客户端上传需要检测的图像数据，服务端加载训练好的目标检测模型，并对用户上传的图像数据进行检测，将检测结果存储在服务端；
用户从服务端下载检测结果，完成目标检测任务。


2.根据权利要求1所述基于弱监督学习的用户定制化目标检测方法，其特征在于，所述客户端采用PyQT设计，具体为：
项目设计，所述项目设计包括创建项目和打开项目，若选择创建项目，则服务端生成项目文件夹用于管理新项目；若选择打开项目，则选择要打开某一具体项目；
模型检测，所述模型检测包括模型训练和目标检测；当选择模型训练，服务端自动生成模型并进行训练，训练好的模型被保存到服务端并由用户命名；当选择目标检测，则选择已经训练好的模型版本，并选择一个测试集，最终服务端会将测试集的图像数据输入所选模型进行目标检测，并输出结果到服务端；
数据传输，所述数据传输包括上传训练集、上传测试集和下载检测结果；若选择上传训练集，则用户从本地文件中选择训练集后上传，上传的数据集将被合并到该项目的训练集中，一个项目只能有一个训练集；若选择上传测试集，则用户从本地文件中选择测试集，命名后上传，一个项目可有多个测试集；若选择下载检测结果，则用户从服务端中下载模型的检测结果；
数据爬取，输入检测和爬取数量，自动从网络图库中爬取相关图像，爬取结果将展示在界面中，过滤数据之后，并输入该数据集的分类标签并为数据集命名，将数据集上传至服务端。


3.根据权利要求1所述基于弱监督学习的用户定制化目标检测方法，其特征在于，所述所述服务端使用tornado搭建，所述服务端用于训练模型和目标检测；训练模型时，服务端分配GPU和内存资源，导入客户端指定的训练集，生成模型并训练，训练好的模型将保存于服务端并由相应项目管理；进行目标检测时，服务端分配GPU和内存资源，导入客户端指定的模型和测试集并执行目标检测，目标检测的结果将保存于服务端并由相应项目管理。


4.根据权利要求1所述基于弱监督学习的用户定制化目标检测方法，其特征在于，所述图像数据和图像类别标注数据从本地上传；
或者使用图像自动采集功能从互联网图库中收集图像数据，用户在数据采集模块中输入关键字和采集数量，由系统从互联网图库中爬取相关图像，爬取结果将...

【专利技术属性】
技术研发人员：郑伟诗，罗京，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44