一种基于多任务级联卷积网络的表盘检测方法和系统技术方案

本发明专利技术公开了一种基于多任务级联卷积网络的表盘检测方法和系统，属于目标检测技术领域。对整幅图片中的仪表盘区域进行检测并对表盘中的特征点进行检测定位，采用了多任务的学习机制，充分利用了子任务之间的关系，并行实现了检测仪表盘区域与表盘特征点定位的双重任务，并且用了一种新的在线困难样本挖掘策略，训练效果比人工选择样本更好。通过对数据集的训练生成相应的训练模型，用训练模型对测试集图片进行表盘检测与表盘特征点定位，实现了在不同背景下对表盘区域的准确检测与表盘特征点的准确定位同时轻量级的卷积神经网络设计可以达到实时检测的效果。

A dial detection method and system based on Multitask cascaded convolution network

【技术实现步骤摘要】
一种基于多任务级联卷积网络的表盘检测方法和系统
本专利技术属于目标检测
，更具体地，涉及一种基于多任务级联卷积网络的表盘检测方法和系统。
技术介绍
仪表刻度盘读数的自动提取是工业检验界研究的最深入、最广泛的课题之一。表盘仪表结构简单，维护方便，不受磁场干扰。由于其可靠性高、价格低等优点，在科学实验和工业生产中得到了广泛的应用。这些仪器的结果通常是人工获得的，费时费力，还会导致阅读错误。阅读速度变慢、效率降低、重复率提高，这些都会对结果的准确性产生显著的影响。因此，如何使用计算机系统自动准确地读出表盘仪表的结果是一个迫切需要解决的问题。卷积神经网络(CNN)具有较强的自学习和处理大规模数据的能力，应用十分广泛，在很多计算机视觉和模式识别任务中都取得了良好的性能。CNN作为最常用的深度学习方法之一，因其在目标识别、人脸信息提取、图像检索等计算机视觉领域的诸多任务上的出色表现而备受欢迎。CNN是一个端到端的学习架构，利用收集到的信息，它直接从原始数据训练描述特征，这意味着减少了设计特征的人工工作量。同时，CNN具有足够的容量和合理的模型本文档来自技高网...

【技术保护点】
1.一种基于多任务级联卷积网络的表盘检测方法，其特征在于，所述方法包括以下步骤：/nS1.选取表盘样本数据集，分别对各表盘样本的表盘框与表盘特征点进行标签标定；/nS2.基于表盘样本数据集，分别构建表盘/非表盘分类任务样本训练集、边界框回归任务样本训练集和表盘特征点坐标定位任务样本训练集；/nS3.基于表盘/非表盘分类任务样本训练集、边界框回归任务样本训练集和表盘特征点坐标定位任务样本训练集，训练多任务级联卷积网络，对表盘数据集进行表盘检测、边界框回归和表盘特征点定位，得到训练好的多任务级联卷积网络模型；/nS4.将待检表盘图片输入至训练好的多任务级联卷积网络模型，得出待检表盘图片的表盘和特征...

【技术特征摘要】
1.一种基于多任务级联卷积网络的表盘检测方法，其特征在于，所述方法包括以下步骤：
S1.选取表盘样本数据集，分别对各表盘样本的表盘框与表盘特征点进行标签标定；
S2.基于表盘样本数据集，分别构建表盘/非表盘分类任务样本训练集、边界框回归任务样本训练集和表盘特征点坐标定位任务样本训练集；
S3.基于表盘/非表盘分类任务样本训练集、边界框回归任务样本训练集和表盘特征点坐标定位任务样本训练集，训练多任务级联卷积网络，对表盘数据集进行表盘检测、边界框回归和表盘特征点定位，得到训练好的多任务级联卷积网络模型；
S4.将待检表盘图片输入至训练好的多任务级联卷积网络模型，得出待检表盘图片的表盘和特征点；
所述多任务级联卷积网络包括串联的候选卷积网络P-Net、细化卷积网络R-Net和输出卷积网络O-Net；其中，
所述P-Net用于表盘检测，其输入为表盘样本图像，输出为预测边界框；
所述R-Net用于边界框回归，其输入为表盘样本图像和P-Net网络生成的预测边界框，输出为回归框；
所述O-Net用于表盘特征点定位，其输入为表盘样本图像和R-Net网络生成的回归框，输出为定位到的表盘框和表盘特征点位置。


2.如权利要求1所述的方法，其特征在于，P-Net的训练数据主要由4部分组成，包括：1)正标签数据，即交并比IoU>0.65，表盘的损失值为0，回归框值为0；2)负标签数据，即IoU<0.4，表盘的损失值为0，回归框的值为0；3)中间数据，即0.4≤IoU≤0.65，表盘的损失值为0，回归框的值为0；4)把训练数据输入网络中，根据P-Net网络输出，最后计算总的损失值。


3.如权利要求1所述的方法，其特征在于，所述P-Net首先获取表盘候选框和边界回归变量，然后候选框通过边界框回归变量进行校正，最后用非极大值抑制算法合并高度重合的边界框。


4.如权利要求1所述的方法，其特征在于，所述R-Net通过以下步骤实现：
(1)从表盘样本图像中将边界框对应的图像裁剪出来；
(2)对裁剪图像进行R-Net表盘模型推理，得到每个边界框的分类信息和坐标回归值；
(3)对边界框进行非极大值抑制，得到需要校正的边界框；
(4)对需要校正的边界框，根据边界框的坐标回归值进行校正，得到回归框。


5.如权利要求1所述的方法，其特征在于，表盘特征点为：表盘的...

【专利技术属性】
技术研发人员：韩守东，王俊凯，郑丽君，陈阳，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42