一种基于深度学习的门店招牌信息提取的方法技术

本发明专利技术提出了一种基于深度学习的门店招牌信息提取的方法，该方法具体包括如下步骤：获取供构建深度学习模型数据并划分数据集；改进特征提取结构，并增强金字塔特征，进一步构建用于门店招牌信息提取的模型；训练并验证该目标检测模型，获得最佳检测模型权重文件；导入待检测的目标影像，检测其位置以及根据预设阈值输出目标检测结果。通过深度学习目标检测结合门店招牌的检测，生成的模型较小，有利于部署移植到边缘设备进行结果计算，从而提高巡检人员的工作效率，减少成本。。。

【技术实现步骤摘要】
一种基于深度学习的门店招牌信息提取的方法


[0001]本专利技术属于工业视觉与智慧城市的
，具体涉及一种基于深度学习的门店招牌信息提取的方法。

技术介绍

[0002]早期的城市基础设施信息主要是实地勘测形式进行统计并汇总。虽然数据较为精确，但在大范围的城市基础设施信息调查时，这种方式需要耗费极其昂贵的时间成本与物力成本，并且获得的结果具有滞后性，利用价值大大降低。门店招牌建设信息是最重要的城市基础设施信息之一，其对于城市市容市貌管理、城市经济发展分析、城市三维重建等工作均具有重要价值。
[0003]为了高效获得地物目标信息，国内外学者主要采用两种方式。一是面向对象方法。该方法利用图像分割算法对具有相似特征的像素点进行聚类，形成分割区域单元，再利用图像分类算法。但传统方法在分割及分类中依赖于影像的光谱信息、纹理信息，即基于像元的同质性，自底向上聚合形成影像对象。门店招牌作为识别目标，其规格尺寸以及颜色渲染千差万别，这无疑会导致空间异质性大，门店招牌信息提取困难加大。而在技术方法层面，分割分类获取影像对象的方法本质上没有考虑影像所具有的形态信息、上下文语义信息等高层特征，是基于光谱特征的像素聚合，而没有充分利用街景影像所具有的其他特征。因此，传统方法所获得的对象单元与人们对实际目标地物的形态认知往往并不匹配，进而导致对象级的分类结果无法转换成具有实际实体意义的解译成果。二是深度学习方法。该方法以数据驱动决策、自我迭代优化为主，通过深度网络的表示学习可以在语义图像分析中进行多级抽象，这使得其在遥感应用中性能远超传统方法。例如针对遮挡和小目标问题，徐等人使用具有排斥力的损失函数Rep Loss以解决目标遮挡问题，并对两种尺度的目标使用尺度感知双路子网络分别进行检测，最后在推理末端将进行感知融合。针对多变量下的被透视面板遮盖目标的定位问题，Morera等人使用自标注数据集，通过多种数据增强方式，并结合使用 localization loss等损失函数。针对低分辨率条件下，部分遮挡的目标检测问题，李林升人设计候选框尺寸，生成9种不同的候选区域，增加了模型对不同特征的识别能力，并在原始的RPN基础上再加入了两种滑动窗口，提高了模型信息摄取范围。
[0004]意图采用一种固有深度学习模型实现影像中不同种类目标的分类与提取，始终无法达到人工目视解译的效果，即每一类目标都需按照其特定的视觉特征分别设计深度学习的提取算法。本专利技术借助YOLOv5检测精度高、推理速度快的优势，提出了一种矩形特征约束条件下，集位置注意、拓扑重建于一体的门店招牌信息提取网络。

技术实现思路

[0005]为了解决采用传统的人工巡检门店招牌信息，费时费力且费用高等问题，本专利技术提供一种基于深度学习的门店招牌信息提取的方法，以解决现有存在的技术缺陷问题。
[0006]本专利技术提出了一种基于深度学习的门店招牌信息提取的方法，该方法具体包括如
下步骤：
[0007]S1：获取供构建深度学习模型数据并划分数据集；
[0008]S2：改进特征提取结构，并增强金字塔特征，进一步构建用于门店招牌信息提取的模型；
[0009]S3：训练并验证该目标检测模型，获得最佳检测模型权重文件；
[0010]S4：导入待检测的目标影像，检测其位置以及根据预设阈值输出目标检测结果。
[0011]通过深度学习目标检测方法，生成的模型较小，有利于部署移植到边缘设备进行结果计算，从而提高巡检人员的工作效率，减少成本。
[0012]进一步的，步骤S1主要包括以下步骤：
[0013]S11、整理数据，只考虑正视视角成像的目标作为初始数据；
[0014]S12、导入初始数据，通过标注软件LabelImg手动画框，以标注门店招牌的位置信息，进行目标检测的信息标注，并按照格式<object
‑
class
‑
ID><X中心><Y 中心><框宽><框高>表示标注的文本文件；
[0015]S13、将获得的VOC格式的数据集转换为TXT格式，进一步按照比例8:1:1 划分为训练集、验证集、测试集，获得最终训练所需的数据集。
[0016]进一步的，所述深度学习模型基于YOLOv5目标检测模型构建。
[0017]进一步的，步骤S2主要包括以下步骤：
[0018]S21、针对门店招牌的多尺度矩形特征，集成SP模块和PSA模块，形成一种多尺度矩形特征约束，在保证多尺度感知性能基础上，进一步搭建MFSPP模块提升模型泛化能力；
[0019]S22、针对门店招牌空间分布特点，引入Coordconv layer提高影像中间位置关注度，减少其他位置相似地物的干扰；通过集成CoT模块重建拓扑关系，解决遮挡引起的目标碎片化问题；
[0020]S23、针对特征从网络高层次传播到低层次出现的弱化问题，引入CBAM进行特征增强，保证特征利用的充分性、准确性。
[0021]进一步的，步骤S3主要包括以下步骤：
[0022]S31、设置预训练模型路径，数据集读取路径，进一步设置训练迭代次数以及传入图片的大小，其他参数选项设置为默认，开始进行训练该目标模型；
[0023]S32、可视化训练过程并查看与模型相关指标的变化曲线；
[0024]S33、训练完成后，对比查看并保存最好的目标模型并输出至指定路径；
[0025]S34、对测试样本在训练好的目标模型上进行预测推理，以对目标模型进行验证。
[0026]有益效果：一种基于深度学习的门店招牌信息提取的方法与现有技术相比，具有如下优势：
[0027](1)通过深度学习目标检测方法，生成的模型较小，有利于部署移植到边缘设备进行结果计算，从而提高巡检人员的工作效率，减少成本；
[0028](2)通过单阶段的目标检测模型，有效地提升了预测推理的速度。
附图说明
[0029]本专利技术的内容的描述与下面附图相结合将变得明显和容易理解，其中：
[0030]图1为本专利技术具体实施方式中基于深度学习的门店招牌信息提取的方法的流程示
意图；
[0031]图2为本专利技术具体实施方式中基于深度学习的门店招牌信息提取的方法的整体流程示意图；
[0032]图3
‑
1、3
‑
2分别为本专利技术具体实施方式基于深度学习的门店招牌信息提取的方法中筛选有效数据存到数据集、数据集按标签标注的示意图；
[0033]图4
‑
1～4
‑
9分别为本专利技术具体实施方式基于深度学习的门店招牌信息提取的方法中改进YOLOv5目标检测模型的整体架构、CoordConv模块、SP模块、CoT 模块、PSA模块、C3_P中BottleNeck模块、MFSPP模块、C3_SC中 Bottl本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的门店招牌信息提取的方法，其特征在于，包括如下步骤：S1：获取供构建深度学习模型数据并划分数据集；S2：改进特征提取结构，并增强金字塔特征，进一步构建用于门店招牌信息提取的模型；S3：训练并验证该目标检测模型，获得最佳检测模型权重文件；S4：导入待检测的目标影像，检测其位置以及根据预设阈值输出目标检测结果。2.根据权利要求1所述的一种基于深度学习的门店招牌信息提取的方法，其特征在于，在S1中具体还包括：S11、整理数据，只考虑正视视角成像的目标作为初始数据；S12、导入初始数据，通过标注软件LabelImg手动画框，以标注门店招牌的位置信息，进行目标检测的信息标注，并按照格式<object
‑
class
‑
ID><X中心><Y中心><框宽><框高>表示标注的文本文件；S13、将获得的VOC格式的数据集转换为TXT格式，进一步按照比例8:1:1划分为训练集、验证集、测试集，获得最终训练所需的数据集。3.根据权利要求2所述的一种基于深度学习的门店招牌...

【专利技术属性】
技术研发人员：戴激光，谷越，张子恩，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：