图像对象检测分类方法及系统技术方案

本发明专利技术提供图像对象检测分类方法，包括如下步骤：对位于真实框的第一锚点进行缩放移位来在第二卷积特征图上生成第二锚点；通过第二次卷积对第二卷积特征图进行卷积来生成第三卷积特征图；判断真实框与单个第二锚点的重叠率是否为基准值以上；对重叠率为基准值以上的第二锚点进行缩放移位来生成第三锚点；对第三锚点赋予对象性分数；以及将对象性分数为基准值以上的第三锚点作为建议在第三卷积特征图上提议

【技术实现步骤摘要】
【国外来华专利技术】图像对象检测分类方法及系统


[0001]本专利技术涉及使用卷积神经网络(CNN，Convolutional Neural Network)提议与测试图像上的至少一个对象相对应的至少一个边界框来检测图像对象并进行分类的方法及系统。

技术介绍

[0002]在机器学习中，卷积神经网络(CNN，Convolutional Neural Network)作为一种人工神经网络，广泛应用于视觉影像分析领域。
[0003]随着搜索引擎功能的发展，用户需要更快、更强大的搜索引擎。而且，随着摄像技术及搜索功能的提高，图像搜索逐渐变得普遍。通常，在图像搜索中，对象检测通过使用卷积神经网络执行。在部分模型中，为了提高对象检测(object detection)的精确度，通过成对结合卷积神经网络(convolutional neural network)和选择性搜索(selective search)来生成建议图像。
[0004]最近，应用于自动驾驶、机器人工学及监控(surveillance)的对象检测功能备受瞩目。随着输出图像，对象检测器(object detector)以检测已知对象实例为目的，各个对象分配在边界框(bounding box)和类标签(class label)。最近，作为高性能对象检测器的Faster R
‑
CNN等通过二级管线执行检测问题。在第一步骤中，区域建议网络(RPN，Region Proposal Network)对锚点集进行改进(refine)及整理来生成稀少的建议框集，在第二步骤中，基于区域的卷积神经网络(R
‑
CNN)检测器对区域建议网络生成的建议进行改进及分类。然而，相比于基于区域的卷积神经网络，区域建议网络在性能层面上的提升相对较少。

技术实现思路

[0005]技术问题
[0006]本专利技术的目的在于，解决因凭经验定义锚点并将功能对准锚点而产生的限制，从而改善区域建议网络。
[0007]技术方案
[0008]本专利技术包括用于更快更准确地对图像中的对象进行检测及分类的系统、方法及计算机可读介质。在部分结构中，计算机装置可接收图像。
[0009]本专利技术实施例提供的图像对象检测分类方法包括如下步骤：接收输入图像来生成第一卷积特征图；通过第一次卷积将第一卷积特征图转换为第二卷积特征图；对输入图像的各个点生成第一锚点；判断第一锚点是否位于真实框；对位于真实框的第一锚点进行缩放移位来在第二卷积特征图上生成第二锚点；通过第二次卷积对第二卷积特征图进行卷积来生成第三卷积特征图；判断真实框与单个第二锚点的重叠率是否为基准值以上；对重叠率为基准值以上的第二锚点进行缩放移位来生成第三锚点；对第三锚点赋予对象性分数；以及将对象性分数为基准值以上的第三锚点作为建议在第三卷积特征图上提议。
[0010]本专利技术实施例的图像对象检测分类方法还包括如下步骤：通过第三次卷积对第三
卷积特征图进行卷积来生成第四卷积特征图；判断真实框与单个第三锚点的重叠率是否为基准值以上；对重叠率为基准值以上的第三锚点进行缩放移位来生成第四锚点；对第四锚点赋予对象性分数；以及将对象性分数为基准值以上的第四锚点作为建议在第四卷积特征图上提议。
[0011]本专利技术实施例的图像对象检测分类方法还包括如下步骤：确定候选对象的类别；以及对候选对象的类别赋予可靠度分数。
[0012]本专利技术实施例提供的图像对象检测及分类系统包括：处理器；以及计算机可读介质，存储有使得处理器执行对象检测及分类网络的指令，对象检测及分类网络包括：初始处理模块，输入图像并生成卷积特征图；以及对象建议模块，生成与图像中的候选对象相对应的提议，对象建议模块执行如下步骤：通过第一次卷积将第一卷积特征图转换为第二卷积特征图；对输入图像的各个点生成第一锚点；判断第一锚点是否位于真实框；对位于真实框的第一锚点进行缩放移位来在第二卷积特征图上生成第二锚点；通过第二次卷积对第二卷积特征图进行卷积来生成第三卷积特征图；判断真实框与单个第二锚点的重叠率是否为基准值以上；对重叠率为基准值以上的第二锚点进行缩放移位来生成第三锚点；对第三锚点赋予对象性分数；以及将对象性分数为基准值以上的第三锚点作为建议在第三卷积特征图上提议。
[0013]在本专利技术实施例提供的图像对象检测及分类系统中，对象建议模块执行如下步骤：通过第三次卷积对第三卷积特征图进行卷积来生成第四卷积特征图；判断真实框与单个第三锚点的重叠率是否为基准值以上；对重叠率为基准值以上的上述第三锚点进行缩放移位来生成第四锚点；对第四锚点赋予对象性分数；以及将对象性分数为基准值以上的第四锚点作为建议在第四卷积特征图上提议。
[0014]本专利技术实施例的图像对象检测及分类系统还包括建议分类器，用于确定候选对象的类别，对候选对象的类别赋予可靠度分数。
[0015]本专利技术实施例的图像对象检测及分类系统还包括机器学习模块，为了在训练图像上生成至少一个建议而训练初始处理模块和对象建议模块的至少一个参数，为了分别对训练图像上的至少一个建议赋予类别而训练建议分类器模块的至少一个参数。
[0016]专利技术的效果
[0017]本专利技术具有如下效果。
[0018]本专利技术可获取与图像上的对象相对应的高精确度边界框。
[0019]并且，本专利技术可在维持回归框与卷积特征图的对准规则的同时进行锚点提议。
[0020]并且，本专利技术对每个点使用一个锚点来减少锚框数量，由此，可提高神经网络的速度及对象识别的精确度。
附图说明
[0021]图1为示出对象检测及分类网络可工作的示例环境的框图。
[0022]图2为示出可访问对象检测及分类网络的示例性计算装置的框图。
[0023]图3为示出对象检测及分类网络的示例进程的流程图。
[0024]图4为示出图1所示的对象检测及分类网络的进程架构示例的数据流程图。
[0025]图5为图1至图2所示的对象检测及分类网络所使用的普通区域建议网络的例示
图。
[0026]图6为简要示出级联区域建议网络(RPN)的结构的例示图。
[0027]图7为示出空洞卷积感受野的概念图。
[0028]图8为示出对象检测及分类网络的进程的流程图。
[0029]图9为示出为了对图像中的对象进行检测及分类而训练对象检测网络的一个以上参数的进程的流程图。
具体实施方式
[0030]本专利技术的优点、特征及其实现方法可参照结合附图一并详细说明的实施例变得更加明确。但是，本专利技术并不限定于以下公开的实施例，可通过不同实施方式实现，本实施例仅用于本专利技术的公开变得完整，以便本专利技术所属
的普通技术人员能够完全理解本专利技术的范畴，本专利技术仅限定于专利技术要求保护范围的范畴。因此，为了避免对本专利技术的说明变得模糊，将详细说明多个实施例。在说明书的全文内容中，相同附图标记表示相同结构要素。
[0031]在本说明书中，除非另有定义，否则在此使用的所有术语(包括技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像对象检测分类方法，其特征在于，包括如下步骤：接收输入图像来生成第一卷积特征图；通过第一次卷积将第一卷积特征图转换为第二卷积特征图；对上述输入图像的各个点生成第一锚点；判断上述第一锚点是否位于真实框；对位于上述真实框的上述第一锚点进行缩放移位来在上述第二卷积特征图上生成第二锚点；通过第二次卷积对上述第二卷积特征图进行卷积来生成第三卷积特征图；判断上述真实框与单个上述第二锚点的重叠率是否为基准值以上；对重叠率为基准值以上的上述第二锚点进行缩放移位来生成第三锚点；对上述第三锚点赋予对象性分数；以及将上述对象性分数为基准值以上的第三锚点作为建议在上述第三卷积特征图上提议。2.根据权利要求1所述的图像对象检测分类方法，其特征在于，还包括如下步骤：基于上述对象性分数从上述点识别候选对象。3.根据权利要求1所述的图像对象检测分类方法，其特征在于，还包括如下步骤：通过第三次卷积对上述第三卷积特征图进行卷积来生成第四卷积特征图；判断上述真实框与单个上述第三锚点的重叠率是否为基准值以上；对重叠率为基准值以上的上述第三锚点进行缩放移位来生成第四锚点；对上述第四锚点赋予对象性分数；以及将上述对象性分数为基准值以上的上述第四锚点作为建议在上述第四卷积特征图上提议。4.根据权利要求2所述的图像对象检测分类方法，其特征在于，还包括如下步骤：确定上述候选对象的类别；以及对上述候选对象的类别赋予可靠度分数。5.根据权利要求1所述的图像对象检测分类方法，其特征在于，上述第一次卷积为空洞卷积。6.根据权利要求1所述的图像对象检测分类方法，其特征在于，上述第二次卷积为自适应卷积。7.一种图像对象检测及分类系统，其特征在于，包括：处理器；以及计算机可读介质，存储有使得上述处理器执行对象检测及分类网络的指令，上述对象检测及分类网络包括：初始处理模块，输入图像并生成卷积特征图；以及对象建议模块，生成与图像中的候选对象相对应的提议，上...

【专利技术属性】
技术研发人员：柳昌东，武镗，范春忠，张玹准，
申请(专利权)人：韩国科学技术院，
类型：发明
国别省市：