一种基于超分辨率的小图像多目标检测方法技术

本发明专利技术公开了一种基于超分辨率的小图像多目标检测方法。该方法包括：获取原始场景的第一分辨率图像；利用可逆神经网络模型将第一分辨率图像转换为第二分辨率图像后进行传输，进而还原为第一分辨率图像，其中第二分辨率图像的分辨率低于第一分辨率图像；将还原的第一分辨率图像输入至经训练的超分辨率扩散模型，并通过随机迭代去噪过程执行超分辨率重建，输出超高分辨率图像；对所述超高分辨率图像执行目标检测，获得目标识别信息。本发明专利技术提高了低分辨率情景下的障碍物检测精度，并使得导盲设备可以长时间工作，减轻使用者负担。减轻使用者负担。减轻使用者负担。

【技术实现步骤摘要】
一种基于超分辨率的小图像多目标检测方法


[0001]本专利技术涉及自然图像处理
，更具体地，涉及一种基于超分辨率的小图像多目标检测方法。

技术介绍

[0002]目前，视障群体出行有很多不便，智能导盲的设计不仅有助于他们在出行时能较好地识别障碍物，而且为他们的日常生活带来了极大的便利。随着人工智能开始爆发，深度学习、卷积神经网络的出现使得计算机视觉在导盲应用方面逐渐颠覆依赖超声波等避障的传统导盲技术，使得复杂难以处理障碍物检测的问题得到了解决。
[0003]在现有技术中，基于深度目标检测的导盲技术通常将采集的图像上传服务器，然后用有监督或半监督的方法训练网络进行处理，再结合其他传感信息进行导盲。这类方法充分利用了深度学习处理复杂图像的优势，在一般导盲情景下，有很不错的表现。尽管通过深度学习，导盲设备能对盲人生活场景中的常见物体，如垃圾桶，椅子，人等能进行较准确地识别。然而，对于低分辨率场景来说，这类方法的检测结果却不尽人意。基于视觉的导盲技术多数是应用高分辨率下的彩色图像训练网络实现，但受限于设备因素，难以采集到高分辨率图像信息，或对高分辨率图像的检测需要较高的算力和时间。在低分辨率场景下，图像的目标特征的有效性大打折扣，包含的信息很少，不易识别物体轮廓及类别。
[0004]目前的超分辨率技术一般都是学习低分辨率到高分辨率图像的对应关系，分为图像超分辨率，特征图超分辨率和目标超分辨率，将低分辨率图像或特征图作为输入，输出高分辨率图像或特征图，与真实高分辨率图像或特征图比较。
[0005]现有的图像目标检测通常被分为两类：一类是两阶段检测器，如Faster R
‑
CNN。另一种是一阶段检测器，如YOLO、SSD。两阶段检测器具有较高的定位和目标识别精度，而一阶段检测器具有较高的推理速度。现有高性能目标检测算法，将高分辨率图片作为输入，输出目标的坐标及类别。
[0006]总体上，导盲设备的障碍物探测方法被分为传统无视觉、传统机器视觉和基于深度学习的机器视觉方法。传统无视觉只应用了超声、红外传感器，对障碍物的判断局限于方位距离，而且精度较低。传统机器视觉主要利用预先写好的算法，对图像中的目标进行特征识别，这种方法迁移能力不强，不具有智能性。基于深度学习的机器视觉方法通过数据集训练学习图像的特征，能够识别各种场景的图像，并进行目标检测，检测效果也十分不错，但这种方法需要高分辨率图像采集设备以及高性能信息传输及处理设备，在穿戴式导盲检测场景下，图像采集及处理都需考虑功耗，体积及重量等，并且由于低分辨率图像中包含的物体信息很少，这种方法难以有效检测出障碍物。

技术实现思路

[0007]本专利技术的目的是克服上述现有技术的缺陷，提供一种基于超分辨率的小图像多目标检测方法，该方法包括：获取原始场景的第一分辨率图像；利用可逆神经网络模型将第一
分辨率图像转换为第二分辨率图像后进行传输，进而还原为第一分辨率图像，其中第二分辨率图像的分辨率低于第一分辨率图像；将还原的第一分辨率图像输入至经训练的超分辨率扩散模型，并通过随机迭代去噪过程执行超分辨率重建，输出超高分辨率图像；对所述超高分辨率图像执行目标检测，获得目标识别信息。
[0008]与现有技术相比，本专利技术的优点在于，在导盲辅助检测过程中引入超分辨率结构，丰富图片信息；引入扩散概率模型，添加高分辨率图像的特征，提高低分辨率情景下的障碍物检测精度。
[0009]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0010]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0011]图1是根据本专利技术一个实施例的基于超分辨率的小图像多目标检测方法的流程图；
[0012]图2是根据本专利技术一个实施例的基于超分辨率的小图像多目标检测方法的空间结构示意图；
[0013]图3是根据本专利技术一个实施例的图像缩放模块网络结构图；
[0014]图4是根据本专利技术一个实施例的超分辨率模块网络结构图；
[0015]图5是根据本专利技术一个实施例的目标检测模块示意图。
具体实施方式
[0016]现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0017]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。
[0018]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0019]在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0020]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0021]本专利技术提供的基于超分辨率的小图像多目标检测方法整体上包括图像获取、图像缩放、超分辨率(即从低分辨率图像重建出相应的高分辨率图像)、目标检测和后处理等过程。
[0022]具体地，结合图1和图2所示，所提供的基于超分辨率的小图像多目标检测方法包括以下步骤：
[0023]步骤S110，获取原始场景图像。
[0024]例如，由头戴设备中的相机获取场景的原始图像并传给图像缩放模块。在获取图像的同时，记录设备的高度，倾斜度等位置及状态信息，以便于后续与目标位置信息一同处理成盲人可以感受的信息。
[0025]步骤S120，降低原始图像的分辨率，并将降低分辨率后的图像传输到服务器还原为原始分辨率。
[0026]在该步骤中，将原始图像输入到缩放模块，输出低分辨率图像及潜变量，一同传输到服务器端，服务器端的缩放模块将低分辨率图像及潜变量还原为原始分辨率。通过降低图像分辨率，可以减少带宽及延迟，从而降低传输成本。
[0027]例如，归一化流是强大的生成概率模型，使用可逆神经网络来学习图像重新缩放的缩小和放大。可逆神经网络用于实现隐式参数到可测量值的映射，这种映射称为前向过程。逆向过程即根据测量值得到隐式参数。由于可逆神经网络模型是双射的，因此在降尺度后能以较高的精度恢复出高分辨率图像。
[0028]图像缩放的过程示意参见图2所示，包括M1、M2和M3，其中M1的结构如图3所示，M2为卷积特征提取网络，M3为P个flow
‑
step，包括激活标准化层(Act
‑
norm)、1
×
1卷积层(1
×
1conv)、仿射耦合层(affine coupling)，y表示降低分辨率后的图像，a表示中间特征层。
[0029]在一个实施例中，训练可逆神经网络的损失函数设置为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超分辨率的小图像多目标检测方法，包括以下步骤：步骤S1：获取原始场景的第一分辨率图像；步骤S2：利用可逆神经网络模型将第一分辨率图像转换为第二分辨率图像后进行传输，进而还原为第一分辨率图像，其中第二分辨率图像的分辨率低于第一分辨率图像；步骤S4：将还原的第一分辨率图像输入至经训练的超分辨率扩散模型，并通过随机迭代去噪过程执行超分辨率重建，输出超高分辨率图像；步骤S4：对所述超高分辨率图像执行目标检测，获得目标识别信息。2.根据权利要求2所述的方法，其特征在于，将训练所述可逆神经网络模型的损失函数设置为：其中x是第一分辨率图像输入，y为第二分辨率图像输出，z是潜变量输出，x
τ
‑1是由y和z还原的第一分辨率图像，y
*
是x经过双三次线性插值得到的第二分辨率图像，是y
*
和y的像素损失，是x和x
τ
‑1的像素损失，是潜变量z的正则化，λ1，λ2，λ3是相应项的权重。3.根据权利要求1所述的方法，其特征在于，所述超分辨率扩散模型采用Unet架构，通过T个细化步骤学习将标准正态分布转换为经验数据分布。4.根据权利要求4所述的方法，其特征在于，在T个细化步骤中，所述超分辨率扩散模型从一幅纯噪声图像开始，根据学习的条件转移分布通过连续迭代使得生成的目标图像符合预设的概率分布。5.根据权利要求1所述的方法，其特征在于，所述超分辨率扩散模型的训练目标函数设置为：其中x表示低分辨率图像...

【专利技术属性】
技术研发人员：秦文健，高帅强，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：