一种联合量子随机数与深度学习SAR实例分割方法技术

本发明专利技术公开了一种联合量子随机数与深度学习SAR实例分割方法，它是通过利用量子随机数实现对原始SAR图像样本进行数据增强操作，提升了SAR图像数据样本增强的随机性和均匀性；通过在SAR图像目标层进行语义分割时结合上下文信息流实现对SAR图像的深层特征提取，提升了对SAR图像进行实例分割效率；通过融合损失函数并利用该函数进行反向传播来优化算法的模型参数，提升了对SAR图像实例分割的精度。可避免现有SAR图像实例分割算法缺少图像语义的上下文信息，导致目标检测位置不准等问题，提升了SAR图像实例分割的精度和效率。本发明专利技术适用于SAR图像分割，也适用于其他的遥感图像、光学图像的实例分割。光学图像的实例分割。光学图像的实例分割。

【技术实现步骤摘要】
一种联合量子随机数与深度学习SAR实例分割方法


[0001]本专利技术属于深度学习、图像处理和量子信息
，尤其涉及利用量子随机数进行数据增强，并且利用深度学习实现高效合成孔径雷达(Synthetic Aperture Radar, SAR)图像实例分割的


技术介绍

[0002]SAR作为一种主动式微波遥感技术，能够全天时、全天候的开展观测。目前在海洋环境监测与权益维护、灾害监测与评估、水资源评价管理、气象研究及其他多个领域得到了广泛应用。实例分割是在目标检测的基础上进一步细化，分离对象的前景与背景，实现像素级别的对象分离。图像实例分割在目标检测、人脸检测、表情识别、医学图像处理与疾病辅助诊断、视频监控与对象跟踪、零售场景的货架空缺识别等场景下均有应用。针对SAR图像目标检测和实例分割的
，近年来已有基于深度卷积神经网络的Faster R
‑
CNN、YOLO、Retina Net等算法应用于实际系统，详见文献：“钱坤,李晨瑄,陈美杉,郭继伟,潘磊.基于改进Swin Transformer的舰船目标实例分割算法[J].系统工程与电子技术:1
‑
12[2022
‑
07
‑
16]”。
[0003]但是现有算法普遍存在弊端：由于SAR图像需要利用遥感卫星、高空侦察飞机等高成本方式获取，因此训练模型所需样本图像在数量和规模上往往不能满足需求，同时图像背景较为单一，这是目前限制算法识别能力提升的一大瓶颈。虽然已有数据增强技术即对原始样本图像进行随机的翻转、旋转、平移、对比度调整、缩放和添加高斯噪声等方式来进行样本图像增强。但上述操作中使用的随机数多为确定性的软件算法产生的伪随机数，该伪随机数本质上是存在周期性和规律性，进而使得增强后样本图像存在偏置。当模型训练使用这种带有偏置的增强样本数据时，训练易出现“过拟合”，使得模型的泛化性能差、鲁棒性不足，从而导致模型检测精度低下。并且现有SAR图像实例分割模型普遍主要是在目标层面利用语义分割方法进行像素级别预测，同时结合已有目标检测方法对检测目标进行定位、分类和实例分割。但该类方法没有对语义信息进行深度挖掘，易于将目标分割为水平或旋转的封闭矩形区域，而忽略其特征轮廓和边界，容易出现分割的掩膜不完整、掩膜位置不准确、掩膜丢失以及掩膜混叠等现象，最终导致分割的精度不高。因此要如何确保数据增强后的SAR图像样本数据集均匀和无偏，以及怎样构建一个精确度更高的模型算法是目前亟待解决的技术问题。
[0004]针对上述问题，本专利技术创新性地提出了一种联合量子随机数增强与深度学习的SAR实例分割的感兴趣区域增强网络（Region of Interest Enhancement Network，RoIENet），能够高效、准确地实现对SAR图像进行实例分割。

技术实现思路

[0005]本专利技术属于深度学习、图像处理以及量子信息技术的交叉
，公开了一种联合量子随机数与深度学习的SAR实例分割算法，可以避免现有SAR图像数据增强方法存在
的非均匀性和偏置以及现有SAR图像实例分割算法在目标层语义分割过程中因缺少上下文信息造成的实例分割精度不高，效率低下等缺点。本专利技术的核心贡献主要有：（1）采用量子随机数实现对SAR图像样本数据增强，提升了SAR图像样本的随机性和均匀性；（2）提出在进行SAR图像的目标层语义分割时结合上下文信息流实现对SAR图像深层特征提取，提升了对SAR图像实例分割的效率；（3）提出融合损失函数并利用该函数进行反向传播来优化实例分割算法的模型参数，提升了对SAR图像实例分割的精度。
[0006]本专利技术不仅适用于SAR图像的实例分割，也适用于对其他遥感图像和光学图像进行实例分割。
[0007]为了方便描述本专利技术的内容，首先作以下术语定义。
[0008]定义1：COCO数据集格式；
[0009]MSCOCO数据集是微软公司于2014年发布的图像数据集，该数据集标注类型对应任务包括物体检测、关键点检测、实例分割、stuff分割（没有特定形状的物体），全景分割人体关键点，人体密度检测等。在该数据集中对每张图片以COCO(common Objects in Context)格式进行存储，该格式的主要特点是：预测结果格式以列表形式保存，列表的每个元素对应一个检测目标（元素都是字典类型），每个目标主要记录四个信息：预测目标所属图像ID号、预测目标类别索引、预测目标边界框和预测目标概率，详细可参考https://www.microsoft.com/en
‑
us/research/publication/microsoft
‑
coco
‑
common
‑
objects
‑
in
‑
context/。
[0010]定义2：传统数据集增强方法；为了增强训练的模型对于数据的鲁棒性，防止模型出现过拟合，对训练数据采用数据增强的方法，采用旋转、缩放、翻转、颜色变化、灰度化和裁剪等方法对训练数据集进行数据扩充。其主要方法有如下：翻转变换(flip)：沿着水平或者垂直方向翻转图像；平移变换(shift)：在图像平面上对图像以一定方式进行平移；灰度调整：也就是先将彩色图像的RGB三通道值变为单通道值，成为灰度图像，然后对灰度图像的灰度值随机进行调整；旋转 (Rotation)：随机旋转图像一定角度; 改变图像内容的朝向；裁剪：从原始图像中随机裁剪出原图像的部分；添加噪声(noise)：对图像的每个像素RGB加入随机的具有一定分布特征的噪声, 常用的是添加高斯分布噪声。
[0011]传统数据集增强方法详细内容见“https://zh.wikipedia.org/wiki/”。
[0012]定义3：传统量子随机数及生成方法；量子随机数发生器(quantum random number generator, QRNG )是一种从量子物理系统中测量量子力学固有不确定性并输出真随机数的一种仪器或者装置，其随机性来自于QRNG系统中固有的物理随机过程，由量子力学基本原理所保证的，通过量子随机数发生器获得的随机数即为量子随机数，详细可参考“Behar
‑
Cohen F F, Sapodilla M, Parel J M, et al. Quantum random number generator. Proc Spie, 2006, 78(4):54
‑
60”。
[0013]目前产生量子随机数的技术方案有很多，比较典型的有光子路径选择、光子数分辨、真空态噪声、激光相位噪声、拉曼散射方案和放大自发辐射方案等，可以根据需求搭建
合适的物理系统从而获得量子随机数，具体量子随机数技术实现方案可参考“聂友奇, 张军. 实用化量子随机数发生器研究进展. 信息安全研究, 2017, 3(1):5.
ꢀ”
。
[0014]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合量子随机数与深度学习SAR实例分割方法，其特征是它包括以下步骤：步骤1、构建初始SAR图像训练数据集和测试数据集；采用具有船舶和水平边界框注释的公开SAR舰船检测数据集SSDD数据集；将该SSDD数据集以时间顺序按照7：3的比例分为训练数据集和测试数据集两部分，然后将训练数据集和测试数据集中的图像和图像标注按照COCO格式进行格式转换，得到具有812张的SAR图像训练数据集记为Train，得到具有384张的SAR图像测试数据集记为Test；步骤2、利用量子随机数对初始SAR图像数据集进行增强；采用量子随机数生成方法生成一组量子随机数序列，记为N；采用传统数据集增强方法，利用量子随机数序列N对步骤1中得到的训练数据集Train和测试数据集Test进行数据增强操作，得到增强后的SAR图像训练数据集记为Train_Exp，得到增强后的SAR图像测试数据集记为Test_Exp；步骤3、利用深度残差网络对SAR图像主干特征进行提取；采用全连接层构建方法构建SAR图像主干特征提取的全连接层，记为FC；采用传统深度残差网络ResNet34构建方法构建SAR图像主干特征提取的残差网络，记为E；将步骤2获得的SAR图像训练数据集Train_Exp输入残差网络E进行主干特征提取，提取SAR图像的主干特征图，记为；然后计算残差网络E的损失函数，得到更新后的残差网络，记为；步骤4、获取SAR图像的目标矩形框特征图；步骤4.1：采用感兴趣区域构建方法对步骤3得到的SAR图像主干特征图进行感兴趣区域提取，获得感兴趣区域提取后的特征图，记为；步骤4.2：采用置信度筛选方法对步骤4.1获得的特征图进行置信度筛选，筛选后生成的建议框，记为f；将建议框f和步骤3获得的主干特征进行逐像素的相加和相乘操作，得到特征图记为；采用双线性插值法对特征图进行插值运算，获得含有目标矩形框的特征图，记为；步骤5、利用池化和全连接层检测网络对SAR图像进行目标检测步骤5.1：采用平均池化运算对步骤4获得的目标矩形框特征图进行池化运算，获得的包含有检测目标的区域特征图记为，获得具有原始掩膜的特征图记为；步骤5.2：采用目标检测方法对步骤5.1中得到的目标区域特征图进行SAR图像目标检测，获得平展开的目标区域特征图记为，获得上下文信息流记为F；步骤6、采用上下文信息流提取SAR图像特征图；步骤7、利用掩膜完成多目标的实例分割；步骤8、进行SAR图像实例分割训练；步骤8.1：将步骤2中得到的训练数据集Train_Exp的所有SAR图像作为输入，进行步骤3、步骤4、步骤5、步骤6、步骤7的操作，构建实例分割网络，得到的网络记为RoIENet网络；步骤8.2：采用损失函数计算方法对步骤8.1中获得的RoIENet网络计算得到初始融合损失函数，记为；
步骤8.3：采用模型训练方法对步骤8.2获得的RoIENet网络和步骤8.2获得的进行优化训练，当最小时获得的最终网络即为最优网络，记...

【专利技术属性】
技术研发人员：樊矾，张晓玲，韦顺军，师君，胥小我，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：