一种基于量子图像传感器的单光子计数成像系统及方法技术方案

本发明专利技术涉及一种基于量子图像传感器的单光子计数成像系统及方法，属于图像信息处理技术领域。系统包括图像获取模块、图像预处理模块、图像去噪模块、最优参数序列决策模块和图像重建模块。首先对量子图像传感器获取的二进制观测数据统一进行预处理，获得待重建图像。然后，将训练好的深度卷积神经网络作为去噪器插入即插即用的交替方向乘子法框架中，构建单光子图像迭代重建流程。将迭代重建流程建模为马尔可夫过程，通过强化学习算法求解其中最优参数序列，将求得最优参数序列代入迭代重建流程中，得到最终的重建图像。本发明专利技术仅需一次训练便可得到用于多个过采样率下单光子图像重建的自动参数选取策略，有效实现更快的收敛速度和更好的重建质量。度和更好的重建质量。度和更好的重建质量。

【技术实现步骤摘要】
一种基于量子图像传感器的单光子计数成像系统及方法


[0001]本专利技术涉及一种基于量子图像传感器的单光子计数成像系统及方法，具体涉及一种对量子图像传感器输出二值图像进行重建的免调参即插即用方法及系统，属于图像信息处理


技术介绍

[0002]量子图像传感器是一种新型图像传感器，旨在克服像素尺寸不断缩小带来的传感器性能瓶颈问题，有限的满阱容量使生成图像具有非常低的信噪比和较小动态范围。
[0003]在传统的CMOS图像传感器中，通过在每个像素中累积大量光电子，并将这些电荷转换为电压，进而通过模数转换来生成数字图像。然而，随着像素尺寸的不断缩小，落在单个像素上的光子数量也会随之下降。在弱光或高速成像的条件下，严重的光子噪声将会使图像信噪比急剧下降，难于获取有意义的图像。量子图像传感器通过对场景进行过采样来解决这个问题，在每个单位空间中，它使用许多具有很高光子灵敏度的微小单光子探测器来捕获通常意义上单个像素所对应的光强。其中，每个单光子探测器都可以捕获该区域所对应的光强并转化为光子计数的形式，最后通过设定阈值截断光子计数值输出最终的二进制图像，该二值观测图像服从截断泊松分布。由此，量子图像传感器可以实现以非常高的帧速率计数单个光子，并具有很高的空间分辨率。在弱光信号感知探测、超远距离单光子三维成像、高速成像等方面，量子图像传感器均具有良好的发展前景。
[0004]然而，从量子图像传感器获取的数据是二值图像帧，需要通过图像重建技术来恢复图像。现有的量子图像传感器图像重建方法包括基于优化建模的传统方法和基于深度学习的方法。其中，大部分传统方法基于最大似然估计或是最大后验估计，它们需要使用梯度下降、动态规划或是一阶迭代近端优化方法来完成迭代优化，此类方法通常仅使用成像系统的前向模型及简单的人工设计先验，重建质量较差。
[0005]基于深度学习的方法利用深度卷积神经网络替代变换去噪流程中的去噪器部分或是端到端的学习整个单光子计数成像流程，将学习到的先验知识隐式的嵌入到卷积神经网络的参数中。虽然基于深度学习的方法往往可以取得较高的重建质量，但是它必须为不同任务甚至不同设置的相同任务单独训练模型，丧失了灵活性。
[0006]因此，为了达到更高成像空间分辨率、更好的单光子图像重建质量，或为了满足即插即用、具有任务间灵活迁移能力的应用需求，迫切需要一种重建质量较好、免调参即插即用的单光子计数成像技术。

技术实现思路

[0007]本专利技术目的是针对现有技术存在的缺陷和不足，为了解决现有方法通过手工制定的参数导致重建结果难以接近最优值，以及在面对不同过采样倍率的待重建输入图像时需要设计和训练单独的模型等技术问题，创造性地提出了一种基于量子图像传感器的单光子计数成像系统及方法。
[0008]为达到上述目的，本专利技术采用以下技术方案实现：
[0009]一种基于量子图像传感器的单光子计数成像方法，包括以下步骤：
[0010]步骤1：对量子图像传感器获取的原始二进制观测数据统一进行预处理，获得原始的待重建图像。
[0011]其中，数据预处理包括将过采样的二进制观测数据中每组微小光子探测器捕获的光强数据均求和为单个像素值，将不同过采样倍率下的待重建图像缩放到统一尺寸大小。
[0012]步骤2：使用干净
‑
带噪声的成对自然图像数据集作为输入，对图像去噪深度卷积网络进行训练。
[0013]具体地，图像去噪深度卷积网络采用残差U
‑
Net架构，并将可调的噪声级别图作为额外通道合并到输入中，使得单个网络能够对不同噪声强度的图像进行去噪。
[0014]步骤3：将训练好的深度卷积神经网络作为去噪器插入即插即用的交替方向乘子法框架中，构建单光子图像迭代重建的流程。
[0015]将构建的单光子图像迭代重建流程建模为一个完全可观测的马尔可夫过程，通过强化学习算法求解迭代重建流程中的最优参数序列。
[0016]所述即插即用，是一种结合了近端算法及图像去噪先验的非凸优化框架，它应用迭代优化中近端计算与图像去噪的等价性，使用现有去噪器替代一阶优化算法中的近端算子。
[0017]所述交替方向乘子法是一种一阶迭代近端优化算法，具有模块化的结构，将其结合即插即用框架，通过插入已训练好的去噪器来完成其中子问题的求解。
[0018]所述强化学习算法结合无模型强化学习和基于模型强化学习思想，可以联合优化即插即用框架下单光子图像重建模型中离散的迭代停止时间和连续的降噪强度/惩罚参数。
[0019]步骤4：利用强化学习算法学习得到的最优决策网络决定迭代重建流程中的最优参数序列，将其输入到即插即用的交替方向乘子法框架中，得到最终的重建图像。
[0020]进一步地，为实现本专利技术所述目的，本专利技术还提出了一种基于量子图像传感器的单光子计数成像系统，包括图像获取模块、图像预处理模块、图像去噪模块、最优参数序列决策模块、图像重建模块。
[0021]其中，图像获取模块，用于获取二进制观测数据。
[0022]图像预处理模块，用于对原始的二进制观测数据进行数据预处理，将不同过采样倍率下的待重建图像缩放到统一尺寸大小；
[0023]图像去噪模块，用于训练生成端到端的可插入去噪器；
[0024]最优参数序列决策模块，用于生成即插即用交替方向乘子法框架中的最优参数序列，包括离散的迭代停止时间以及连续的降噪强度和惩罚参数，从而自适应地为重建任务中不同输入图像与过采样倍率提供最优参数。
[0025]图像重建模块，用于将二进制原始观测数据迭代重建为输出图像。
[0026]上述模块之间的连接关系包括：
[0027]图像获取模块的输出端与图像预处理模块的输入端相连；图像预处理模块的输出端、图像去噪模块的输出端、最优参数序列决策模块的输出端，均与图像重建模块的输入端相连。
[0028]有益效果
[0029]本专利技术，对比现有技术，具有以下优点：
[0030]1.本专利技术有效的解决了现有方法存在的单光子图像重建质量较差的问题，以及由于现有方法需手工设定参数而导致的收敛速度较慢、重建结果很难接近理论最优值的技术问题。
[0031]2.本专利技术实现了自适应的针对不同成像条件自动选取合适的参数，同时无需复杂的网络再训练过程，具有任务间灵活迁移能力，仅需一次训练便可得到用于多个过采样倍率下单光子图像重建的自动参数选取策略，为单光子计数成像应用提供更快的收敛速度和更好的重建质量。
附图说明
[0032]图1为本专利技术方法的总体流程图；
[0033]图2为本专利技术方法的算法流程图；
[0034]图3为本专利技术系统的结构示意图。
具体实施方式
[0035]为了更好的说明本专利技术的目的和优点，下面结合附图对本专利技术做进一步详细说明。
[0036]如图1所示，一种基于量子图像传感器的单光子计数成像方法，包括以下步骤：
[0037]步骤S10：对量子图像传感器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于量子图像传感器的单光子计数成像方法，其特征在于，包括以下步骤：步骤1：对量子图像传感器获取的原始二进制观测数据统一进行预处理，获得原始的待重建图像；其中，数据预处理包括将过采样的二进制观测数据中每组微小光子探测器捕获的光强数据均求和为单个像素值，将不同过采样倍率下的待重建图像缩放到统一尺寸大小；步骤2：使用干净
‑
带噪声的成对自然图像数据集作为输入，对图像去噪深度卷积网络进行训练；步骤3：将训练好的深度卷积神经网络作为去噪器插入即插即用的交替方向乘子法框架中，构建单光子图像迭代重建的流程；将构建的单光子图像迭代重建流程建模为一个完全可观测的马尔可夫过程，通过强化学习算法求解迭代重建流程中的最优参数序列；步骤4：将求得最优参数序列输入至即插即用的交替方向乘子法框架中，得到最终的重建图像。2.如权利要求1所述的一种基于量子图像传感器的单光子计数成像方法，其特征在于，步骤1中，数据预处理包括对原始过采样倍率为K的二进制观测数据中每K个微小光子探测器捕获的光强数据进行求和，输出为原始待重建图像中的单个像素值。3.如权利要求1所述的一种基于量子图像传感器的单光子计数成像方法，其特征在于，步骤2中的图像去噪深度卷积网络，采用去噪残差U
‑
Net网络。4.如权利要求1所述的一种基于量子图像传感器的单光子计数成像方法，其特征在于，步骤3中，将迭代重建流程建模为马尔可夫过程，利用强化学习网络学习迭代重建流程中的参数序列，获得最优决策网络，包括以下步骤：步骤S31：将即插即用框架下的单光子迭代重建问题建模为一个完全可观测的马尔可夫过程；马尔可夫决策过程用一个五元组表示；其中，表示状态的集合，即优化变量的状态空间(x
k
,z
k
,u
k
)，x
k
表示第k次迭代时的待去噪图像，z
k
表示第k次迭代时的去噪后图像，u
k
表示第k次迭代时的更新量；表示动作集合，即内部参数的选择空间，在QIS图像重建任务中，将动作分解为a＝(a1,a2)两部分，动作a1表示迭代停止时间τ的离散动作空间，动作a2表示降噪强度和惩罚参数(σ
k
,μ
k
)的连续动作空间，σ
k
表示降噪强度，μ
k
表示惩罚参数；表示状态转移函数，其将输入状态映射到采取行动a之后的下一状态s
′
，，表示奖励函数，表示在当前状态下，采取行动之后下一时刻所能获得的期望奖励；用于评估给定状态下的动作；将选取的参数序列{σ0,μ0,
…
,σ
τ
,μ
τ
}作用于初始输入状态s0，得到状态、动作和奖励的序列T＝{s0,a0,r0,
…
,s
τ
,a
τ
,r
τ
}，其中，σ0表示作用于初始状态s0的降噪强度，μ0表示作用于初始状态s0的惩罚参数，σ
τ
表示作用于状态s
τ
的降噪强度，μ
τ
表示作用于状态s
τ
的惩罚参数，a0表示在初始状态s0采取的动作决策，r0表示在状态s0采取行动a0后下一时刻所能获得的期望奖励，s
τ
表示经过τ次迭代后的状态，a
τ
表示在状态s
τ
采取的动作决策，r
τ
表示在状态s
τ
采取行动a

【专利技术属性】
技术研发人员：付莹，陈爽，郑德智，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：