基于深度学习的芯片图像超分辨率重建方法技术

本发明专利技术公开了一种基于深度学习的芯片图像超分辨率重建方法，主要解决现有方法重建芯片图像电路密集处分辨率低的问题。其技术方案是：1.划分图像集，并构建训练数据集；2.对训练数据集进行训练；3.估计出K幅低分辨率图像与参考图像的子像素位移量；4.对参考图像进行上采样，并将其输入到训练好的模型，输出估计图像；5.对估计图像降质，并计算降质后图像与K幅低分辨率图像的模拟误差；6将模拟误差叠加到估计图像上得到改进的估计图像；7.迭代执行5至6，直至误差函数小于误差阈值，输出最终改进的估计图像。本发明专利技术提高了芯片图像中电路密集处的超分辨率重建效果，可以用于芯片密集电路处的硬件木马检测。

Chip image super-resolution reconstruction method based on depth learning

The invention discloses a chip image super-resolution reconstruction method based on depth learning, which mainly solves the problem of low resolution in the dense part of the chip image circuit reconstruction by the existing method. Its technical scheme is as follows: 1. dividing image sets and constructing training data sets; 2. training data sets; 3. estimating sub-pixel displacement of K low-resolution images and reference images; 4. sampling reference images and inputting them into the trained model to output estimated images; 5. degrading estimated images and calculating degraded images and K low-resolution images. The simulation error; 6. The simulation error is superimposed on the estimated image to obtain the improved estimation image; 7. Iteration is carried out from 5 to 6 until the error function is less than the error threshold, and the final improved estimation image is output. The invention improves the super-resolution reconstruction effect of the circuit-intensive part in the chip image, and can be used for hardware Trojan horse detection at the circuit-intensive part of the chip image.

【技术实现步骤摘要】
基于深度学习的芯片图像超分辨率重建方法
本专利技术属于图像处理
，更进一步涉及一种图像超分辨率重建方法，可以用于芯片密集电路处的硬件木马检测。
技术介绍
目前图像超分辨率重建技术在提升芯片图像的分辨率中发挥着重要作用。近年来，我国的半导体行业发展迅速，但是一些关键部分的高端芯片仍然依赖于进口，并且我国集成电路设计和制造工艺技术并不完善，所以在芯片的设计和生产环节引入的硬件木马问题不容忽视，硬件木马指的是潜伏在原始电路中的微小恶意电路，在特殊条件触发下，该模块能够改变电路功能，导致信息泄露甚至摧毁系统的严重后果，因此，硬件木马的检测变得尤为重要。目前，已经有基于反向解剖、基于功能检测和基于旁路分析等多种检测技术，其中，最高效的检测手段是基于芯片反向解剖的检测技术，即将高倍显微镜拍摄的芯片照片与母版微观图片进行相同的切割并对比，如果没有母版芯片的微观照片，则需要使用原始设计版图与可疑芯片微观照片进行间接的对比，若有元器件和金属线被改动，则说明存在恶意植入的硬件木马。然而，拍摄高分辨率的芯片照片所需的显微镜及摄像头设备十分昂贵，为了降低成本，人们通常采用普通照相机拍摄图像，同时存在大本文档来自技高网...

【技术保护点】
1.一种基于深度学习的芯片图像超分辨率重建方法，包括如下：(1)划分图像集：将收集到的芯片图像划分为待处理图像集{y(1),y(2),...,y(N)}和测试集{t(1),t(2),...,t(M)}，N为待处理图像集的图像数，M为测试集的图像数；(2)对待处理图像集中的图像数进行扩充，得到扩充后的图像集，再对扩充后的图像集中的图像依次进行降质与提取子图像，得到训练数据集；(3)对训练数据集进行训练，得到训练后的卷积神经网络模型；(4)输入K幅低分辨率图像xw,w＝0,1,...,K‑1，在K幅低分辨率图像中选择一幅参考图像x0，并估计出K幅低分辨率图像与参考图像x0的子像素位移量(a0,b0...

【技术特征摘要】
1.一种基于深度学习的芯片图像超分辨率重建方法，包括如下：(1)划分图像集：将收集到的芯片图像划分为待处理图像集{y(1),y(2),...,y(N)}和测试集{t(1),t(2),...,t(M)}，N为待处理图像集的图像数，M为测试集的图像数；(2)对待处理图像集中的图像数进行扩充，得到扩充后的图像集，再对扩充后的图像集中的图像依次进行降质与提取子图像，得到训练数据集；(3)对训练数据集进行训练，得到训练后的卷积神经网络模型；(4)输入K幅低分辨率图像xw,w＝0,1,...,K-1，在K幅低分辨率图像中选择一幅参考图像x0，并估计出K幅低分辨率图像与参考图像x0的子像素位移量(a0,b0)w,w＝0,1,...,K-1；(5)将参考图像x0用双立方插值法进行L倍上采样后，得到插值后的低分辨率图像x；(6)将x作为卷积神经网络模型的输入，将卷积神经网络模型的输出结果作为估计图像yn，n为迭代次数，此时n＝0，y0为初始估计图像；(7)对估计图像yn进行降质，即先将(4)中得到的子像素位移量增大为(A,B)w＝(La0,Lb0)w,w＝0,1,...,K-1，然后根据增大后的子像素位移量(A,B)w对估计图像yn进行子像素位移，再对每幅图像用双立方插值法依次进行L倍下采样处理，得到K幅模拟的低分辨率图像(8)将K幅低分辨率图像与K幅模拟的低分辨率图像做差，得到模拟误差(9)对模拟误差用双立方插值法进行L倍上采样，得到增大后的模拟误差并将增大后的模拟误差根据增大后的子像素位移量(A,B)w叠加到估计图像yn上，得到改进的估计图像yn+1；(10)设定误差阈值t，迭代执行步骤(7)至步骤(9)，每迭代一次n的数值便增加1，当误差函数ε小于设定的误差阈值t，迭代过程结束，输出改进的估计图像yn+1，即超分辨率重建图像，其中：代表L2范数。2.根据权利要求1所述的方法，其特征在于，步骤(2)中对待处理图像集中的图像数进行扩充，其实现如下：(2a)将待处理图像集{y(1),y(2),...,y(N)}中的每一幅芯片图像分别进行0°、90°、180°以及270°的旋转，得到旋转后图像集{p(1),p(2),...,p(L)}，N为待处理图像集的图像数，L为旋转后图像集的图像数，L＝4N；(2b)将旋转后图像集{p(1),p(2),...,p(L)}中的每一幅芯片图像利用双立方插值法分别进行0.3倍及0.7倍的下采样，旋转后图像集与下采样后的图像共同组成扩充后图像集{q(1),q(2),...,q(Q)}，Q为扩充后图像集的图像数，Q＝3L。3.根据权利要求1所述的方法，其特征在于，步骤(2)中对扩充后图像集中的图像依次进行降质与提取子图像，其实现如下:(2c)利用双立方插值法对扩充后图像集{q(1),q(2),...,q(Q)}中的每一幅芯片图像分别进行2倍、3倍及4倍的下采样，再利用双立方插值法对下采样后图像进行相应倍数的上采样，得到内插后低分辨率图像集{r(1),r(2),...,r(R)}，R为内插后低分辨率图像集的图像数；(2d)对内插后低分辨率图像集{r(1),r(2),...,r(R)}中的每一幅图像以41个像素的滑动步长依次截取尺寸为41×41的子图像，得到训练数据集。4.根据权利要求1所述的方法，其特征在于，步骤(3)中对训练数据集进行训练，其实现如下：(3a)输入训练数据集并配置训练参数：动量参数设为0.9，权重衰减设为0.0001，基础学习率设为0.0001，最大迭代次数设为50000；(3b)选择一个共有20层卷积层的卷积神经网络，其中：卷...

【专利技术属性】
技术研发人员：张铭津，范明明，刘志强，池源，孙宸，侯波，李云松，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61