编码曝光成像的快速相对运动场景拍摄装置及复原方法制造方法及图纸

本发明专利技术公开了一种基于编码曝光成像的快速相对运动场景拍摄装置及复原方法，所述装置包括：目标物，一定速度运动的小车，编码相机，光纤陀螺,单片机，速度传感器和距离传感器等等。采用编码曝光的方法，设定一定的目标函数获取最优的二进制码制控制快门开关。先采用速度传感器和距离传感器结合相机成像原理，初步估计PSF，再采用光纤陀螺来进行PSF的细化处理，最后通过逆滤波的方案来进行图像的复原，并结合优化的领域平均算法对图像进行去噪处理。本发明专利技术将逆滤波图像复原的病态问题改为良态；同时采用了光纤陀螺来精确测定目标物拍摄过程中造成的抖动所造成的颤振效应，使得PSF的估计更为精确，图像的复原效果更好。

Fast Relative Motion Scene Shooting Device and Restoration Method for Coded Exposure Imaging

The invention discloses a fast relative motion scene shooting device based on coded exposure imaging and a restoration method. The device comprises a target, a car moving at a certain speed, a coded camera, an optical fiber gyroscope, a single chip computer, a speed sensor and a distance sensor, etc. Using the method of encoding exposure, the optimal binary code control shutter switch is obtained by setting a certain objective function. Firstly, the PSF is estimated preliminarily by using velocity sensor and distance sensor combined with camera imaging principle, and then refined by using fiber optic gyroscope (FOG). Finally, the image is restored by inverse filtering scheme, and the image is denoised by combining the optimized domain average algorithm. The invention changes the ill-condition problem of inverse filtering image restoration into good state, and uses fiber optic gyroscope to accurately measure the chattering effect caused by the jitter during the shooting process of the target, so that the estimation of PSF is more accurate and the restoration effect of the image is better.

【技术实现步骤摘要】
编码曝光成像的快速相对运动场景拍摄装置及复原方法
本专利技术涉及编码曝光成像与图像处理技术，尤其涉及一种基于编码曝光成像的快速相对运动场景拍摄装置及复原方法。
技术介绍
在运动过程中对目标拍摄过程中，经常会遇到在相机曝光时间内成像目标和相机传感器发生相对运动的情况，容易造成成像场景图像的运动模糊，降低了图像的分辨率。因此对于运动模糊图像的复原有着十分重要的作用。传统的相机曝光模式，相机在拍摄过程中快门一直处于开启状态，导致其在卷积滤波器上一定会存在着许多频域零点，导致滤波器不可逆，导致运动模糊成为了一个病态性的问题。Raskar等在2006年提出了编码曝光的方法，使得该问题专为了良态。编码曝光主要思想是利用一个控制器来控制相机的快门，使得他在拍摄曝光过程中处于不断的开启和闭合状态，其在时间域上就相当于一个宽带滤波器，能够有效的保留图像上的高频信息，同时其在频域上不存在零点，使得其能够快速反卷积得到清晰图像。2009年Agrawal等人比较了不同的图像获取方式，并证明在运动量级和运动方向未知的情况下，编码曝光模式是最佳的选择，并研究了CE方法的最优码字搜索问题。2016年，Tendero等人研究了考虑被拍摄目标运动速度条件下最优码字搜索问题，给出了一个最优码字与被拍摄运动目标期望速度概率密度函数的解析表达式。目前为止的对于编码曝光序列的搜索已经到了一个瓶颈，对于码制选取的准则也越来越多的被大家挖掘出来，这导致了在码制搜索过程中需要更多的时间，同时目前的码制搜索存在着局限性，对于找到最优的码制存在着一定的偶然性。此外，针对快速相对运动场景图像拍摄，传统的成像方式对于图像细节损失较大，点扩散函数(PointSpreadFunction，PSF)的估计精度较差，图像复原的质量不高。
技术实现思路
本专利技术提供了一种基于编码曝光成像的快速相对运动场景拍摄装置及复原方法，能高效的解决由于相机和景物之间的相对运动所造成的运动模糊问题。为解决上述问题，本专利技术采用编码曝光方法采集场景图像，利用单片机产生二进制码字序列控制相机的快门开关，同时分别通过速度传感器和距离传感器来获取小车的运动速度参数和小车与景物之间的成像距离参数，近而计算出在曝光时间内景物的像移尺度，结合编码曝光序列，初步估计出PSF。再结合光纤陀螺来修正由于拍摄过程中由于抖动所造成的误差，从而得到精确的PSF函数。最后通过逆滤波方法和邻域平均法处理，获得一张高分辨率的清晰图像。具体技术方案如下：1.通过文化基因算法(MemeticAlgorithm)获得最优的编码序列。Memetic算法是一种在全局进化搜索策略的基础上加入局部搜索策略的混合搜索策略。在全局搜索过程中，利用遗传算法进行序列种群的交叉和变异；在随后的局部搜索过程中，利用禁忌搜索算法来加速最优解的搜索获取。Memetic算法充分吸收了遗传算法和禁忌搜索算法的优点，进而减少迭代次数。Memetic算法用于编码曝光最优码字序列搜索，根据编码曝光的图像采集模式和特点，引入编码序列点扩散函数幅值的最小值、自相关程度以及采集图像的信噪比评价值、低频成分评价值，建立了最优码字确定的适应度函数综合评价准则，指导搜索算法开展最优码字搜索。最优二进制编码序列搜索准则：(a)点扩展函数的幅值没有“0”点。(b)点扩展函数的幅值曲线尽量要平稳，因为其尖锐变化会导致结果的剧烈变化造成结果的不稳定。(c)为了降低噪声对复原结果的影响，应使点扩展函数的幅值尽量大。具体操作如下：(1)对于所获得的二进制序列进行离散傅里叶变化操作，计算其绝对值，并且对得到的幅值进行对数变换，得到代表码字序列点扩散函数幅值的最小值评价准则因子，表示如下：C1＝min[log(|F(S)|)]其中，F(·)表示离散傅里叶变换操作，min(·)表示计算最小值操作。(2)为了能够表示其点扩展函数的幅值的平坦程度，同时综合考虑码字长度因素，得到代表码字序列自相关程度的评价准则因子，具体定义如下：其中var(·)表示计算方差操作，n表示二进制码制长度。(3)结合(1)，(2)所计算得到的评价因子，得到最优码制的最佳适应度评价准则：C＝C2+λC1其中，λ为一个权重值，保证对进行对数变换后得到一个合适的值。(4)开展禁忌搜索算法搜索禁忌搜索算法就是将之前的搜索过程禁止掉，同时用一个禁忌表记录下之前已经达到过的局部最优点，然后在下一次的搜索过程中，利用禁忌表中的这些信息不再或者有选择的搜索这些地区。主要处理步骤为：1)设定算法的参数，设定特赦准则，终止条件：满足迭代步数或者达到目标函数值，禁忌长度：T＝n-L其中，L表示禁忌表中子集个数。初始解x为遗传算法初始解，开始置禁忌表为空。2)判断目标函数是否满足终止条件，若是，则结束算法并输出最优结果；否则，继续以下步骤。3)利用当前解的的邻域函数产生其若干邻域解，并从中确定若干候选解。邻域函数设置表示为：在当前码制中随机选取一个数，若码制为1，则改为0；若为0，则改为1。为了防止选取邻域解过多，设置Y＝30，当邻域解达到30后，停止求取邻域解。4)对候选解判断特赦准则是否满足？若成立，则用满足特赦准则的最优解y替代x成为新的当前解，即x＝y，并用与y对应的码制替换最早进入禁忌表的码制，同时用y替换“bestsofar”状态，然后转步骤6；否则，继续以下步骤。5)判断候选解对应的各码制的禁忌属性，选择候选解集中非禁忌码制对应的最优解为新的当前解，同时用与之对应的码制替换最早进入禁忌表的禁忌对象元素。6)转步骤2)，进行下一轮迭代搜索。2.成像拍摄装置设计。首先由STM32单片机的I/O口来控制相机快门的开关；在镜头上同时安装一个速度传感器来实时获取小车运动速度，一个距离传感器来进行和目标景物距离的探测。两个光纤陀螺分别与相机之间进行刚性连接，且使其敏感轴相互垂直以实现对x轴和y轴旋转角速度的探测。3.景物的拍摄过程。将所组装的成像系统放置在以一定速度行驶的小车上对着一个单一景物进行拍摄，存下所有的数据。小车运动速度范围为[10,20](单位m/s)4.PSF的初步估计。通过绑定在小车上的速度传感器来实时获取小车的速度Vi，通过距离传感器获取目标与镜头的距离L,同时获取到相机的全部曝光时间Ti，通过这个数据得到小车在曝光时间内的运动距离，通过物像关系来计算得到小车在像面上所位移的距离：S表示在曝光过程中镜头移动的距离，I1,I2表示镜头与目标之间的距离，根据相机的成像理论，如图4所示，相机通过S，I1,I2等参数计算目标在相机上的成像。目标的在相机起始位存在着一帧图像，在相机终止位时存下另一帧图像，设目标在起始位的位置在点A(x1,y1)，在终止位的位置在点A(x2,y2)通过计算两帧图像之间目标的的相对位置来计算像移尺度。即：PSF_N＝(A(x1,y1)-A(x2,y2))PSF_N为粗估计像移尺度。最后通过除以像原尺寸来获取最后的像移尺度，之后再利用码制结合像移尺度来进行初略的PSF估计，同时采用光纤陀螺来进一步估计PSF，对上一步的PSF进行细化处理5.利用光纤陀螺轨迹探测细化PSF估计：从点扩散函数的物理意义出发，可以这样理解其形成过程：假设被拍摄物体是一个点光源，由于它与相机镜头之间存在相对运动，在曝本文档来自技高网...

【技术保护点】
1.一种基于编码曝光成像的快速相对运动场景拍摄装置，包括带镜头的相机，控制器、光纤陀螺，其特征在于：所述控制器控制相机快门的开关，所述光纤陀螺包括两个，分别与相机之间进行刚性连接，且使其敏感轴相互垂直，所述镜头上设置速度传感器来实时获取小车运动速度，并设置距离传感器来进行和目标景物距离的探测。

【技术特征摘要】
1.一种基于编码曝光成像的快速相对运动场景拍摄装置，包括带镜头的相机，控制器、光纤陀螺，其特征在于：所述控制器控制相机快门的开关，所述光纤陀螺包括两个，分别与相机之间进行刚性连接，且使其敏感轴相互垂直，所述镜头上设置速度传感器来实时获取小车运动速度，并设置距离传感器来进行和目标景物距离的探测。2.如权利要求1所述的基于编码曝光成像的快速相对运动场景拍摄装置，其特征在于：所述控制器是STM32单片机，其通过I/O口来控制相机快门的开关。3.一种基于编码曝光成像的快速相对运动场景拍摄及复原方法，包括如下步骤：步骤一、通过文化基因算法(MemeticAlgorithm)获得最优的编码序列；步骤二、将如权利要求1或2所述的拍摄装置放置在以一定速度行驶的小车上对着一个单一景物进行拍摄，存下所有的数据；步骤三、初步估计PSF；步骤四、利用光纤陀螺轨迹探测细化PSF估计；步骤五、逆滤波图像复原；步骤六、图像振铃抑制优化处理。4.如权利要求1所述的基于编码曝光成像的快速相对运动场景拍摄及复原方法，其特征在于：步骤一具体如下：(1)对于所获得的二进制序列进行离散傅里叶变化操作，计算其绝对值，并且对得到的幅值进行对数变换，得到代表码字序列点扩散函数幅值的最小值评价准则因子，表示如下：C1＝min[log(|F(S)|)]其中，F(·)表示离散傅里叶变换操作，min(·)表示计算最小值操作；(2)为了能够表示其点扩展函数的幅值的平坦程度，同时综合考虑码字长度因素，得到代表码字序列自相关程度的评价准则因子，具体定义如下：其中var(·)表示计算方差操作，n表示二进制码制长度；(3)结合(1)，(2)所计算得到的评价因子，得到最优码制的最佳适应度评价准则：C＝C2+λC1其中，λ为一个权重值，保证对进行对数变换后得到一个合适的值；(4)开展禁忌搜索算法搜索，主要处理步骤为：1)设定算法的参数，设定特赦准则，终止条件：满足迭代步数或者达到目标函数值，禁忌长度：T＝n-L其中，L表示禁忌表中子集个数。初始解x为遗传算法初始解，开始置禁忌表为空；2)判断目标函数是否满足终止条件，若是，则结束算法并输出最优结果；否则，继续以下步骤；3)利用当前解的的邻域函数产生其若干邻域解，并从中确定若干候选解。邻域函数设置表示为：在当前码制中随机选取一个数，若码制为1，则改为0；若为0，则改为1。为了防止选取邻域解过多，设置Y＝30，当邻域解达到30后，停止求取邻域解；4)对候选解判断特赦准则是否满足，若成立，则用满足特赦准则的最优解y替代x成为新的当前解，即x＝y，并用与y对应的码制替换最早进入禁忌表的码制，同时用y替换“bestsofar”状态，然后转步骤...

【专利技术属性】
技术研发人员：崔光茫，叶晓杰，于快快，赵巨峰，朱礼尧，张钰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33