【技术实现步骤摘要】
本专利技术涉及基于包围摄影的自监督自适应的图像复原和增强方法，属于底层视觉重建。
技术介绍
1、在弱光条件下，获取内容清晰的视觉上有吸引力的照片具有挑战性但非常有需求，在采用低曝光时间时，相机只捕获少量的光子，引入不可避免的噪声，并且黑暗的区域不可见。当拍摄采用高曝光时间时，相机抖动和物体运动会导致图像模糊，并且其中明亮区域可能会过度曝光。
2、现有对此类图像的处理方法大多只完成去噪，去模糊，高动态范围(high dynamicrange,hdr)增强中的一个或几个任务。事实上，图像之间的噪声的独立性和随机性使它们能够相互辅助去噪；其次，最短曝光图像可以被认为是无模糊的，它可以为去模糊较长的曝光图像提供清晰的指导；第三，短曝光图像中的曝光不足区域在长曝光图像中可以很好地曝光，而长曝光图像中的过度曝光区域在短曝光图像中可能很清楚，结合多曝光图像使hdr成像比单幅图像增强更容易。总之，利用多次曝光图像的互补性提供了将三个任务(即图像去噪、去模糊、hdr重建)集成到一个统一的框架中的潜力。
3、现有图像重建模型大多在仿真数据集上训练，由此造成对真实图片的重建性能较差。例如会产生很多的伪影，这是由仿真和真实数据退化模型之间的差距造成的。
技术实现思路
1、针对现有图像重建模型只能完成单一重建任务并且对真实数据的重建能力差的问题，本专利技术提供一种基于包围摄影的自监督自适应的图像复原和增强方法。
2、本专利技术的一种基于包围摄影的自监督自适应的图像复原和增
3、获取仿真数据集：从已有高动态范围视频中，采用视频插帧的方式获得多个高动态范围raw图；基于多个高动态范围raw图引入退化机制构建多组t帧多曝光仿真raw图像，得到仿真数据集；
4、获取真实数据集：采用智能终端在夜间采集包括动态和静态场景的多组t帧多曝光真实raw图像，构建真实数据集；
5、构建由编码器、光流对齐模块、融合模块和重建模块构成的时间调制循环网络，对时间调制循环网络在仿真数据集上进行预训练，在真实数据集上进行微调训练；
6、时间调制循环网络处理流程包括：
7、首先对t帧多曝光raw图像进行归一化和伽马变换，归一化后图像和伽马变换后图像连接在一起得到变换图像变换图像经编码器进行特征提取得到编码特征将编码特征f2至ft利用光流对齐模块分别向f1对齐后，得到对齐后特征
8、采用融合模块将编码特征f1和对齐后特征至进行融合，得到融合后特征h1至ht；融合后特征h1至ht分别经重建模块重建后，得到重建生成图像至
9、在时间调制循环网络采用仿真数据集的训练过程中，计算重建生成图像和目标图像x之间的l1损失函数更新模型参数；
10、在时间调制循环网络采用真实数据集的训练过程中，以输入的变换图像yic和输出的重建生成图像至自身作为监督信息，分别计算时域自监督损失、时域负损失和指数移动平均正则化损失，并更新时间调制循环网络的参数，最终得到训练好的时间调制循环网络模型，用于图像重建。
11、根据本专利技术的基于包围摄影的自监督自适应的图像复原和增强方法，在获取仿真数据时，由已有高动态范围视频得到目标图像x的方法为：
12、在已有高动态范围视频中进行视频插帧，将已有高动态范围视频的帧率提高32倍，将帧率提高后视频由rgb空间转换到raw空间，得到m帧raw空间图像，将m帧raw空间图像中的第一帧作为目标图像x。
13、根据本专利技术的基于包围摄影的自监督自适应的图像复原和增强方法，在获取仿真数据时，由已有高动态范围视频得到t帧多曝光仿真raw图像的方法为：
14、将m帧raw空间图像不重叠地分为t组，t组raw空间图像利用视频本身的运动模拟多曝光图像之间的运动，每组raw空间图像中包含si-1帧图像，其中s表示曝光时间比，为4；
15、将每组raw空间图像中的si-1帧图像相加得到模拟模糊图像；将模拟模糊图像中小于0的值表示为0，大于1023的值表示为1023，并取整，得到低动态范围图像；将异方差高斯噪声添加到每个低动态范围图像中，得到t帧多曝光仿真raw图像。
16、根据本专利技术的基于包围摄影的自监督自适应的图像复原和增强方法，第i组raw空间图像中raw空间图像的帧数为qi-qi-1，其中qi为：
17、
18、并且m＝qt。
19、根据本专利技术的基于包围摄影的自监督自适应的图像复原和增强方法，由多曝光raw图像yi得到变换图像的方法为：
20、
21、式中γ为伽马校正参数，δti为yi对应的曝光时间，其中δti＜δti+1。
22、根据本专利技术的基于包围摄影的自监督自适应的图像复原和增强方法，采用融合模块将编码特征f1和对齐后特征至进行融合，得到融合后特征ht的方法为：
23、融合模块包括融合模块一ac和融合模块二至
24、编码特征f1经融合模块一ac融合后得到一级融合特征g1，一级融合特征g1经融合模块二融合后得到融合后特征h1；融合后特征h1与对齐后特征经融合模块一ac融合后得到一级融合特征g2，一级融合特征g2和融合后特征h1经融合模块二融合后得到融合后特征h2；融合后特征h2与对齐后特征经融合模块一ac融合后得到一级融合特征g3，一级融合特征g3和融合后特征h2经融合模块二融合后得到融合后特征h3，……，直到得到融合后特征ht；
25、融合模块一和融合模块二均包括一个3×3卷积块和多个残差块。
26、根据本专利技术的基于包围摄影的自监督自适应的图像复原和增强方法，时间调制循环网络首先在仿真数据集上使用l1损失函数进行预训练，然后在真实数据集上进行微调训练。
27、根据本专利技术的基于包围摄影的自监督自适应的图像复原和增强方法，在真实数据集上进行微调训练的总损失函数为：
28、
29、式中表示时域负损失，表示时域自监督损失，表示指数移动平均正则化损失，λself表示时域自监督损失权重，λneg表示时域负损失权重。
30、根据本专利技术的基于包围摄影的自监督自适应的图像复原和增强方法，
31、
32、式中r＝1，2，……，t-1，为第t帧重建生成图像；sg表示梯度停止操作；
33、
34、
35、式中为当前迭代过程中得到的第t帧重建生成图像。
36、根据本专利技术的基于包围摄影的自监督自适应的图像复原和增强方法，
37、
38、式中b表示时间调制循环网络，表示时间调制循环网络当前迭代过程中的ema参数，将时间调制循环网络第k次迭代的模型参数表示为则第k次迭代的ema参数表示为
39、
40、初始化参数式中a为常数，a＝0.999。
41、本专利技术的有益效果：本专利技术方法采用自监督域适应方法，利用多曝光本文档来自技高网...
【技术保护点】
1.一种基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于包括，
2.根据权利要求1所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，在获取仿真数据时，由已有高动态范围视频得到目标图像X的方法为：
3.根据权利要求2所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，在获取仿真数据时，由已有高动态范围视频得到T帧多曝光仿真RAW图像的方法为：
4.根据权利要求3所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，第i组RAW空间图像中RAW空间图像的帧数为Qi-Qi-1，其中Qi为：
5.根据权利要求4所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，由多曝光RAW图像Yi得到变换图像Yic的方法为：
6.根据权利要求5所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，采用融合模块将编码特征F1和对齐后特征至进行融合，得到融合后特征HT的方法为：
7.根据权利要求6所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在
8.根据权利要求7所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，在真实数据集上进行微调训练的总损失函数为：
9.根据权利要求8所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，
10.根据权利要求9所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，
...【技术特征摘要】
1.一种基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于包括，
2.根据权利要求1所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，在获取仿真数据时，由已有高动态范围视频得到目标图像x的方法为：
3.根据权利要求2所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，在获取仿真数据时，由已有高动态范围视频得到t帧多曝光仿真raw图像的方法为：
4.根据权利要求3所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征在于，第i组raw空间图像中raw空间图像的帧数为qi-qi-1，其中qi为：
5.根据权利要求4所述的基于包围摄影的自监督自适应的图像复原和增强方法，其特征...
【专利技术属性】
技术研发人员：张志路，张朔豪，吴仁龙，闫子飞，左旺孟，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。