【技术实现步骤摘要】
以下实施例涉及用于生成图像的方法和系统。
技术介绍
1、由于低信噪比(snr)，由智能电话相机在弱光环境下获取的图像可能包括强噪声，因此与在正常光照环境下获取的图像相比，可能具有明显较差的图像质量。为了解决该问题，可以使用通过捕获多个连拍图像来增强图像的方法。基于深度学习的图像恢复方法可以用于通过融合多个连拍图像来生成具有增强图像质量的单个图像。
技术实现思路
1、提供本
技术实现思路
以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在标识所请求保护的主题的关键特征或基本特征，也不意在帮助确定所请求保护的主题的范围。
2、在一个或多个总体方面，一种处理器实现的方法包括：获得在预定时间内针对场景获取的多个图像帧；确定分别与多个图像帧相对应的损失值；基于损失值来确定多个图像帧中的参考帧；以及基于参考帧来生成场景的最终图像。
3、确定参考帧可以包括：将多个图像帧中的具有最小损失值的图像帧确定为参考帧。
4、确定损失值可以包括：通过将多个图像帧中的图像帧和与多个图像帧中的先前图像帧相对应的输出特征图输入到第一神经网络中，确定与多个图像帧中的图像帧相对应的中间特征图和输出特征图。
5、确定损失值可以包括：通过将中间特征图输入第二神经网络中，确定与图像帧相对应的损失值。
6、确定参考帧可以包括：将与图像帧相对应的损失值和在确定与图像帧相对应的损失值之前所确定的参考损失值进行比较。
7、确定参考帧
8、该方法可以包括：响应于与图像帧相对应的损失值小于参考损失值，用与先前图像帧相对应的输出特征图替换与参考损失值相对应的参考输入特征图。
9、确定参考帧可以包括：响应于与图像帧相对应的损失值大于参考损失值，维持参考损失值。
10、生成最终图像可以包括：通过将参考帧和参考输入特征图输入到第一神经网络中，生成最终图像。
11、确定损失值可以包括：通过将多个图像帧中的图像帧和与多个图像帧中的先前图像帧相对应的输出特征图输入到第一神经网络中，生成输出特征图；以及通过将图像帧输入到第二神经网络中，确定与图像帧相对应的损失值。
12、确定参考帧可以包括以下之一或两者：将多个图像帧中的具有损失值中的最小损失值的预定数量的图像帧确定为多个参考帧；以及将多个图像帧中的具有损失值中的小于或等于阈值的损失值的图像帧确定为多个参考帧。
13、在一个或多个总体方面，一种非暂时性计算机可读存储介质存储指令，该指令当由处理器执行时配置处理器以执行本文描述的操作和/或方法中任一种、任意组合或全部。
14、在一个或多个总体方面，一种装置包括：一个或多个处理器，被配置为：获得在预定时间内针对场景获取的多个图像帧；确定分别与多个图像帧相对应的损失值；基于损失值来确定多个图像帧中的参考帧；以及基于参考帧来生成场景的最终图像。
15、为了确定参考帧，一个或多个处理器可以被配置为将多个图像帧中的具有最小损失值的图像帧确定为参考帧。
16、在一个或多个总体方面，一种处理器实现的方法包括：将图像帧输入到包括多个层且包括递归结构的图像恢复神经网络；将从图像恢复神经网络的中间层输出的中间特征图输入到损失预测神经网络中；以及从损失预测神经网络中确定对由图像恢复神经网络恢复的图像与真实图像之间的差异加以指示的损失值。
17、该方法可以包括获得多个图像帧，其中，使用损失预测神经网络来确定分别与多个图像帧相对应的损失值。
18、可以将多个图像帧中的具有最小损失值的图像帧确定为参考帧，并且可以通过将该参考帧再次输入图像恢复神经网络，将从图像恢复神经网络输出的图像确定为恢复的最终图像。
19、图像恢复神经网络可以被配置为：使用与在参考帧之前的图像帧相对应的输出特征图来输出恢复的最终图像。
20、输出特征图可以是从图像恢复神经网络的接收到在参考帧之前的图像帧的中间层输出的特征图。
21、图像恢复神经网络的输出该输出特征图的中间层可以是在输出被输入到损失预测神经网络中的中间特征图的中间层之后的层。
22、图像恢复神经网络和损失预测神经网络可以是一个神经网络。
23、其他特征和方面将通过以下详细描述、附图和权利要求变得清楚明白。
本文档来自技高网...【技术保护点】
1.一种处理器实现的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，确定所述参考帧包括：将所述多个图像帧中的具有最小损失值的图像帧确定为所述参考帧。
3.根据权利要求1所述的方法，其中，确定所述损失值包括：通过将所述多个图像帧中的图像帧和与所述多个图像帧中的先前图像帧相对应的输出特征图输入到第一神经网络中，确定与所述多个图像帧中的所述图像帧相对应的中间特征图和输出特征图。
4.根据权利要求3所述的方法，其中，确定所述损失值包括：通过将所述中间特征图输入第二神经网络中，确定与所述图像帧相对应的损失值。
5.根据权利要求4所述的方法，其中，确定所述参考帧包括：将与所述图像帧相对应的损失值和在确定与所述图像帧相对应的损失值之前所确定的参考损失值进行比较。
6.根据权利要求5所述的方法，其中，确定所述参考帧包括：响应于与所述图像帧相对应的损失值小于所述参考损失值，用与所述图像帧相对应的损失值替换所述参考损失值。
7.根据权利要求5所述的方法，还包括：响应于与所述图像帧相对应的损失值小于参考损失值，用与所述先
8.根据权利要求5所述的方法，其中，确定所述参考帧包括：响应于与所述图像帧相对应的损失值大于所述参考损失值，维持所述参考损失值。
9.根据权利要求7所述的方法，其中，生成所述最终图像包括：通过将所述参考帧和所述参考输入特征图输入到所述第一神经网络中，生成所述最终图像。
10.根据权利要求1所述的方法，其中，确定所述损失值包括：
11.根据权利要求1所述的方法，其中，确定所述参考帧包括以下之一或两者：
12.一种存储指令的非暂时性计算机可读存储介质，当所述指令由一个或多个处理器执行时，将所述一个或多个处理器配置为执行权利要求1所述的方法。
13.一种用于生成图像的装置，所述装置包括：
14.根据权利要求13所述的装置，其中，为了确定所述参考帧，所述一个或多个处理器被配置为将所述多个图像帧中的具有最小损失值的图像帧确定为所述参考帧。
15.一种处理器实现的方法，所述方法包括：
16.根据权利要求15所述的方法，还包括：获得多个图像帧，
17.根据权利要求16所述的方法，其中
18.根据权利要求17所述的方法，其中，所述图像恢复神经网络被配置为：使用与在所述参考帧之前的图像帧相对应的输出特征图来输出所述恢复的最终图像。
19.根据权利要求18所述的方法，其中，所述输出特征图是从所述图像恢复神经网络的接收到在所述参考帧之前的所述图像帧的中间层输出的特征图。
20.根据权利要求19所述的方法，其中，所述图像恢复神经网络的输出所述输出特征图的中间层是在输出被输入到所述损失预测神经网络中的所述中间特征图的中间层之后的层。
...【技术特征摘要】
1.一种处理器实现的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，确定所述参考帧包括：将所述多个图像帧中的具有最小损失值的图像帧确定为所述参考帧。
3.根据权利要求1所述的方法，其中，确定所述损失值包括：通过将所述多个图像帧中的图像帧和与所述多个图像帧中的先前图像帧相对应的输出特征图输入到第一神经网络中，确定与所述多个图像帧中的所述图像帧相对应的中间特征图和输出特征图。
4.根据权利要求3所述的方法，其中，确定所述损失值包括：通过将所述中间特征图输入第二神经网络中，确定与所述图像帧相对应的损失值。
5.根据权利要求4所述的方法，其中，确定所述参考帧包括：将与所述图像帧相对应的损失值和在确定与所述图像帧相对应的损失值之前所确定的参考损失值进行比较。
6.根据权利要求5所述的方法，其中，确定所述参考帧包括：响应于与所述图像帧相对应的损失值小于所述参考损失值，用与所述图像帧相对应的损失值替换所述参考损失值。
7.根据权利要求5所述的方法，还包括：响应于与所述图像帧相对应的损失值小于参考损失值，用与所述先前图像帧相对应的输出特征图替换与所述参考损失值相对应的参考输入特征图。
8.根据权利要求5所述的方法，其中，确定所述参考帧包括：响应于与所述图像帧相对应的损失值大于所述参考损失值，维持所述参考损失值。
9.根据权利要求7所述的方法，其中，生成所述最终图像包括...
【专利技术属性】
技术研发人员：徐健锡，奇世焕，崔在硕，金仁洙，李炯旭，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。