【技术实现步骤摘要】
本公开的实施例涉及图像处理，并且更具体地，涉及使用机器学习对图像进行去噪。
技术介绍
1、随着对高质量和高清晰度照片和视频的需求的增加，现在设计具有较小像素尺寸和较大集成密度的图像传感器。然而，这些图像传感器中的一些像素可能是有故障的或无功能的，从而导致整体图像质量的降级。因此，需要校正包括从故障像素输出的像素数据的像素数据输出。
技术实现思路
1、本公开描述了一种用于使用神经网络执行去噪的图像处理装置、具有该图像处理装置的电子装置及其操作方法。
2、根据本公开的实施例，一种方法包括获取当前帧、当前帧的噪声离差以及前一帧的第一去噪帧；使用第一神经网络基于噪声离差、当前帧和第一去噪帧来生成加权的第一去噪帧；使用第二神经网络基于当前帧和加权的第一去噪帧生成初始融合图像；以及使用第三神经网络基于初始融合图像生成当前帧的第二去噪帧。
3、根据本公开的实施例，一种图像处理装置包括：处理器，其被配置为执行去噪模块；以及存储器装置，其被配置为存储去噪模块。去噪模块包括：第一神经网络，其用于生成前一帧的去噪帧的加权帧；第二神经网络，其用于使用当前帧和加权帧来生成加权帧的初始融合图像；以及第三神经网络，其用于融合当前帧、初始融合图像和前一帧的去噪帧。
4、根据本公开的实施例，一种电子装置包括：存储器装置，其被配置为存储去除视频/多帧噪声的去噪模块；存储器控制器，其被配置为控制存储器装置；以及处理器，其被配置为执行去噪模块以从输入图像去除噪声。去噪模块使用卷积神经网
5、根据本公开的实施例，一种方法包括使用多级神经网络生成视频的第一帧的第一去噪帧；使用所述多级神经网络基于视频的第一去噪帧和第二帧来生成初始融合图像；以及使用多级神经网络生成第二帧的第二去噪帧。
本文档来自技高网...【技术保护点】
1.一种图像处理装置的操作方法，包括：
2.如权利要求1所述的方法，其中，所述第一神经网络、所述第二神经网络和所述第三神经网络中的至少一个包括卷积神经网络。
3.如权利要求1所述的方法，其中，所述生成所述加权的第一去噪帧包括：
4.如权利要求3所述的方法，其中，所述噪声离差包括一个通道，所述绝对值包括三个通道，并且所述第一级联数据包括四个通道。
5.如权利要求4所述的方法，其中，生成所述加权的第一去噪帧包括将所述第一神经网络应用于所述第一级联数据的所述四个通道。
6.如权利要求1所述的方法，其中，所述第一神经网络包括S型激活函数。
7.如权利要求1所述的方法，其中，生成所述初始融合图像包括：
8.如权利要求7所述的方法，其中，所述噪声离差包括一个通道，所述当前帧包括三个通道，所述加权的第一去噪帧包括三个通道，并且所述第二级联数据包括七个通道。
9.如权利要求1所述的方法，其中，生成所述当前帧的所述第二去噪帧包括：
10.如权利要求9所述的方法，其中，所述噪声离差包括一个通道
11.一种图像处理装置，包括：
12.如权利要求11所述的图像处理装置，其中，所述前一帧的所述去噪帧包括三个通道，所述当前帧包括三个通道，所述当前帧的噪声离差包括一个通道，并且所述加权帧包括三个通道。
13.如权利要求12所述的图像处理装置，其中，所述当前帧包括三个通道，所述加权帧包括三个通道，所述噪声离差包括一个通道，并且所述初始融合图像包括三个通道。
14.如权利要求13所述的图像处理装置，其中，所述融合图像包括三个通道，所述前一帧的去噪帧包括三个通道，并且所述噪声离差包括一个通道，并且所述当前帧的所述去噪帧包括三个通道。
15.如权利要求11所述的图像处理装置，还包括：
16.一种电子装置，包括：
17.如权利要求16所述的电子装置，其中，所述去噪模块包括第一神经网络、第二神经网络和第三神经网络。
18.如权利要求17所述的电子装置，其中，所述第一神经网络计算前一帧的第一去噪帧和当前帧之间的差的绝对值，将所述绝对值与所述当前帧的噪声离差级联以获得第一级联数据，基于所述第一级联数据计算权重，并且将所述权重与所述第一去噪帧相乘以输出加权的第一去噪帧。
19.如权利要求18所述的电子装置，其中，所述第二神经网络将所述当前帧、所述噪声离差和所述加权的第一去噪帧进行级联以获得第二级联数据，并且基于所述第二级联数据输出初始融合图像。
20.如权利要求19所述的电子装置，其中，所述第三神经网络将所述噪声离差、所述初始融合图像和所述第一去噪帧进行级联以获得第三级联数据，基于所述第三级联数据来计算融合权重，并且将所述初始融合图像、所述融合权重和所述第一去噪帧进行融合以输出所述当前帧的第二去噪帧。
...【技术特征摘要】
1.一种图像处理装置的操作方法，包括：
2.如权利要求1所述的方法，其中，所述第一神经网络、所述第二神经网络和所述第三神经网络中的至少一个包括卷积神经网络。
3.如权利要求1所述的方法，其中，所述生成所述加权的第一去噪帧包括：
4.如权利要求3所述的方法，其中，所述噪声离差包括一个通道，所述绝对值包括三个通道，并且所述第一级联数据包括四个通道。
5.如权利要求4所述的方法，其中，生成所述加权的第一去噪帧包括将所述第一神经网络应用于所述第一级联数据的所述四个通道。
6.如权利要求1所述的方法，其中，所述第一神经网络包括s型激活函数。
7.如权利要求1所述的方法，其中，生成所述初始融合图像包括：
8.如权利要求7所述的方法，其中，所述噪声离差包括一个通道，所述当前帧包括三个通道，所述加权的第一去噪帧包括三个通道，并且所述第二级联数据包括七个通道。
9.如权利要求1所述的方法，其中，生成所述当前帧的所述第二去噪帧包括：
10.如权利要求9所述的方法，其中，所述噪声离差包括一个通道，所述第一去噪帧包括三个通道，所述初始融合图像包括三个通道，并且所述第三级联数据包括七个通道。
11.一种图像处理装置，包括：
12.如权利要求11所述的图像处理装置，其中，所述前一帧的所述去噪帧包括三个通道，所述当前帧包括三个通道，所述当前帧的噪声离差包括一个通道，并且所述加权帧包括三个...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。