【技术实现步骤摘要】
本申请涉及智能终端，尤其涉及一种图像去马赛克方法、电子设备及存储介质。
技术介绍
1、图像传感器，是利用光电器件的光电转换功能将感光面上的光像转换为相应电信号的器件，被广泛地应用在相机和其他电子设备中。
2、由于图像传感器上每个进行光电转换的像素单元，本身是无法识别出光源中不同颜色成分的，图像传感器利用cfa（color filter array，色彩滤波阵列）分别记录具有不同色彩的单通道像素信息，即r（red，红色）通道像素信息、g（green，绿色）通道像素信息和b（blue，蓝色）通道像素信息。由此，在图像传感器捕捉的原始数据中，像素值色彩是缺失的，每个像素只有rgb三基色中的一种彩色分量，人眼观看具有强烈的马赛克效应，需要进行去马赛克（demosaic）（或称解马赛克）处理以实现rgb图像重建。
3、去马赛克算法的优劣直接影响着rgb图像重建的效果。去马赛克方法越好，得到的彩色图像质量就越好，继而对彩色图像进行后处理的效果也会越好。对于可以同时采集rgb信息和事件信息的混合图像传感器而言，如何对其输出数据进行去马赛克处理是需要解决的问题。
技术实现思路
1、为了解决上述技术问题，本申请提供一种图像去马赛克方法、电子设备及存储介质。该方法中，以事件信息作为先验辅助信息，结合rgb数据共同完成图像去马赛克处理，以此提成了重建的rgb图像的效果。
2、第一方面，本申请实施例提供一种图像去马赛克方法。该方法应用于电子设备中，电子设备中包括混合图像
3、其中，目标神经网络模型即为下文提及的去马赛克神经网络模型。
4、示例性的，电子设备可以为手机等智能终端。示例性的，目标操作可以为拍摄操作，例如点击手机相机应用的拍摄控件的操作。
5、示例性的，运动对象例如可以是动态的人物、动物、景物等。目标场景可以理解为存在运动对象的拍摄场景。
6、在本实施例中，事件帧的数据也可以理解为运动数据，可以用于表示运动场景的边缘信息。与rgb数据同步的多个事件帧，可以理解为与rgb数据在时间上对齐的事件数据。本实施例将事件信息和rgb信息结合，共同用于去马赛克处理流程，能够得到高质量的彩色图像，提升去马赛克效果。
7、根据第一方面，电子设备根据多个事件帧构建与rgb数据对应的边缘权重图，包括：
8、电子设备融合事件帧中的正事件帧，得到第一融合帧，并根据第一融合帧计算第一权重图；电子设备融合事件帧中的负事件帧，得到第二融合帧，并根据第二融合帧计算第二权重图；电子设备累加第一权重图和第二权重图，得到边缘权重图。
9、其中，第一融合帧可以为下文提及的正融合事件帧 p，第二融合帧可以为下文提及的负融合事件帧 n，可以根据第一融合帧以及第一融合帧中的最大元素值计算第一权重图（即正事件帧的权重图），以及根据第二融合帧以及第二融合帧中的最大元素值计算第二权重图（即负事件帧的权重图）。
10、考虑到像素中事件信号捕捉的次数代表亮度变化的次数，因此融合事件帧（正融合事件帧或负融合事件帧）的像素绝对值越大，代表该像素位置为运动场景边缘的概率越大，可以给予该像素位置更大的权重。这样计算得到的边缘权重图，可以更好地反应运动场景的边缘信息，使得重建的rgb图像中运动边缘处的图像质量更佳。
11、根据第一方面，或者以上第一方面的任意一种实现方式，电子设备通过目标神经网络模型得到与rgb数据对应的去马赛克结果，包括：电子设备融合rgb数据和边缘权重图，并对融合结果进行去马赛克处理，得到与rgb数据对应的去马赛克结果。
12、其中，目标神经网络模型的处理流程可以划分为两个阶段，一个是rgb数据和事件数据的融合阶段，一个是去马赛克阶段。
13、根据第一方面，或者以上第一方面的任意一种实现方式，电子设备融合rgb数据和边缘权重图，包括：电子设备对rgb数据进行特征提取，得到rgb特征；电子设备对边缘权重图进行特征提取，得到事件特征；电子设备基于交叉注意力机制，对rgb特征和事件特征进行融合。
14、采用交叉注意力机制来融合rgb特征和事件特征，可以在不同的输入序列中学习交叉关系，并对它们进行加权，以表现rgb特征和事件特征在目标任务中的重要性。
15、根据第一方面，或者以上第一方面的任意一种实现方式，rgb特征和事件特征的尺寸相同。其中，电子设备基于交叉注意力机制，对rgb特征和事件特征进行融合，包括：
16、电子设备通过第一卷积层对事件特征进行卷积变形，得到第一特征，并对第一特征进行转置，得到第二特征；电子设备通过第二卷积层对rgb特征进行卷积变形，得到第三特征；电子设备通过第三卷积层对rgb特征进行卷积变形，得到第四特征；电子设备基于目标函数对第二特征、第三特征和第四特征进行融合，得到融合特征；其中，融合特征的尺寸与rgb特征的尺寸相同。
17、根据第一方面，或者以上第一方面的任意一种实现方式，目标神经网络模型包括：第一特征提取模块、第二特征提取模块、交叉注意力模块和去马赛克神经网络；
18、电子设备将rgb数据和边缘权重图，输入目标神经网络模型中，通过目标神经网络模型得到与rgb数据对应的去马赛克结果，包括：
19、电子设备将rgb数据输入第一特征提取模块，得到rgb特征；电子设备将边缘权重图输入第二特征提取模块，得到事件特征；电子设备将rgb特征和事件特征输入交叉注意力模块，得到融合特征；电子设备将融合特征输入去马赛克神经网络中，得到与rgb数据对应的去马赛克结果。
20、根据第一方面，或者以上第一方面的任意一种实现方式，目标特征提取模块为第一特征提取模块或第二特征提取模块；目标特征提取模块包括至少一个残差块和至少一个空洞卷积单元。
21、其中，残差块用于提取多层信息，防止梯度爆炸；空洞卷积则可以提升卷积感受野，提高对于全局信息的利用。这样提取的rgb特征和事件特征，更有利于rgb图像的重建，提升去马赛克的效果。
22、根据第一方面，或者以上第一方面的任意一种实现方式，目标神经网络模型的训练过程为：针对相同场景，通过机器视觉相机采集图像数据，以及通过事件相机采集事件数据；获取机器视觉相机输出的rgb图像，并对rgb图像进行马赛克退化处理，得到rgb数据；根据与r本文档来自技高网...
【技术保护点】
1.一种图像去马赛克方法，其特征在于，应用于电子设备中，所述电子设备中包括混合图像传感器，所述混合图像传感器用于同时采集RGB信息和事件信息，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据所述多个事件帧构建与所述RGB数据对应的边缘权重图，包括：
3.根据权利要求1所述的方法，其特征在于，通过所述目标神经网络模型得到与所述RGB数据对应的去马赛克结果，包括：
4.根据权利要求3所述的方法，其特征在于，融合所述RGB数据和所述边缘权重图，包括：
5.根据权利要求4所述的方法，其特征在于，所述RGB特征和所述事件特征的尺寸相同；
6.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型包括：第一特征提取模块、第二特征提取模块、交叉注意力模块和去马赛克神经网络；
7.根据权利要求6所述的方法，其特征在于，目标特征提取模块为所述第一特征提取模块或所述第二特征提取模块；
8.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型的训练过程为：
9.一种电子设备，其特征在
10.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任一项所述的图像去马赛克方法。
...【技术特征摘要】
1.一种图像去马赛克方法，其特征在于，应用于电子设备中，所述电子设备中包括混合图像传感器，所述混合图像传感器用于同时采集rgb信息和事件信息，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据所述多个事件帧构建与所述rgb数据对应的边缘权重图，包括：
3.根据权利要求1所述的方法，其特征在于，通过所述目标神经网络模型得到与所述rgb数据对应的去马赛克结果，包括：
4.根据权利要求3所述的方法，其特征在于，融合所述rgb数据和所述边缘权重图，包括：
5.根据权利要求4所述的方法，其特征在于，所述rgb特征和所述事件特征的尺寸相...
【专利技术属性】
技术研发人员：郭潇，陈铎，姚通，孙佳男，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。