【技术实现步骤摘要】
【国外来华专利技术】
本公开的实施例涉及一种电子装置，并且更具体地，涉及执行图像处理的电子装置及其操作方法。
技术介绍
1、作为用于使电子装置能够拍摄主体的拍摄装置，提供了相机接口(诸如红色、绿色和蓝色(rgb)相机、深度相机等)。电子装置可通过经由相机拍摄主体并对拍摄的主体的图像执行图像处理以从图像中去除噪声来向用户提供改进的相机使用体验。
2、当电子装置的用户拍摄主体时，从除了主体之外的材料(例如，玻璃等)反射的光可入射在相机上。在这种情况下，由于光反射，在拍摄主体的图像中可能存在噪声，并且需要去除这种噪声。
3、因此，需要进一步改进图像处理方法，例如需要从图像中去除可能由光反射引起的噪声。
技术实现思路
1、技术问题
2、提供本公开的实施例以克服上述问题，并提供一种用于去除图像中可能由光反射引起的噪声的电子装置以及该电子装置的操作方法。
3、问题的技术解决方案
4、根据本公开的一个方面，一种由电子装置执行的处理图像的方法，所述方法包括：通过拍摄主体来获得第一图像；获得包括与从所述电子装置到所述主体的距离相关的信息的深度图像；确定光反射是否存在于第一图像中；基于确定光反射存在于第一图像中，获得指示从所述电子装置到所述主体的距离的深度信息；基于深度信息，通过在所述电子装置的闪光灯的启用状态下拍摄所述主体来获得第二图像；执行用于匹配第一图像、第二图像和深度图像并且在坐标系上表示第一图像、第二图像和深度图像的预处理；以及使用预处理的第一图像、预处
5、所述确定光反射是否存在于第一图像中可包括：将第一图像应用于光反射检测模型。
6、所述获得第二图像可包括：通过将深度信息与阈值进行比较来确定是否启用所述电子装置的闪光灯。
7、确定是否启用闪光灯可包括：基于深度信息与所述阈值的比较的结果指示深度信息小于阈值，确定启用所述电子装置的闪光灯，并通过在所述电子装置的闪光灯的启用状态下拍摄所述主体来获得第二图像。
8、所述获得已经从其去除光反射的图像可包括：将第一图像、第二图像和深度图像应用于光反射去除模型。
9、确定是否启用闪光灯可包括：基于深度信息与所述阈值的比较的结果指示深度信息大于或等于所述阈值，停用所述电子装置的闪光灯，并且所述获得已经从其去除光反射的图像可包括：使用预处理的第一图像和预处理的深度图像来获得已经从其去除光反射的图像。
10、所述执行预处理可包括：将第一图像、第二图像和深度图像投影到公共图像平面上；匹配第一图像的第一像素、第二图像的第二像素和深度图像的第三像素；以及对第一图像的第一像素、第二图像的第二像素和深度图像的第三像素中的每个执行校准，使得第一图像的第一像素、第二图像的第二像素和深度图像的第三像素具有相同的亮度。
11、所述将第一图像、第二图像和深度图像应用于光反射去除模型可包括：通过光反射去除模型的主模型接收第一图像，并输出已经从其去除光反射的图像；通过光反射去除模型的第一子模型接收第二图像，并输出与第二图像相关的至少一个第一特征图，其中，所述至少一个第一特征图将被输入到包括在主模型中的神经网络层；以及通过光反射去除模型的第二子模型接收深度图像并输出与深度图像相关的至少一个第二特征图，其中，所述至少一个第二特征图将被输入到包括在主模型中的神经网络层。
12、光反射去除模型可在主模型、第一子模型和第二子模型中包括的多个神经网络层的至少一部分中共享从第一图像、第二图像和深度图像提取的特征图。
13、所述方法还可包括：使用已经从其去除光反射并且从光反射去除模型被输出的图像和无光反射的其他图像来训练被配置为识别无光反射的图像的模型；以及基于训练的被配置为识别无光反射的图像的模型的损失函数来更新光反射去除模型。
14、根据本公开的一个方面，一种由电子装置执行的处理图像的方法，所述方法包括：通过拍摄主体来获得第一图像；获得包括与从所述电子装置到所述主体的距离相关的深度信息的深度图像；确定光反射存在于第一图像中；基于深度信息，通过在所述电子装置的闪光灯的启用状态下拍摄所述主体来获得第二图像；基于深度信息将权重分配给第二图像；对第一图像、第二图像和深度图像执行预处理以在坐标系上表示第一图像、第二图像和深度图像；以及根据分配给第二图像的权重，使用预处理的第一图像、预处理的第二图像或预处理的深度图像中的至少一个来获得已经从其去除光反射的图像。
15、根据本公开的一个方面，一种用于处理图像的电子装置包括：相机模块；存储器，存储一个或多个指令；以及至少一个处理器，通信地耦合到所述相机模块和所述存储器，并且被配置为执行存储在所述存储器中的所述一个或多个指令以进行以下操作：使用所述相机模块通过拍摄主体来获得第一图像；使用所述相机模块获得包括与从所述电子装置到所述主体的距离相关的信息的深度图像；确定光反射是否存在于第一图像中；基于光反射存在于第一图像中，获得指示从所述电子装置到所述主体的距离的深度信息；基于深度信息，通过在所述电子装置的闪光灯的启用状态下拍摄所述主体来获得第二图像；执行用于匹配第一图像、第二图像和深度图像并且在坐标系上表示第一图像、第二图像和深度图像的预处理；以及使用预处理的第一图像、预处理的第二图像或预处理的深度图像中的至少一个来获得已经从其去除光反射的图像。
16、根据本公开的一个方面，提供了一种计算机可读记录介质，其上记录有程序，所述程序用于在计算机上执行根据本公开的第一方面的方法。
本文档来自技高网...【技术保护点】
1.一种由电子装置执行的处理图像的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述获得第二图像，包括：通过将深度信息与阈值进行比较来确定是否启用所述电子装置的闪光灯。
3.根据权利要求2所述的方法，其中，确定是否启用闪光灯，包括：基于深度信息与所述阈值的比较的结果指示深度信息小于所述阈值，确定启用所述电子装置的闪光灯，并且通过在所述电子装置的闪光灯的启用状态下拍摄所述主体来获得第二图像。
4.根据权利要求3所述的方法，其中，所述获得已经从其去除光反射的图像，包括：将第一图像、第二图像和深度图像应用于光反射去除模型。
5.根据权利要求2所述的方法，其中，确定是否启用闪光灯，包括：基于深度信息与所述阈值的比较的结果指示深度信息大于或等于所述阈值，停用所述电子装置的闪光灯，并且
6.根据权利要求1所述的方法，其中，执行预处理，包括：
7.根据权利要求4所述的方法，其中，所述将第一图像、第二图像和深度图像应用于光反射去除模型，包括：
8.一种用于处理图像的电子装置，所述电子装置包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种由电子装置执行的处理图像的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述获得第二图像，包括：通过将深度信息与阈值进行比较来确定是否启用所述电子装置的闪光灯。
3.根据权利要求2所述的方法，其中，确定是否启用闪光灯，包括：基于深度信息与所述阈值的比较的结果指示深度信息小于所述阈值，确定启用所述电子装置的闪光灯，并且通过在所述电子装置的闪光灯的启用状态下拍摄所述主体来获得第二图像。
4.根据权利要求3所述的方法，其中，所述获得已经从其去除光反射的图像，包括：将第一图像、第二图像和深度图像应用于光反射去除模型。
5.根据权利要求2所述的方法，其中，确定是否启用闪光灯，包括：基于深度信息与所述阈值的比较的结果指示深度信息大于或等于所述阈值，停用所述电子装置的闪光灯，并且
6.根据权利要求1所述的方法，其中，执行预处理，包括：
7.根据权利要求4所述的方法，其中，所述将第一图像、第二图像和深度图像应用于光反射去除模...
【专利技术属性】
技术研发人员：萨基卜·雷扎，奥雅纳·库马尔·萨卡尔，雷德万·哈克·索拉夫，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。