提供了一种方法，包括：获得场景的第一图像帧和多个第二图像帧，所述多个第二图像帧中的每一个具有与所述第一图像帧的曝光时间不同的曝光时间；使用至少一个卷积神经网络生成光流信息，其中，所述光流信息指示所述场景中的至少一个对象的运动信息；基于所述光流信息确定用于运动校正处理的至少一个参数；对所述第一图像帧和所述多个第二图像帧中的至少一个执行所述运动校正处理以生成第一中间数据，其中，所述运动校正处理使用已识别的至少一个参数；以及根据所述第一中间数据生成目标图像帧。帧。帧。
【技术实现步骤摘要】
使用多曝光帧进行运动扭曲的系统及方法
[0001]相关申请的交叉引用
[0002]本申请要求于2020年4月1日提交的美国专利申请US16/837,785的优先权，其公开内容通过引用全部并入本文。
[0003]本公开的实施例涉及图像捕获系统。更具体地，本公开的实施例涉及使用多曝光帧进行运动扭曲的系统及方法。
技术介绍
[0004]许多移动电子设备(例如智能电话和平板计算机)包括可以被用于捕获静止图像和视频图像的相机。虽然方便，但是移动电子设备上的相机通常具有多个缺点。例如，移动电子设备上的相机通常在弱光情况下性能较差。虽然通过增加曝光时间可以增加由图像传感器收集的光的量，但是这也增加了由于对象和相机运动而产生模糊图像的风险。一种解决模糊的方法是捕获场景的多个图像帧，然后组合图像帧的“最佳”部分以产生混合图像。然而，基于具有不同曝光的图像帧的集合产生混合图像是具有挑战的处理，对于动态场景尤其如此。
技术实现思路
[0005]本公开的实施例提供了用于防止所捕获的图像中出现模糊的方法和电子设备。此外，本公开的实施例提供了使用多曝光帧进行运动扭曲的方法和电子设备。
[0006]根据本公开的实施例，提供了一种方法，包括：使用电子设备的至少一个图像传感器，获得场景的第一图像帧和多个第二图像帧，多个第二图像帧中的每一个具有与第一图像帧的曝光时间不同的曝光时间；使用至少一个处理器，通过使用至少一个卷积神经网络来生成光流信息，其中，光流信息指示场景中的至少一个对象的运动信息；使用至少一个处理器，基于光流信息确定用于运动校正处理的至少一个参数；使用至少一个处理器，对第一图像帧和多个第二图像帧中的至少一个执行运动校正处理以生成第一中间数据，其中，运动校正处理使用已识别的至少一个参数；以及使用至少一个处理器，基于第一中间数据生成目标图像帧。
[0007]此外，根据本公开的实施例，其中，执行运动校正处理包括：使用至少一个处理器，通过使用卷积神经网络来对第一图像帧和第二图像帧中的每一个进行编码，以生成对应的特征图；使用至少一个处理器，将与第一图像帧相对应的特征图的编码特征和与第二图像帧相对应的特征图的编码特征对准。
[0008]此外，根据本公开的实施例，其中，光流信息包括至少一个光流图，并且其中，将与第一图像帧相对应的特征图的编码特征和与第二图像帧相对应的特征图的编码特征对准包括：使用至少一个光流网络，生成表示第一图像帧和第二图像帧之中的至少一个帧对之间的逐像素差的至少一个光流图；以及使用至少一个光流图对特征图中的至少一个执行扭
曲操作，并且其中，生成目标图像帧包括：使用至少一个处理器，通过使用卷积神经网络来对具有经对准的编码特征的特征图进行解码，以生成场景的目标图像帧。
[0009]此外，根据本公开的实施例，每个第二图像帧的曝光时间短于第一图像帧的曝光时间。
[0010]此外，根据本公开的实施例，第二图像帧中的一个第二图像帧的曝光时间长于第一图像帧的曝光时间；并且第二图像帧中的另一第二图像帧的曝光时间短于第一图像帧的曝光时间。
[0011]此外，根据本公开的实施例，方法还包括：在对具有经对准的编码特征的特征图进行解码之前，对具有经对准的编码特征的特征图进行级联。
[0012]此外，根据本公开的实施例，第一图像帧被用作参考帧，第二图像帧被用作非参考帧。
[0013]此外，根据本公开的实施例，卷积神经网络包括生成式对抗网络。
[0014]此外，根据本公开的实施例，生成光流信息包括：通过使用光流网络生成光流信息，其中，确定至少一个参数包括：使用光流信息生成指示第一图像帧的运动方向的模糊核；以及使用至少一个处理器，通过使用卷积神经网络来将模糊核精细化。
[0015]此外，根据本公开的实施例，执行运动校正处理包括：使用精细化的模糊核和遮挡掩模执行遮挡感知解卷积运算；并且生成目标图像帧包括：渲染目标图像帧的静态背景。
[0016]此外，根据本公开的实施例，每个第二图像帧的曝光时间短于第一图像帧的曝光时间。
[0017]此外，根据本公开的实施例，光流网络确定多个第二图像帧之间的光流以生成模糊核。
[0018]此外，根据本公开的实施例，在生成场景的目标图像帧之前，估计用于第二图像帧的遮挡掩模。
[0019]此外，根据本公开的实施例，提供了一种电子设备，包括：至少一个图像传感器；以及至少一个处理器，被配置为：从至少一个图像传感器获得场景的第一图像帧和多个第二图像帧，多个第二图像帧中的每一个具有与第一图像帧的曝光时间不同的曝光时间；使用至少一个卷积神经网络生成光流信息，其中光流信息指示场景中的至少一个对象的运动信息；基于光流信息确定用于运动校正处理的至少一个参数；对第一图像帧和多个第二图像帧中的至少一个执行运动校正处理以生成第一中间数据，其中，运动校正处理使用已确定的至少一个参数；以及根据第一中间数据生成目标图像帧。
[0020]此外，根据本公开的实施例，提供了一种包含指令的非暂时性机器可读介质，当指令被执行时使电子设备的至少一个处理器：使用电子设备的至少一个图像传感器，获得场景的第一图像帧和多个第二图像帧，多个第二图像帧中的每一个具有与第一图像帧的曝光时间不同的曝光时间；使用至少一个卷积神经网络生成光流信息，其中光流信息指示场景中的至少一个对象的运动信息；基于光流信息确定用于运动校正处理的至少一个参数；对第一图像帧和多个第二图像帧中的至少一个执行运动校正处理以生成第一中间数据，其中，运动校正处理使用已确定的至少一个参数；以及根据第一中间数据生成目标图像帧。
[0021]根据下面的附图、描述和权利要求，其他技术特征对本领域技术人员而言可以是容易理解的。
附图说明
[0022]根据以下结合附图的描述，本公开的一些实施例的上述和其它方面、特征以及优点将更清楚，在附图中：
[0023]图1示出了包括根据本公开的实施例的电子设备的示例网络配置；
[0024]图2示出了根据本公开的实施例的使用多曝光图像帧进行运动扭曲的示例处理；
[0025]图3示出了根据本公开的实施例的用于训练卷积神经网络的示例处理；
[0026]图4示出了根据本公开的实施例的用于生成用于图3的训练处理的训练数据的示例处理；
[0027]图5示出了根据本公开的实施例的用于产生高动态范围(HDR)帧的使用多曝光图像帧进行运动扭曲的示例处理；
[0028]图6示出了根据本公开的实施例的用于训练卷积神经网络的另一个示例处理；
[0029]图7示出了根据本公开的实施例的使用多个图像帧进行去噪的示例处理；
[0030]图8A和图8B示出了使用本公开的实施例可以实现的优点的示例；
[0031]图9示出了根据本公开的实施例的使用多个图像帧进行运动扭曲的示例方法；
[0032]图10示出了根据本公开的实施例的使用多曝光图像帧来去除运动模糊的示例处理；
[0033]图11A和图11B示本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于处理图像的方法，包括：使用电子设备的至少一个图像传感器，获得场景的第一图像帧和多个第二图像帧，所述多个第二图像帧中的每一个具有与所述第一图像帧的曝光时间不同的曝光时间；使用至少一个处理器，通过使用至少一个卷积神经网络来生成光流信息，其中，所述光流信息指示所述场景中的至少一个对象的运动信息；使用所述至少一个处理器，基于所述光流信息确定用于运动校正处理的至少一个参数；使用所述至少一个处理器，对所述第一图像帧和所述多个第二图像帧中的至少一个执行所述运动校正处理以生成第一中间数据，其中，所述运动校正处理使用已确定的至少一个参数；以及使用所述至少一个处理器，基于所述第一中间数据生成目标图像帧。2.根据权利要求1所述的方法，其中，执行所述运动校正处理包括：使用至少一个处理器，通过使用卷积神经网络对所述第一图像帧和所述第二图像帧中的每一个进行编码，生成对应的特征图；使用所述至少一个处理器，将与所述第一图像帧相对应的特征图的编码特征和与所述第二图像帧相对应的特征图的编码特征对准。3.根据权利要求2所述的方法，其中，所述光流信息包括至少一个光流图，并且其中，将与所述第一图像帧相对应的特征图的编码特征和与所述第二图像帧相对应的特征图的编码特征对准包括：使用至少一个光流网络，生成表示所述第一图像帧和所述第二图像帧之中的至少一个帧对之间的逐像素差的至少一个光流图；以及使用所述至少一个光流图对所述特征图中的至少一个执行扭曲操作，并且其中，生成目标图像帧包括：使用所述至少一个处理器，通过使用所述卷积神经网络对具有经对准的编码特征的特征图进行解码，生成所述场景的所述目标图像帧。4.根据权利要求2所述的方法，其中，每个第二图像帧的曝光时间短于所述第一图像帧的曝光时间。5.根据权利要求2所述的方法，其中：所述第二图像帧中的一个第二图像帧的曝光时间长于所述第一图像帧的曝光时间；并且所述第二图像帧中的另一第二图像帧的曝光时间短于所述第一图像帧的曝光时间。6.根据权利要求2所述的方法，还包括：在对具有经对准的编码特征的特征图进行解码之前，对所述具有经对准的编码特征的特征图进行级联。7.根据权利要求2所述的方法，其中，所述第一图像帧被用作参考帧，所述第二图像帧被用作非参考帧。8.根据权利要求...
【专利技术属性】
技术研发人员：杨安琪，约翰，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。