用于相机控制的方法、图像信号处理器及设备技术

用于相机控制以获取图像的方法和设备。方法包括：由图像传感器获取包括至少一帧的图像帧流；通过图像传感器获取目标帧；确定目标帧中的场景信息；通过识别参考帧中目标帧的场景信息，从图像帧流中选择参考帧；确定参考帧的至少一个采集参数；并且使用采集参数从目标帧获取最终图像。获取最终图像。获取最终图像。

【技术实现步骤摘要】
用于相机控制的方法、图像信号处理器及设备


[0001]本专利技术涉及电子设备和控制这种电子设备的方法。更特别地，本专利技术涉及一种用于相机控制以获取图像的方法以及实现该方法的图像信号处理器(ISP)。此外，本专利技术涉及实现这种方法的设备。

技术介绍

[0002]在当前现有的相机系统中，一些场景的取景是困难的，并且用于自动白平衡(AWB)、自动曝光控制(AEC)和色调映射(TM)的实施的算法可能会产生不令人满意的结果。特别是如果帧中只有一种颜色或只有有限数量的不同颜色可见，AWB可能无法达到正确的照明估计，并且AEC/TM可能无法正确估计对象的真实亮度。因此，同一场景的不同帧之间的颜色和亮度再现可能会不一致，从而导致图像和视频质量较差，以及用户体验较差。
[0003]同一场景的不同取景具有不同颜色和/或亮度再现的问题仍然存在于所有数码相机设备中。最常见的时间稳定性的处理仍然依赖于AWB/AEC/TM算法的采集参数的直接时间过滤，例如通过使用得出多帧算法结果的修剪均值或其他类似过滤器，这确保后续帧的采集参数之间的平滑过渡，但不能确保始终一致地再现相同照明下的相同对象。
[0004]为了解决此问题，应该使用更多关于场景的信息，而不仅仅是当前的相机帧。一种可能性是对连续的AWB和/或AEC/TM结果进行时间过滤。这会导致每个后续帧之间的平滑过渡，但不会防止收敛到错误的参数。因此，它不能解决提出的问题。
[0005]因此，本专利技术的目的是提高自动白平衡(AWB)、自动曝光控制(AEC)和色调映射(TM)算法中图像和视频的颜色和亮度再现的一致性和准确性。

技术实现思路

[0006]通过本专利技术，提供了用于相机控制以获取图像的方法，并且提供了相机设备。
[0007]在本专利技术的第一方面中，提供了用于相机控制以获取图像的方法。方法包括以下步骤：
[0008]通过图像传感器获取包括至少一个帧的图像帧流；
[0009]通过图像传感器获取目标帧；
[0010]确定目标帧的场景信息；
[0011]通过识别参考帧中的目标帧的场景信息，从图像帧流中选择至少一个参考帧；
[0012]确定参考帧的至少一个采集参数；以及
[0013]通过至少一个采集参数从目标帧确定最终图像。
[0014]因此，根据本专利技术，由相机的图像传感器获取包括至少一个帧并且优选地包括多个后续帧的图像帧流。特别地，图像帧流可以用作相机的预览，或者可以是视频流的一部分。
[0015]随后，由图像传感器获取目标帧，其中目标帧的选择可以通过用户交互来执行，诸如按下触发按钮开始录制视频或获取图像或者是视频流的下一个图像或者是预览操作的
帧。因此，目标帧是用户想要捕捉或在预览中显示给用户的图像的原始数据。
[0016]随后，确定目标帧的场景信息。其中，场景信息可以与整个目标帧或目标帧中的任何现实世界对象相关。其中，对象包括可用于在图像帧流中识别的形状、表面和结构，并且可以包含多个整个对象和一些部分可见的对象，或者它可以仅包含一个对象的一部分。此外，可以为部分目标帧或完整目标帧确定场景信息。类似地，为了识别图像帧流的相应图像帧中的场景信息，可以确定图像帧的一部分或完整图像帧的场景信息以识别场景信息的匹配。
[0017]之后，通过在参考帧中识别目标帧的场景信息，从图像帧流中选择至少一个参考帧。检查图像帧流中的每个帧是否存在与相应图像帧中目标的对应场景信息的至少部分匹配。因此，检查图像帧流的图像帧的一致场景信息。具体而言，可以通过场景信息将目标帧内容与早期帧作为一个整体进行比较，以查看当前帧内容中有多少在早期帧中可见，而无需将目标帧内容分割成对象然后逐个对象来比较。如果能够在图像帧流的其中一帧中识别出场景信息，则选择图像帧流中的此帧作为参考帧。其中，优选地，此方法连续地检查图像帧流中的图像帧以识别相应的场景信息并选择参考帧。可替代地，仅检查那些可能提高采集准确性和一致性的图像帧。
[0018]从参考帧确定至少一个或多个采集参数，并且通过使用所确定的采集参数从目标帧确定最终图像。其中，采集参数可以与自动白平衡(AWB)、自动曝光控制(AEC)和/或色调映射(TM)参数有关。
[0019]因此，本专利技术使用在捕获目标帧之前获取的图像帧的采集参数，以提高图像和视频的颜色和亮度再现的一致性和准确性。因此，通过本专利技术，从先前获取的图像帧使用关于在其中操作相机的场景的更多信息。
[0020]优选地，场景信息可以包括针对图像帧流中的图像帧和目标帧的定位信息，例如，同时定位和映射(SLAM)数据。因此，通过利用SLAM数据，相机可以很容易地通过SLAM数据的重叠来确定场景信息是否匹配。其中，例如，通过SLAM数据，可以确定目标帧的对象的存在，该对象也存在于图像帧流的一个图像帧中。因此，基于获取的SLAM数据，可以执行参考帧的选择。其中，可以针对目标帧的一部分或完整的目标帧获取SLAM数据。类似地，可以针对完整的图像帧中的每一个或仅相应图像帧的部分获取SLAM数据。通过使用SLAM数据，无需使用大量带注释的真值数据来训练任何对象识别，从而降低了积累高质量训练数据的成本。此外，通过使用SLAM数据，本专利技术不限于识别特定的和先前训练的对象。特别地，通过使用SLAM数据，该方法独立于相应对象，这些对象可以是现实世界的任何对象、特定结构、表面或形状，它们由SLAM过程定位和建图。此外，大多数现代终端，诸如智能手机、平板电脑等，已经实现了SLAM模块，使得SLAM模块提供的信息可以用于本专利技术中目标帧的识别。
[0021]优选地，场景信息包括图像帧和/或目标帧的深度信息或里程信息。替代地或附加地，场景信息包括图像传感器即相机的位姿。因此，优选地，相机包括惯性运动单元(IMU)中的一个或多个，诸如加速度传感器、陀螺仪等，以便能够获取相机的位姿。其中，对象的深度信息可以由立体相机测量、LIDAR等提供。其中，位姿和深度信息/里程信息也可以被包括在SLAM数据中。
[0022]优选地，通过在参考帧中识别目标帧的场景信息而从图像帧流中选择参考帧包括通过场景信息确定来自图像帧流的图像帧与目标帧的至少部分重叠。因此，通过匹配目标
帧和相应图像帧的场景信息，确定目标帧和图像帧的场景内容的部分重叠，以确保使用所选择的参考帧的至少一个采集参数确定最终图像是适用的。因此，通过至少部分重叠，当目标帧的场景信息与图像帧流的图像帧的场景信息一致时，目标帧中存在且可见的对象在相应图像帧中也至少部分存在且可见。
[0023]优选地，场景信息包括场景的坐标并且优选地包括场景的对象。通过识别目标帧的场景信息从图像流中选择参考帧包括计算场景的坐标以及确定与图像帧流的相应图像帧的坐标的重叠。因此，如果根据计算出的坐标，相应图像帧与目标帧的场景之间存在足够的重叠，则可以选择该图像帧作为参考帧。其中，如果使用对象的坐标，则对象可以是任何真实世界的对象，诸如形状、结构、表面等。此对象还可以是数个真实世界对象或其一部分，仅一个现实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于相机控制以获取图像的方法包括：通过图像传感器获取包括至少一个帧的图像帧流(S01)；通过所述图像传感器获取目标帧(S02)；确定所述目标帧的场景信息(S03)；通过识别参考帧中的所述目标帧的所述场景信息，从所述图像帧流中选择至少一个参考帧(S04)；确定所述参考帧的至少一个采集参数(S05)；以及通过所述至少一个采集参数从所述目标帧确定最终图像(S06)。2.根据权利要求1所述的方法，其中，所述场景信息包括定位信息，并且优选地包括图像帧和所述目标帧的同步定位和建图(SLAM)数据。3.根据权利要求1所述的方法，其中，所述场景信息包括所述图像帧和/或所述目标帧的深度信息和/或所述图像传感器的位姿。4.根据权利要求1所述的方法，其中通过识别参考帧中的所述目标帧的所述场景信息从所述图像帧流中选择所述参考帧包括通过所述场景信息从所述图像帧流中确定与所述目标帧至少部分重叠的图像帧。5.根据权利要求4所述的方法，其中场景信息包括场景的坐标，并且其中通过识别目标帧的场景信息从图像流中选择参考帧包括计算目标帧的坐标并确定与图像帧流的相应图像帧中的坐标的至少部分重叠。6.根据权利要求5所述的方法，其中，计算场景的坐标包括：获取帧(u,v,0)中像素的深度信息d；优选地通过下式确定相机系统中的坐标(X
cam
,Y
cam
,d,1)X
cam
＝(u
×4‑
px)
×
d
÷
cx以及Y
cam
＝(v
×
4+60
‑
py)
×
d
÷
cy其中(px,p...

【专利技术属性】
技术研发人员：亚尔诺，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：