实时的语义感知的相机曝光控制制造技术

“曝光控制器”提供了用于训练和应用深度卷积网络的各种技术，以在大范围的真实世界照明条件下为大范围的图像物体类型改进图像质量的方式，提供实时自动相机曝光控制作为场景语义上下文的实时功能。由曝光控制器应用以实施该功能的深度学习方法首先使用监督式学习来实现良好的锚点，其模拟特定相机模型或类型的整体曝光控制，然后通过强化学习来精化。由曝光控制器提供的端对端系统(例如，曝光控制和图像捕获)提供实时性能，用于预测和设置相机曝光值，以在大范围的图像捕获情景(例如，背光场景、前照明、照明条件快速变化等)中提高最终图像的整体视觉质量。

Real-time Semantic Perception for Camera Exposure Control

【技术实现步骤摘要】
【国外来华专利技术】实时的语义感知的相机曝光控制
技术介绍
在恢复捕获图像时由于曝光不足或过度而丢失的视觉信息(也称为图像数据)方面，图像后处理操作通常不成功。因此，实时自动曝光是大多数消费者相机应用的基本操作，旨在利用适当的曝光设置拍摄高质量的照片。例如，基于智能手机的相机通常依赖于预定区域或区域集上的简单测光以找到合适的曝光。然而，在一般情景中，典型的自动曝光系统往往无法提供可接受的图像捕获结果。一些商用相机应用各种启发式算法来检测脸或对象。类似地，许多相机允许手动选择感兴趣区域(ROI)用于局部曝光调整。用于执行自动曝光控制的典型测光技术倾向于使用强度分布或柱状图(假设场景中的所有内容同等重要)或者通过考虑其他区域(诸如基于点或矩阵的技术)来分析图像或场景。这类技术还可以基于与图像中心的接近程度、检测到的脸或对象或者一些用户选择的焦点考虑固定权重。如此，在确定被拍摄场景的自动曝光校正或调整时，这些相机中的一些相机考虑各种类型的场景语义(例如，脸或对象检测等)。不幸的是，在许多背光情况下，典型的自动曝光控制系统趋于在背光物体(例如，人、对象等)上产生较差的对比度，同时提供背景本身良好的对比度。例如考虑典型的自动曝光控制，在明亮的窗户前站在室内的人将会相对于窗户表现出黑色轮廓。一般地，这与摄影师所喜欢的完全相反，例如，以洗掉背景为代价，在背光物体上实现良好的对比度。相反，非常暗的背景通常使得典型的自动曝光控制系统过度曝光感兴趣的前景对象。无论哪种情况，自动曝光控制系统使用不正确的曝光设置都会导致图像数据的丢失。
技术实现思路
提供以下
技术实现思路
部分来以简化方式介绍了在下面的具体实施方式部分进一步描述的一系列概念。本
技术实现思路
部分既不识别所要求主题的重要或关键要素也不界定所提主题的范围。此外，虽然本文可以讨论其他技术的特定优势，但所提主题不限于可解决这些其他技术的任何或所有缺点的实施。该
技术实现思路
部分的唯一目的是以简化形式呈现所提主题的一些概念，作为后面呈现的更详细描述的前奏。如本文所描述的，“曝光控制器”根据被使用的特定相机模型或类型的曝光能力提供用于应用基于深度学习的技术来执行实时自动相机曝光控制的各种技术(例如，快门速度、曝光时间、ISO设置、光圈、白平衡等)。换句话说，在各种实施中，曝光控制器提供了实时自动曝光系统，其被训练来隐式地应用场景语义(例如，主题类型、运动、脸、逆光等)，以预测和设置相机的适当曝光值，同时可选地补偿相机固件动态的延迟时。简单地说，在各种实施中，曝光控制器基于隐场景语义(本文还使用诸如“语义上下文”、“语义感知”等的术语)自动预测相机曝光选择。有利地，曝光控制器能够使典型的相机绕过现有的硬件测光功能，同时通过以计算方面的有效方式实时地自动预测优化的曝光值来快速、正确地响应场景和照明条件的变化。例如，在各种实施中，相机以连续或周期性捕获模式(也称为“取景器模式”等)进行操作，在这种模式中，相机连续地接收图像帧(无论用户或一些自动处理是否已经激活了相机快门按钮等)。然后，考虑由相机捕获到当前帧，曝光控制器以优化图像质量、快速收敛和最小时间振荡之间的折中方式，自动地预测并设置用于将被捕获的下一帧的相机曝光值。如此，相机可以在不同的场景和照明条件下移动，同时曝光控制器根据先前帧的曝光和语义来连续地预测和更新用于捕获后续图像曝光设置。这些实时预测通过将回归网络(例如，预训练网络(PTN)或奖励网络(RN))或机器学习上下文强盗网络(CBN)应用于每个输入帧来预测和设置用于下一帧的优化的相机曝光值来实现。可选地，在以预测的曝光设置捕获下一帧之前应用零帧或更多帧的延迟，以解释相机固件响应时间的任何延时(例如，相机响应指令以设置特定曝光设置花费多长时间)。换句话说，在各种实施中，曝光控制器在以预测的曝光设置捕获下一帧之前在设置相机曝光之前跳过一个或多个帧，以降低相机曝光设置中振荡行为的可能性。一般地，RN是机器学习模型或网络，其针对人类评分图像集合进行训练，以相对于根据与这些评分图像集合相关联的曝光设置和语义测定图像曝光质量来仿真人类感知。相比之下，PTN通过以下方式生成：使用监督式学习预训练深度卷积网络(或其他机器学习模型)，以模拟特定相机类型或模型的本地曝光控制系统，包括任何现有的语义感知曝光控制特征。通过应用RN精化PTN而生成CBN。更具体地，在各种实施中，将深度上下文强盗学习应用于PTN和RN的组合，以共同构建控制代理并得到区别性语义特征，从而生成提供实时语义感知相机曝光控制的机器学习模型(即，CBN)。换言之，在各种实施中，PTN经由深度上下文强盗算法进行微调，该算法考虑训练图像和源自RN的对应奖励值，以生成上述CBN。如此，相对于仅使用PTN或RN，所得到的CBN进一步提高了曝光控制器提供实时语义感知相机曝光控制作为先前图像帧的直接函数的能力。在各种实施中，整个学习过程通过以以下方式生成PTN而开始：使用监督式学习预训练深度卷积网络(或其他机器学习模型)，以模拟特定相机类型或模型的本地曝光控制系统，包括任何现有的语义感知曝光控制特征。如此，机器学习的PTN固有地提供预测曝光设置作为从当前图像帧提取的场景语义的隐函数的能力。这能够使曝光控制器将训练的PTN应用于输入图像，以在最佳曝光值附近找到合适的参考点，作为场景语义的隐函数。有利地，曝光控制器可应用PTN，无论其是否经由RN进行精化以生成CBN，从而从被相机捕获的当前帧预测并设置将被捕获的下一帧的相机曝光值。此外，由于不同的相机模型和类型可以在曝光设置方面具有广泛不同的成像能力，因此可使用由特定相机模型或类型捕获的图像和相关联的曝光控制设置来执行PTN的训练并由此执行CBN。如此，在PTN针对特定相机模型或类型进行训练的情况下，PTN是硬件依赖的，由此CBN也是硬件依赖的。换句话说，PTN和所得到的CBN都可以被训练来针对特定相机模型或类型实时地预测最佳的曝光控制值。相比之下，上述RN可以针对从一个或多个任意相机模型或类型捕获的任意图像集合进行训练。有利地，这意味着一旦被学习，硬件独立的RN就可以在为特定相机模型或类型训练新CBN时被重新使用。然而，对特定相机模型或类型训练的任何PTN和/或CBN也可以应用于预测不同相机模型或类型的曝光设置。此外，为了确保训练的CBN对场景语义(例如，明或暗背景下的脸或对象、室内场景、室外场景等)具有隐式响应，构建用于学习RN的训练集，以尽可能多或者可行地包括特定类型场景的许多示例。例如，如果期望确保以适当的对比度捕获脸而不考虑照明条件，则将在用于学习RN的训练数据中包括在各种不同照明条件下具有脸的大量图像。当训练RN时，包括具有任何期望场景语义和多种不同照明条件的类似训练集。因此，RN将自动学习具有对其进行训练的任何类型的场景语义的奖励图像的特征(基于图像曝光)。有利地，由于使用RN从PTN精化CBN，这能够使训练的CBN隐式地响应场景语义，而无需实际评估场景来确定场景内容，从而显著提高了CBN在实时曝光控制操作中的性能。本文描述的曝光控制器提供了各种技术，用于以在大范围的真实世界照明条件中针对大范围的图像对象类型改进图像质量的方式训练和应用深度卷积网络来提供实时自动相机曝光控制，作为场景语义上下文的实时功本文档来自技高网...

【技术保护点】
1.一种系统，包括：数字相机；所述相机连续地捕获图像帧；机器学习回归网络，在所述相机的计算功能上执行；所述回归网络从由所述相机捕获的当前图像帧自动地预测优化的相机曝光值；由所述回归网络进行所述预测以作为从所述当前图像帧提取的场景语义的隐函数；以及所述相机应用所预测的所述相机曝光值以捕获下一图像帧。

【技术特征摘要】
【国外来华专利技术】2017.01.28 US 62/451,689;2017.08.07 US 15/671,0671.一种系统，包括：数字相机；所述相机连续地捕获图像帧；机器学习回归网络，在所述相机的计算功能上执行；所述回归网络从由所述相机捕获的当前图像帧自动地预测优化的相机曝光值；由所述回归网络进行所述预测以作为从所述当前图像帧提取的场景语义的隐函数；以及所述相机应用所预测的所述相机曝光值以捕获下一图像帧。2.根据权利要求1所述的系统，其中，在应用所预测的所述相机曝光值之后，所述下一图像帧的捕获被延迟以所述连续捕获的帧的可调数目。3.根据权利要求2所述的系统，其中，帧的所述可调数目取决于所述相机的固件响应时间的延时。4.根据权利要求1所述的系统，其中，所述回归网络是机器学习预训练网络(PTN)。5.根据权利要求4所述的系统，其中，所述PTN通过以下来被生成以模拟被应用于捕获所述训练图像集合的相机类型的曝光控制系统：通过对训练图像集合和对应的相机曝光数据应用监督式学习来预训练深度卷积网络。6.根据权利要求1所述的系统，其中，所述回归网络是机器学习奖励网络(RN)。7.根据权利要求6所述的系统，其中，通过对人类评分图像集合和对应的相机曝光数据训练深度卷积网络来生成所述RN，...

【专利技术属性】
技术研发人员：王宝元，江胜明，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US