使用多个图像的图像阴影检测制造技术

本公开的实施例涉及使用多个图像的图像阴影检测。当用户握住相对于对象定位的相机时，可以获得如由相机捕获的对象的第一图像和对象的第二图像。可以比较第一图像的第一强度图与从该第一强度图和第二图像的第二强度图获得的组合强度图之间的强度变化。然后，可以基于强度变化在第一图像内标识阴影。

【技术实现步骤摘要】
使用多个图像的图像阴影检测
本说明书涉及数字图像处理中的阴影检测。
技术介绍
当捕获到不想要的阴影时，通常会降低数字图像的图像质量。此外，数字图像的后续使用可能不可用或受到损害。例如，可能模糊在数字图像中捕获的文本。然后，期望的图像处理可能包括误差，例如，如果处理不正确地将阴影解释为数字图像的实际图像元素。随着频繁使用移动设备相机捕获数字图像，包含不想要的阴影是特别频繁和有问题的。例如，用户经常将他们的移动设备定位在文档上方以捕获文档的图像。在这些以及类似的上下文中，移动设备的定位经常导致捕获文档上的阴影。然而，阴影检测通常是困难的，有问题的并且容易出错。例如，现有技术可以标识假阳性，诸如通过将图像元素不正确地标识为阴影。现有技术也易于检测假阴性，其中实际阴影不被如此标识。另外，现有技术对用户来说可能是麻烦的。例如，这些技术可能需要不期望的长处理时间来完成，或者可能需要用户的过多输入。
技术实现思路
根据一个一般方面，计算机程序产品有形地体现在非瞬态计算机可读存储介质上并且包括指令。当由至少一个计算设备执行时，指令被配置为使得至少一个计算设备获得由相机捕获的对象的第一图像和对象的第二图像。指令在被执行时还被配置为使得至少一个计算设备比较第一图像的第一强度图与第二图像的第二强度图和从至少第一强度图和第二强度图获得的组合强度图中的至少一个之间的强度变化，并且基于强度变化标识第一图像内的阴影。根据另一个一般方面，计算机程序产品有形地体现在非瞬态计算机可读存储介质上并且包括指令。当由至少一个计算设备执行时，指令被配置为使得至少一个计算设备将针对第一图像的第一强度图划分为第一部分强度图，并且将针对第二图像的第二强度图划分为第二部分强度图。指令在被执行时还被配置为使得至少一个计算设备基于第一部分强度图和第二部分强度图生成组合强度图，基于组合强度图与第一强度图部分和第二强度图部分中的至少一个的比较来生成至少一个变化图，并且基于至少一个变化图标识第一图像和第二图像中的至少一个内的阴影。根据另一个一般方面，一种方法包括在用户握住相对于对象定位的相机的同时获得由相机捕获的对象的第一图像和对象的第二图像。该方法包括比较第一图像的第一强度图和从第一强度图和第二图像的第二强度图获得的组合强度图之间的强度变化，并且基于强度变化标识第一图像内的阴影。在附图和以下描述中阐述了一个或多个实现的细节。根据说明书和附图以及权利要求，其他特征将是明显的。附图说明图1是用于使用多个图像的图像阴影检测的系统的框图。图2图示了可以在图1的系统中使用的示例输入图像和对应的强度图。图3图示了图2的示例强度图的示例处理。图4图示了使用图3的技术处理图2的强度图。图5图示了图1的系统的第一示例实现。图6图示了图1的系统的第二示例实现。图7图示了图1的系统的第三示例实现。图8图示了图1的系统的第四示例实现，其中没有检测到阴影。图9图示了图1的系统的第五示例实现，其中检测到边界检测失败。图10图示了图1的系统的第六示例实现，其中避免了假阳性阴影检测。图11是图示图1的系统的示例操作的流程图。图12是图示图1的系统的示例操作的更详细的示例流程图。具体实施方式该文档描述了使用多个图像(诸如多个图像帧)提供图像阴影检测的系统和技术。这些系统和技术克服了先前系统和技术的技术挑战，并改进了执行相关自动处理的(多个)过程。例如，所描述的技术提供使用由用户的移动设备相机捕获的文档的多个图像帧执行的快速且准确的阴影检测，包括在定位相机以捕获文档图像时依赖于用户手的小动作。例如，多个图像或图像帧可以包括由移动设备或其他相机设备临时显示、捕获、缓冲、高速缓存和/或以其他方式利用的预览帧。例如，当移动设备切换到相机模式时，移动设备的屏幕通常将显示包括在移动设备的当前视野中的任何内容的图像，甚至在用户激活图像捕获功能之前(例如，按下图像捕获图标或按钮)。例如，通过缓冲这些预览图像帧，一旦实际启动图像捕获功能(例如，按下图像捕获图标或按钮)，移动设备相机就能够实现更快和/或更准确的图像捕获。类似地，文档捕获应用包括为捕获和处理文档及其内容而设计和优化的专用应用(例如，文本识别)。当文档捕获应用被激活时，文档捕获应用可以进入校准模式，例如，以执行要捕获的文档的边缘检测或其他初步处理。在这样的校准模式期间，再次，可以主动捕获并存储预览图像帧以用于应用的正常操作，以及用于实现本文提供的所描述的阴影检测技术。这种所描述的阴影检测技术利用有效、快速、准确、完整且广泛适用的(多种)算法以用于检测和标识阴影，并且用于提供校正措施以减少或消除检测到的阴影的负面影响。例如，当检测到阴影时，所描述的技术可以被用来自动打开正在使用的相机的闪光或闪光灯/手电筒，以便在实际图像捕获发生之前消除阴影。在其他示例中，可以标识和表征所捕获的图像内检测到的阴影，例如在图像元数据内。然后，随后可以使用图像元数据来使图像编辑技术，例如能够去除阴影。在其他示例中，类似的图像元数据可以被用来实现期望的图像处理，而不必移除检测到的阴影。例如，可以处理包括文本的所捕获的文档的图像用于文本识别，并且可以使用表征检测到的阴影的存在的图像元数据来确保准确地执行文本识别处理。所描述的技术是高度可配置的，并且能够在可用资源和期望结果之间实现期望的权衡。例如，可以使用少至两个图像或使用更多数目的图像来实现这些技术。一般而言，例如，使用较少的图像帧可提供更快的结果，而使用更多图像帧可提供更准确的结果(假设相同或相似的资源的可用性的情况下，通常需要更长的时间)。当更大的处理资源可用时，可以使用更多图像帧来实现所描述的技术，同时提供快速、高度准确的结果。因此，所描述的技术是快速的，并且提供很少或没有提供用户执行图像捕获所经历的延迟。当发生阴影检测时，可以向用户提供多个选项，诸如自动或手动激活闪光或闪光灯，建议重新定位相机或光源以避免检测到的阴影，或者建议利用可能解释阴影存在的可用图像处理技术。例如，可以在适当配置的用户界面的上下文中提供这些选项中的一些。所描述的技术提供了对可能阴影的包容性检测，从而避免了假阴性阴影检测的可能性。尽管如此，所描述的技术还提供了可能被错误地标识为阴影的异常值的检测和标识，从而避免了假阳性阴影检测。此外，所描述的技术使得能够检测可能期望检测或校正的其他图像元素，诸如在捕获的图像内错误或不期望地包含边界误差(诸如，当捕获图像或不正确地裁剪图像时)。在示例实现中，每个图像帧的强度图可以被构造。然后，各个强度图可以被划分或分成多个部分，诸如相对于强度图定义的网格或矩阵的单元。可以处理每个强度图的每个部分以获得组合强度度量(例如，平均强度度量)，从而形成组合强度图。然后，可以计算每个单独部分的度量与组合强度图的对应部分的度量之间的变化。具有在(多个)阈值范围内(或在阈值范围之外)的变化的部分可以被标识为用于包括本文档来自技高网...

【技术保护点】
1.一种计算机程序产品，所述计算机程序产品被有形地体现在非瞬态计算机可读存储介质上并且包括指令，所述指令在由至少一个计算设备执行时被配置为使所述至少一个计算设备：/n获得由相机捕获的对象的第一图像和所述对象的第二图像；/n比较所述第一图像的第一强度图与所述第二图像的第二强度图和组合强度图中的至少一个之间的强度变化，所述组合强度图至少从所述第一强度图和所述第二强度图被获得；以及/n基于所述强度变化标识所述第一图像内的阴影。/n

【技术特征摘要】
20190129 US 16/260,7621.一种计算机程序产品，所述计算机程序产品被有形地体现在非瞬态计算机可读存储介质上并且包括指令，所述指令在由至少一个计算设备执行时被配置为使所述至少一个计算设备：
获得由相机捕获的对象的第一图像和所述对象的第二图像；
比较所述第一图像的第一强度图与所述第二图像的第二强度图和组合强度图中的至少一个之间的强度变化，所述组合强度图至少从所述第一强度图和所述第二强度图被获得；以及
基于所述强度变化标识所述第一图像内的阴影。


2.根据权利要求1所述的计算机程序产品，其中所述指令在被执行时还被配置为使所述至少一个计算设备：
将所述第一强度图划分为第一部分强度图；
将所述第二强度图划分为第二部分强度图；以及
生成所述组合强度图，包括将所述第一强度图的每个部分与所述第二强度图的每个对应部分组合。


3.根据权利要求2所述的计算机程序产品，其中所述指令在被执行时还被配置为使所述至少一个计算设备：
针对所述第一部分强度图的每个部分生成对应的第一局部平均强度；
针对所述第二部分强度图的每个部分生成对应的第二局部平均强度；以及
生成所述组合强度图，包括使用所述对应的第一平均局部强度和所述对应的第二局部平均强度，针对所述组合强度图的每个部分生成全局平均强度。


4.根据权利要求2所述的计算机程序产品，其中所述指令在被执行以比较所述强度变化时还被配置为使所述至少一个计算设备：
生成具有多个部分的第一变化图，所述第一变化图的所述多个部分对应于所述第一部分强度图的多个部分，并且还对应于所述组合强度图的多个部分，其中所述第一变化图的每个部分包括所述组合强度图的对应多个部分和所述第一部分强度图的对应多个部分之间的相对差异。


5.根据权利要求4所述的计算机程序产品，其中所述指令在被执行时还被配置为使所述至少一个计算设备：
针对所述第一变化图的每个部分，确定其中的所述相对差异是否在阈值范围之外；以及
确定在所述阈值范围之外的所述第一变化图的每个部分是用于表示所述阴影的对应阴影部分的候选部分。


6.根据权利要求5所述的计算机程序产品，其中所述指令在被执行时还被配置为使所述至少一个计算设备：
确定所述第一变化图的每个候选部分是否与最小数目的附加候选部分相邻；以及
将每个最小相邻候选部分指定为所述阴影的所述对应阴影部分。


7.根据权利要求5所述的计算机程序产品，其中所述指令在被执行时还被配置为使所述至少一个计算设备：
生成具有多个部分的第二变化图，所述第二变化图的所述多个部分对应于所述第二部分强度图的多个部分，并且还对应于所述组合强度图的多个部分，其中所述第二变化图的每个部分包括所述组合强度图的对应多个部分和所述第二部分强度图的对应多个部分之间的相对差异。


8.根据权利要求7所述的计算机程序产品，其中所述指令在被执行时还被配置为使所述至少一个计算设备：
针对所述第二变化图的每个部分，确定其中的所述相对差异是否在所述阈值范围之外；
确定在所述阈值范围之外的所述第二变化图的每个部分是用于表示所述阴影的所述对应阴影部分的第二候选部分；以及
基于每个候选部分和每个第二候选部分，确定所述第一图像的每个对应部分是否应该被指定为所述阴影的所述对应阴影部分。


9.根据权利要求1所述的计算机程序产品，其中所述指令在被执行时还被配置为使所述至少一个计算设备：
基于所述阴影的所述标识激活所述相机的光源。


10.根据权利要求1所述的计算机程序产品，其中所述指令在被执行时还被配置为使所述至少一个计算设备：
在所述相机的查看帧的激活之后的成帧时段期间获得所述第一图像和所述第二图像，在所述成帧时段期间，在图像捕获的启动在...

【专利技术属性】
技术研发人员：P·蒙达尔，A·萨拉，A·巴尔，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US