用于生成相机流的掩模的方法、计算机程序产品和计算机可读介质技术

本发明专利技术是一种用于基于具有连续图像的相机流来生成用于非静态区域的掩模(40)的方法，包括以下步骤：

【技术实现步骤摘要】
【国外来华专利技术】用于生成相机流的掩模的方法、计算机程序产品和计算机可读介质


[0001]本专利技术涉及一种用于生成用于相机流的非静态区域的掩模的方法。本专利技术还涉及实现该方法的计算机程序产品和计算机可读介质。

技术介绍

[0002]处理相机流的多个图像通常包括减去连续图像或帧，以便区分图像的静止部分和动态部分或变化部分。大多数应用(例如与自主车辆相关的那些应用)通常需要忽略图像的静止部分，从而导致更快且更有效地处理动态变化的部分。
[0003]US 6061476中公开了一种使用图像减法和动态阈值的方法。在印刷电路板上应用锡膏之前和之后拍摄图像，然后减去之前和之后的图像以便检查所应用的锡膏。通过动态阈值而非标量阈值来分离减影图像的前景和背景，进一步处理负减影图像和正减影图像两者。动态阈值被认为能够比标量阈值更精确地检测前景。动态阈值处理导致减去正图像和减去负图像，并且随后将这些图像合并并进行二值化。通过Sobel边缘检测器对前后图像执行边缘检测，然后进行真峰值检测，以便消除假边缘。然后通过二值化映射对所得的图像进行二值化。通过减去二值化的之前和之后的图像来确定与锡膏相对应的像素。
[0004]上述方法的缺点是由于复杂的边缘检测算法，其不适合实时信号处理。
[0005]US 2011/0164823 A1中公开了一种用于从视频流中提取前景对象图像的方法。该方法包括通过计算帧和参考背景图像的边缘将图像的背景与前景分离。通过减去帧和参考背景图像的边缘来提取前景。该方法还可以包括阈值化以去除图像中的噪声。该方法的缺点在于，它需要在某些应用中可能难以提供的参考背景图像。例如，自主或自动驾驶汽车的仪表板相机可能无法拍摄该方法所需要的参考背景图像。
[0006]在US 2012/0014608 A1中，公开了一种用于图像处理的装置和方法。基于图像的特征分析，确定感兴趣区域(ROI)，并为ROI创建掩模。根据本专利技术，可以通过检测图像的边缘更精确地指定ROI，因为要通过该方法检测的特征具有可以通过边缘检测算法提取的连续边缘。通过不同方法生成的ROI掩模被合成，生成“最感兴趣区域”的掩模。但是，创建的掩模所覆盖的区域不仅限于感兴趣的特征，还包括其周围的一些环境，因为生成的掩模具有矩形形状。因此，上述方法仅确保图像的感兴趣的特征是掩模的一部分，但是该掩模可以包括另外的图像部分。这将导致更高的数据存储需求，这不利于图像的实时评估。
[0007]鉴于已知的方法，需要一种方法，借助于该方法可以以比现有技术的办法更高效的方式生成覆盖相机流的非静态区域的掩模，以实现相机流的实时掩模生成。
[0008]专利技术描述
[0009]本专利技术的主要目的是提供一种用于生成非静态相机流的掩模的方法，其在最大可能的程度上不存在现有技术办法的缺点。
[0010]本专利技术的目的是提供一种方法，借助于该方法，可以以比现有技术办法更高效的方式创建掩模，以便能够识别相机图像的非静态区域。因此，本专利技术的目的是提供一种快速
掩模生成方法，该方法能够实时生成掩模，从而能够从相机流中滤除不感兴趣的区域，主要是静态区域。
[0011]此外，本专利技术的目的是提供一种用于在一台或多台计算机上实现根据本专利技术的方法的步骤的非暂态计算机程序产品和一种包括指令的非暂态计算机可读介质，该指令用于在一台或多台计算机上执行该方法的步骤。
[0012]本专利技术的目的可通过如权利要求1所述的方法来达成。本专利技术的优选实施例在从属权利要求中定义。本专利技术的目的可通过根据权利要求16的非暂态计算机程序产品和根据权利要求17的非暂态计算机可读介质进一步实现。
[0013]与现有技术办法相比，根据本专利技术的方法的主要优点来自其生成仅覆盖感兴趣的区域(即相机图像的非静态部分)的掩模的事实。掩模的大小和形状对应于感兴趣的区域的实际区域和形状，因此可以避免处理任何其他像素。这可以节省图像的进一步处理的时间和资源。
[0014]根据本专利技术的方法的另一优点是，该方法对于照明变化具有稳健性，因为始终可以检测图像的边缘和变化的动态部分。因此，该方法可被用于任何照明和天气条件，且不受照明变化的影响。即使阴影落在图像的基本静态区域上，也将不会影响掩模生成，因为掩模生成从图像的中间开始，因此掩模生成将在到达这些区域之前已经完成，因为静态和非静态区域的边界总是比这些区域更靠近图像中心。
[0015]已经认识到，具有额外的边缘检测步骤在静态和非静态图像部分之间提供更多特征边缘，从而能够更快和更安全地分离用于掩模生成的非静态图像部分。所提供的特征边缘还可以通过简单的算法(如光线行进)安全且准确地生成掩模。因此，与由于附加边缘检测步骤而导致的更大计算需求相反，该方法的总体计算需求可以通过更简单的掩模生成来减少，并且同时生成的掩模将更精确。
[0016]根据本专利技术的方法能够实时生成掩模，因此该方法可应用于自主或自动驾驶汽车的相机所记录的图像，其中实时图像处理以及从图像中丢弃静态区域以节省计算资源是尤为重要的。
[0017]在根据本专利技术的方法中，除了来自相机流的图像之外，不需要进一步的信息或输入。
[0018]附图的简要说明
[0019]下面参考附图通过示例来描述本专利技术的优选实施例，其中：
[0020]图1是根据本专利技术的生成经累积差分图像的方法的实施例的各步骤的流程图，
[0021]图2是根据本专利技术的生成经累积边缘图像的方法的实施例的进一步步骤的流程图，以及
[0022]图3是根据本专利技术的从经累积差分图像和经累积边缘图像生成掩模的方法的实施例的更进一步步骤的流程图。
[0023]用于执行专利技术的模式
[0024]本专利技术涉及一种用于生成用于相机流的非静态区域的掩模的方法。相机流由相机提供，并且其具有连续图像10，优选连续图像序列10。图像10优选地以给定频率记录。相机可被安装在汽车或其他车辆的仪表板上，或自动驾驶或自主汽车或其他车辆的仪表板上。仪表板相机的视野通常覆盖车辆本身的各部分，例如仪表板或窗框的部分，这些部分是所
记录图像10的静态、不变的部分。这些部分在图像10的感兴趣的区域或范围之外，因此，通过为感兴趣的区域或范围(包括相机流的非静态、变化的部分)生成掩模来将它们排除在进一步处理之外是有益的。
[0025]相机可以被配置为记录彩色(例如RGB)图像或灰度图像，因此相机流的图像10可以是彩色图像或灰度图像。
[0026]根据本专利技术的方法包括以下步骤，如图1
‑
3中所解说的：
[0027]‑
通过累积差分图像12生成经累积差分图像14，每个差分图像12通过将相机流的两个图像彼此相减而获得，
[0028]‑
通过累积边缘图像24生成经累积边缘图像26，每个边缘图像24通过检测相机流的各个图像10中的边缘而获得，
[0029]‑‑
通过组合经累积边缘图像26和经累积差分图像14来生成组合图像30，
[0030]‑
为组合图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于基于具有连续图像(10)的相机流来生成用于非静态区域的掩模(40)的方法，包括以下步骤：
‑
通过累积差分图像(12)生成经累积差分图像(14)，每个差分图像(12)通过将所述相机流的两个图像(10)彼此相减而获得，
‑
通过累积边缘图像生成经累积边缘图像(26)，每个边缘图像(24)通过检测所述相机流的各个图像(10)中的边缘而获得，
‑
通过组合所述经累积边缘图像(26)和所述经累积差分图像(14)来生成组合图像(30)，
‑
为所述组合图像(30)定义第一阈值像素值，以及
‑
通过在所述组合图像(30)的掩模(40)中包括与所述第一阈值像素值具有相同关系的像素来生成所述掩模(40)。2.如权利要求1所述的方法，其特征在于，包括以下步骤：
‑
获得所述相机流的图像(10)，
‑
生成差分图像(12)，所述差分图像(12)是通过将两个连续图像(10)彼此相减而生成的，一个图像是获得的图像(10)，
‑
提供由先前生成的连续差分图像(12)之和构成的先前经累积差分图像(14)，并通过将所述差分图像(12)添加到所述先前经累积差分图像(14)来生成所述经累积差分图像(14)，
‑
通过检测所述获得的图像(10)中的边缘来生成边缘图像(24)，
‑
提供由连续先前生成的边缘图像(24)之和构成的先前经累积边缘图像(26)，并通过将所述边缘图像(24)添加到所述先前经累积边缘图像(26)来生成所述经累积边缘图像(26)，以及
‑
通过在所述掩模中包括所述组合图像(30)的像素来生成所述掩模(40)，所述像素与所述第一阈值像素值的关系与所述组合图像(30)的中心像素与所述第一阈值像素值的关系相同。3.如权利要求2所述的方法，其特征在于，所述掩模(40)的生成从所述组合图像(30)的中心像素开始并向组合图像(30)的外周进行，并且在其与所述第一阈值像素值的关系和所述组合图像(30)的中心像素与第一阈值像素值的关系不相同的像素处停止在所述掩模(40)中包括像素。4.如权利要求1所述的方法，其特征在于，重复权利要求1的各步骤，并且在满足停止条件的情况下停止所述掩模生成。5.如权利要求4所述的方法，其特征在于，借助于相对于预定极限值评估函数来检查所述停止条件，包括以下步骤：
‑
计算针对每个所生成掩模(40)的度量值，
‑
计算所述度量值的函数，以及
‑
基于所述函数的结果与所述预定极限值的比较来停止所述掩模(40)的生成。6.如权利要求5所述的方法，其特征在于：
‑
所述度量值是针对每个所生成掩模(40)计数的像素，
‑
所述函数包括：
‑
连续掩模(40)的像素计数之差...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：智动科技有限公司，
类型：发明
国别省市：