使用热成像分析法的故障安全检测制造技术

提供了对所捕获的热图像进行处理以确定热图像是否表现出与环境影响和/或安全条件相关联的劣化的各种技术。在一个示例中，一种方法包括捕获场景的多个热图像。对热图像进行处理以生成与第一时间段和第二时间段相关联的第一背景图像和第二背景图像，以滤除在相关联时间段内发生的场景中的变化。对第一背景图像和第二背景图像进行边缘滤波以生成第一边缘图像和第二边缘图像。将第一边缘图像和第二边缘图像进行比较以确定与场景相关联的边缘的变化。响应于比较而选择性地在故障安全模式操作设备。还提供了另外的方法和相关系统。

Fault Safety Detection Using Thermal Imaging Analysis

Various techniques are provided for processing captured thermal images to determine whether they exhibit deterioration associated with environmental impacts and/or security conditions. In one example, a method includes capturing multiple thermal images of a scene. The thermal image is processed to generate the first background image and the second background image associated with the first and second time periods, so as to filter out the changes in the scene occurring in the relevant time periods. The first and second background images are edge filtered to generate the first and second edge images. The first edge image and the second edge image are compared to determine the edge changes associated with the scene. Operate the device selectively in fail safe mode in response to comparison. Additional methods and related systems are also provided.

【技术实现步骤摘要】
【国外来华专利技术】使用热成像分析法的故障安全检测相关申请的交叉引用本申请主张于2016年9月29日提交的、题为“FAIL-SAFEDETECTIONUSINGTHERMALIMAGINGANALYTICS”的美国临时专利申请No.62/401,702的优先权和权益，其全部内容通过引用结合于此。
本专利技术总体上涉及热成像，并且更具体地，涉及响应于环境条件的热成像设备的操作。
技术介绍
热相机通常用于帮助监测和检测各种环境中的感兴趣活动。例如，在交通管理的情况下，热相机可以捕获交通路口的热图像。可以对所捕获的热图像执行目标检测处理，以检测例如在交通路口处等待交通信号的车辆的存在。如果通过这种处理检测到了车辆，则控制系统可以操作交通信号以允许车辆前行通过交通路口。如果所捕获的热图像劣化或不令人满意，则控制系统可能无法以可预测或期望的方式操作。例如，如果热相机布置在外部环境中，则它可能暴露于不断变化和有害的环境条件。这样的条件可以包括例如雨、雪、碎片或阻挡或遮挡热相机视场的其他材料的存在。在另一个示例中，可以移动热相机，使得其视场例如因风、物理冲击、人为操纵或其他因素而改变。在任何这些情况下，实际存在于感兴趣区域中的目标(例如，在路口处等待的车辆)可以不必通过目标检测处理来识别。就此而言，车辆可能因热相机的视场中的材料而被遮挡，或者车辆甚至可能会因热相机的物理旋转或平移(导致其捕获不同的视场)而不存在于热相机的视场中。结果，车辆可能无法通过目标检测处理来正确识别。因此，控制系统可能无法响应于车辆来操作交通信号，因此车辆可能在交通信号处等待过度或无限期的时间段。此外，在上述示例中，热相机本身实际上可以正常操作并且可以继续向适当的处理和控制系统提供热图像。然而，所捕获的图像本身仍然无法令人满意。结果，依赖于信号或功率损失的传统相机故障检测系统无法用于解决上述问题。
技术实现思路
提供了对所捕获的热图像进行处理以确定热图像是否表现出与环境影响和/或安全条件相关联的劣化的各种技术。例如，如果处理确定热图像不能可靠地用于目标检测，则可以将控制系统选择性地切换到在故障安全模式下操作。这些技术可以用于各种不同的应用，包括例如热交通相机的监测。在一个实施例中，一种方法包括：捕获场景的多个热图像；对热图像进行处理以生成与第一时间段和第二时间段相关联的第一背景图像和第二背景图像，以滤除在相关联时间段内发生的场景中的变化；对第一背景图像和第二背景图像进行边缘滤波以生成第一边缘图像和第二边缘图像；将第一边缘图像和第二边缘图像进行比较以确定与场景相关联的边缘的变化；以及响应于比较而选择性地在故障安全模式下操作设备。在另一个实施例中，一种系统：包括热相机，其被配置成捕获场景的多个热图像；存储部件，其被配置成存储热图像和多个机器可读指令；和处理器，其被配置成执行机器可读指令以：对热图像进行处理以生成与第一时间段和第二时间段相关联的第一背景图像和第二背景图像，以滤除在相关联时间段内发生的场景中的变化，对第一背景图像和第二背景图像进行边缘滤波以生成第一边缘图像和第二边缘图像，将第一边缘图像和第二边缘图像进行比较以确定与场景相关联的边缘的变化，并响应于比较而选择性地在故障安全模式下操作设备。本专利技术的范围由权利要求书来限定，这些权利要求通过引用结合到本部分中。通过考虑一个或多个实施例的以下详细描述，本领域技术人员可以更完整地理解本专利技术的实施例，以及实现其附加优点。将参考首先被简要描述的后附图页。附图说明图1示出了根据本公开的实施例的热成像、处理和控制系统的框图。图2示出了根据本公开的实施例的对所捕获的热图像执行的以确定是否已经发生故障安全条件的各种分析处理。图3A-图7B示出了根据本公开的实施例的被处理的以确定是否已经发生故障安全条件的各种热图像。通过参考下面的详细描述，可以最好地理解本专利技术的实施例及其优点。应当理解，相同的附图标记用于标识一个或多个附图中所示的相同元件。具体实施方式提供了对所捕获的热图像执行分析以确定是否已经发生故障安全条件的技术。在一些实施例中，一个或多个热相机可用于捕获感兴趣场景的热图像。例如，热相机可以被实现为交通相机，其被布置成捕获交通路口的热图像，以便于与路口相关联的交通信号系统(例如，一个或多个交通信号灯)的相应的控制和车辆检测。以允许以有效且可靠的方式测量场景中的变化的方式对热图像进行处理，以确定是否已经发生故障安全条件。这样的处理可以包括例如对热图像执行多个不同的背景检测处理，以生成与不同时间段相关联的背景图像。例如，可以选择性地对热图像进行加权并且选择性地使其彼此组合，以提供表示对应于长时间段(例如，一个或多个周或月)、中等时间段(例如，一个或多个分钟或小时)、短时间段(例如，一个或多个毫秒或秒)的场景的整体背景的背景图像，如本文所进一步讨论的。可以对所生成的背景图像进行边缘滤波，以提供在各种背景图像中所描绘的边缘(例如，轮廓)的高对比度。可以进一步对边缘滤波图像进行二次采样，以去除图像中的微小的无关紧要的差异(例如，由于热相机所经历的、导致各种背景图像相对于彼此变得略微未对准的小振动)。可以将与不同时间段相关联的二次采样图像彼此进行比较，以确定二次采样图像所表现出的边缘的变化。例如，如果热相机最近被阻挡或被遮挡(例如，由于最近几分钟或几小时内发生的环境条件)，则中期二次采样图像(例如，对应于中等时间段)可以表现出比长期二次采样图像(例如，对应于长时间段)更少的边缘。就此而言，最近在热相机被遮挡时所捕获的热图像将改变中期二次采样图像而不改变长期二次采样图像。如果足够数量的边缘已经发生改变，则可以确定热相机已经经历了环境阻挡/遮挡事件并且不再提供场景的可靠图像。结果，诸如交通控制系统的控制系统可以切换(例如，改变)到在故障安全模式下操作一个或多个交通信号，在故障安全模式下，不再依赖热图像来控制交通信号。作为另一示例，如果热相机最近被篡改(例如，由于最近几毫秒或几秒内发生的人为操纵)，则短期二次采样图像(例如，对应于短时间段)可以表现出比长期二次采样图像更少的边缘(例如，最近在篡改事件期间所捕获的热图像将改变短期二次采样图像而不改变长期二次采样图像)。如果足够数量的边缘已经发生改变，则可以确定热相机已经经历了安全事件(例如，人手短暂地覆盖热相机或热相机被快速旋转或平移以观看不同的场景)。结果，诸如交通控制系统的控制系统可以切换到在故障安全模式下操作一个或多个交通信号，在故障安全模式下，不再依赖热图像来控制交通信号。现在转向附图，图1示出了根据本公开的实施例的热成像、处理和控制系统100的框图。如所示出的，系统100包括热相机101、处理部件110、存储部件120、显示部件130、控制部件140、机器可读介质150、警报部件160和通信部件170。系统100可用于捕获和处理场景180(例如，对应于所示实施例中的交通路口)的热图像，并且选择性地控制设备190(例如，对应于所示实施例中的交通信号)。例如，在设备190被实现为交通信号的情况下，这种选择性控制可以根据本文所描述的各种技术引导一个或多个车辆195通过交通路口的移动。尽管本文将主要讨论系统100作为交通管理情况下的交通控制系统，但是系统100可以用于任何期望的位置。例如，本文档来自技高网...

【技术保护点】
1.一种方法，包括：捕获场景的多个热图像；对所述热图像进行处理以生成与第一时间段和第二时间段相关联的第一背景图像和第二背景图像，以滤除在相关联时间段内发生的所述场景中的变化；对所述第一背景图像和所述第二背景图像进行边缘滤波以生成第一边缘图像和第二边缘图像；将所述第一边缘图像和所述第二边缘图像进行比较以确定与所述场景相关联的边缘的变化；以及响应于所述比较而选择性地在故障安全模式下操作设备和/或提供警报。

【技术特征摘要】
【国外来华专利技术】2016.09.29 US 62/401,7021.一种方法，包括：捕获场景的多个热图像；对所述热图像进行处理以生成与第一时间段和第二时间段相关联的第一背景图像和第二背景图像，以滤除在相关联时间段内发生的所述场景中的变化；对所述第一背景图像和所述第二背景图像进行边缘滤波以生成第一边缘图像和第二边缘图像；将所述第一边缘图像和所述第二边缘图像进行比较以确定与所述场景相关联的边缘的变化；以及响应于所述比较而选择性地在故障安全模式下操作设备和/或提供警报。2.根据权利要求1所述的方法，还包括在所述比较之前对所述第一边缘图像和所述第二边缘图像进行二次采样，以去除所述第一边缘图像和所述第二边缘图像之间的边缘平移。3.根据权利要求1所述的方法，其中，所述第一背景图像通过组合多个所捕获的热图像来生成，其中，所述第二背景图像通过组合多个所述第一背景图像来生成。4.根据权利要求1所述的方法，其中，所述边缘的变化是所述边缘的第一变化，所述方法还包括：对所述热图像进行处理以生成与相应的第三时间段相关联的第三背景图像；对所述第三背景图像进行边缘滤波以生成第三边缘图像；将所述第二边缘图像和所述第三边缘图像进行比较以确定与所述场景相关联的所述边缘的第二变化；以及响应于所述第二边缘图像和所述第三边缘图像的比较而选择性地在故障安全模式下操作所述设备。5.根据权利要求4所述的方法，还包括在将所述第二边缘图像和所述第三边缘图像进行比较之前对所述第三边缘图像进行二次采样，以去除所述第二边缘图像和所述第三边缘图像之间的边缘平移。6.根据权利要求4所述的方法，其中：将所述第一边缘图像和所述第二边缘图像进行比较包括确定所述边缘的第一变化是否超过与环境条件相关联的第一阈值量；和将所述第二边缘图像和所述第三边缘图像进行比较包括确定所述边缘的第二变化是否超过与安全条件相关联的第二阈值量。7.根据权利要求4所述的方法，其中，所述第一时间段小于所述第二时间段并且大于所述第三时间段。8.根据权利要求7所述的方法，其中，所述第一时间段在一分钟至一天的范围内。9.根据权利要求1所述的方法，还包括：对所述热图像执行目标检测以检测所述场景中的感兴趣目标；在所述故障安全模式之前响应于所述目标检测的结果，在目标检测模式下操作所述设备；并且其中，选择性地操作包括将所述设备从在所述目标检测模式下操作改变为在所述故障安全模式下操作。10.根据权利要求1所述的方法，其中，所述场景是交通路口，并且所述设备是交通信号设备。11.一种系统，包括：热相机，其被配置成捕获场景的多个热图像；存储部件，其被配置成存储所述热图像和多...

【专利技术属性】
技术研发人员：柯恩·詹森，彼得·麦瑟利，
申请(专利权)人：菲力尔系统公司，
类型：发明
国别省市：美国,US