用于实时自动化多传感器数据融合和分析的决策支持的便携式设备和方法技术

本发明专利技术包括一种物理或虚拟的计算、分析、融合以及相关系统，其能够自动地、系统地并且独立地分析机上(上游)或源自飞行器和/或其它固定或移动的单传感器或多传感器平台的所收集传感器数据。所得的数据随着所述数据被从本地和/或远程传感器收集而准实时地在本地、远程地或在地面站经过融合并且呈现。现有系统使用便携式设备或基于云的计算和能力，其设计成减少人类操作员在审查、融合以及分析从情报、监视与侦察(ISR)飞行器或其它固定和移动ISR平台收集的交叉模态传感器数据中的角色，与其相比，本发明专利技术改进了检测并减少了错误检测。本发明专利技术用硬件和软件取代人类传感器数据分析人员，与目前手动方法相比，具有两个显着的优点。

Portable devices and methods for real-time automated decision support for multisensor data fusion and analysis

The invention includes a physical or virtual computing, analysis, fusion and related systems, which can automatically, systematically and independently analyze the collected sensor data on the aircraft (upstream) or from the aircraft and / or other fixed or mobile single sensor or multi sensor platforms. The obtained data, as the data is collected from local and / or remote sensors, can be fused and presented in real time, locally, remotely, or at the ground station. The existing systems use portable devices or cloud based computing and capabilities designed to reduce the role of human operators in reviewing, merging, and analyzing cross modal sensor data collected from intelligence, surveillance and reconnaissance (ISR) aircraft or other fixed and mobile ISR platforms. There is less error detection. The invention uses hardware and software to replace data analysis personnel of human sensors, and has two obvious advantages compared with the current manual methods.

【技术实现步骤摘要】
【国外来华专利技术】用于实时自动化多传感器数据融合和分析的决策支持的便携式设备和方法
技术介绍
对于需要采用传感器的检测支持系统的应用，只有将来自多个传感器的数据或来自单个传感器的时序测量值组合时，才能满足许多性能要求。组合数据的这一过程被称为传感器相关和融合，或简单地称为数据融合。例如，数据融合可以将来自单个和多个传感器源的信息关联、相关和组合，以确定图像中观察到的元素的细化位置和匹配身份估计。它可以使用先进的数学推理技术来减少从数据推断出的错误匹配，减少对条件的依赖，控制数据中已知或假定的低效率，并且通常形成匹配在复杂环境中从传感器检测到的元素的更可靠的系统。数据融合过程可以不断改进估计和匹配参数，并且可以评估对附加传感器数据的需求。随着性能要求提高(例如，对更低误报率下更高检测性能的需求)并且目标变得更难以检测(例如，可观察性低)，对于扩展所获得的信息的维度有更大的需求，从而驱动对多个传感器和所述数据的组合的需求。这种扩展传感器数据的时间和空间维度的需求带来至少两个问题：(1)必须整合和协调传感器数据以使整个系统测量过程最大化；以及(2)需要有效并且精确地对来自各种传感器的数据进行相关和融合的过程。如上所述，数据融合是一个多层次、多方面的过程，例如处理来自多个源的数据和信息的注册、检测、关联、相关和组合，以实现改进的状态和身份估计，并且完整并及时评估每个数据集涉及的环境状况(包含目标和机会)。传感器产生各个观察值或测量值(原始数据)，其必须首先放置在适当的上下文中以创建有组织的数据集(信息)，然后进行评估以推断关于信息(知识)中的整体内容的更高层次的含义。在本专利技术的一个实例中，数据融合系统组合合成孔径雷达(SAR)和高光谱(HS)数据。SAR和HS传感器产生时间采样数据。处理SAR数据以形成图像，并且处理HS数据以形成多层图像：这些图像均进过注册，然后经过组合以产生图像数据库形式的信息。评估图像数据库以推断与例如植被、人类活动、设施和最终用户期望的目标相关联的政府和商业客户感兴趣的细节。目前的ISR分析和数据融合过程通常会从多个传感器和源获取信息，以便实现优于仅从单个传感器获得的推断的改进推断。例如，从理论上来说，评估彩色摄像机和雷达系统的输出能比仅使用摄像机的情况提供多两倍的数据、减少不确定性、减少误报，并且提高决策可用的准确信息的总量。分析和数据融合系统通常使用各种算法和技术来转换传感器数据，以便检测、定位、表征和识别感兴趣的对象和实体，例如地理空间位置、车辆、建筑物、工厂和设备等。这些算法技术包含信号和图像处理、统计估计、模式识别和许多其它技术(见D.L.Hall和R.J.Linn的“数据融合系统的算法选择(Algorithmselectionfordatafusionsystems)”，1987年三军数据融合专题研讨会论文集，APL约翰霍普金斯大学，Laurel，MD，第1卷，第100-110页，1987年6月)。如下文所解释，由于分析准实时地发生，因此本专利技术是对过去的方法和系统的改进，本专利技术能够使检测到期望结果(例如检测事件或监测数据)的可能性更大，并且允许操作员将注意力集中在数据融合的结果上而非特定传感器上。
技术实现思路
现有系统使用便携式设备或基于云的计算和能力，其设计成减少人类操作员在审查、融合以及分析从情报、监视与侦察(ISR)飞行器或其它固定和移动ISR平台收集的交叉模态传感器数据中的角色，与其相比，本专利技术能改善检测并减少错误检测。本专利技术用硬件和软件取代人类传感器数据分析人员，与目前的手动方法相比，具有至少两个优点。首先，本专利技术提供了一种改进，即人类操作员可以专注于决策过程而不是分析、融合或相关过程。历史上，这些过程需要针对每个特定传感器的训练有素的专家来解释传感器的输出。同样，每个人类分析员都专注于解释不同的传感器技术。由于信息量巨大，每个传感器都有专用的资源，并经过培训以找到特定目标的特征。简而言之，人类操作员不能认知地适应要在多个传感器输出的动态实时审查中解释的数据量。利用目前技术，计算机可以准确地自动审查视觉和像素数据输出而无需圈内人士，并提供有意义的分析目标识别结果。第二个改进是改进期望目标的检测概率(Pd)，这通过计算和组合每个传感器的检测概率(Pd)的新颖方法来提供。一旦通过本专利技术的设备和方法确定了自动目标检测和检测概率，则像素和元数据融合和相关向用户提供改进的检测结果。本专利技术将规范化并且统一化的输出组合并呈现给人类决策者。本专利技术的所得输出提供了操作员及时地为他们正寻求的任何政府或行业检测/监测进行决策所需的信息的汇编。在便携式实施方案中，本专利技术结合了用于接收存储的或接近实时的流数据接着随后执行监视或监测元数据、图像和传感器数据的计算分析的新颖方法、设备和系统。本专利技术包括帮助操作员检测感兴趣对象和条件的方法、设备和软件系统。与目前的技术相比，本专利技术极大地改进了检测，其中单独地观察和分析各个传感器输出，或者将各个传感器输出融合成训练有素的人类分析员解释数据的单个图像。过去使用人类学科专家的分析过程是困难的、主观的、并且由于疲劳而容易出错，并且缺乏与实例(范例)的共同库的比较。这里提出的本专利技术实现一致的、高质量的检测结果和高检测概率(Pd)以及大大降低的虚警概率(Pfa)。在一个方面，本专利技术包括或结合两个主要概念：一个是同时收集的数据；第二个是流式或采集的情报、监视与侦察(ISR)传入独立传感器数据的改进的融合方法，这些数据是从同一起点收集的，同时观看同一场景，以及使用来自各个传感器的数据与已知实例库(地面实况)的匹配的新颖方法。将数据标记为对象或事件的机器标识，并且计算检测概率并将其附加到与所述特定检测相关联的对象/事件索引。这是通过一个和/或多个传感器技术完成的，其中各个传感器或传感器套件共同位于固定位置或移动平台，包含但不限于小型无人驾驶遥控航空系统(RPAS)、传统飞机、地面车辆和固定传感器平台。协同定位改进了匹配并检测对象的当前状态、事件或状况的自动化识别决策支持的目的之一。使用匹配并标记检测的身份的检测库评估与检测单个对象或事件相关联的检测概率。然后将各个传感器检测及其相关联的检测概率在像素图像和检测概率中融合。因此，本专利技术在同一时间为一个或多个传感器融合检测图像，产生检测数据的多层堆栈。数据堆栈将与每个检测层(传感器)相关联的检测概率与其关联起来。接着，本专利技术将每个单独的传感器模式的检测概率连接成含有复合检测概率的融合图像和元数据文件。其结果是通过使用各个传感器模式中的检测结果来验证检测，同时通过以数学方式组合跨多种传感器技术(模式-HD视频、IR、SAR、高光谱等)的检测结果以及检测质量(额定的。或者考虑到当前环境条件和传感器状态下的检测，具有概率尺度或等级)来增强检测和虚警概率减少。关于此的实例如下：案例1.在晴天，来自摄像机设备的视频和摄影图像数据可以识别对象—汽车。案例2.在雾天或夜间条件下，视频和摄影图像数据不确定在帧中有汽车。在同一雾天从相同的观看角度，使用合成孔径雷达(SAR)将通过雾气清晰地显示出汽车。在同一雾天，红外线传感器将显示汽车的热成像，从而表明存在具有车形的一些暖和的东西。因此，将Pd与每个检测相关联，在案例1中，根据基于光学图像范例库中的本文档来自技高网...

【技术保护点】
一种便携式传感器融合设备，其用于同时分析来自多个不同传感器的多个不同数据输入，所述传感器检测至少一个用户定义图像，所述设备包括计算机，该计算机包括：数据接收子系统，其能够接收来自多个传感器的流输入，并且能够对数据以及关于收集所述数据的相关联地理位置信息进行索引编制和存储；数据库子系统，其用于存储所使用的每种类型的传感器数据的范例和特征，这些传感器数据包含感兴趣对象的图像、来自感兴趣位置的光谱辐射以及背景对象的图像；处理子系统，其用于检测和匹配从传感器接收的图像中的对象，检测和匹配所述数据库中的感兴趣对象，定制软件能够估计各个传感器数据或图像与存储在所述数据库中的范例和特征的匹配概率，并且其中所述处理子系统还能够通过将所述匹配概率与从两个或更多个流输入接收的特定图像和传感器数据的质量因子值进行组合来分配新的检测概率，所述质量因子值用于确定用于匹配接收到的特定图像或数据的新的修改的检测概率值，其中质量因子被分配给从每个传感器收集的每个数据集，并且是基于所述传感器的可靠性和性能与其它传感器和元数据(具有高、中、低检测可靠性)的比较；索引编制子系统，其使检测事件与组合了检测概率、传感器输入质量因子和环境因子的地理空间信息相关联并进行存储，从而融合所述分析的结果；以及图形用户界面，其显示图像以及与其相关联的检测事件和地理位置。...

【技术特征摘要】
【国外来华专利技术】2015.05.15 US 62/162,586;2015.06.16 US 62/180,3931.一种便携式传感器融合设备，其用于同时分析来自多个不同传感器的多个不同数据输入，所述传感器检测至少一个用户定义图像，所述设备包括计算机，该计算机包括：数据接收子系统，其能够接收来自多个传感器的流输入，并且能够对数据以及关于收集所述数据的相关联地理位置信息进行索引编制和存储；数据库子系统，其用于存储所使用的每种类型的传感器数据的范例和特征，这些传感器数据包含感兴趣对象的图像、来自感兴趣位置的光谱辐射以及背景对象的图像；处理子系统，其用于检测和匹配从传感器接收的图像中的对象，检测和匹配所述数据库中的感兴趣对象，定制软件能够估计各个传感器数据或图像与存储在所述数据库中的范例和特征的匹配概率，并且其中所述处理子系统还能够通过将所述匹配概率与从两个或更多个流输入接收的特定图像和传感器数据的质量因子值进行组合来分配新的检测概率，所述质量因子值用于确定用于匹配接收到的特定图像或数据的新的修改的检测概率值，其中质量因子被分配给从每个传感器收集的每个数据集，并且是基于所述传感器的可靠性和性能与其它传感器和元数据(具有高、中、低检测可靠性)的比较；索引编制子系统，其使检测事件与组合了检测概率、传感器输入质量因子和环境因子的地理空间信息相关联并进行存储，从而融合所述分析的结果；以及图形用户界面，其显示图像以及与其相关联的检测事件和地理位置。2.如权利要求1所述的设备，其中高性能数字图像摄像机用作一个传感器并且红外摄像机用作第二传感器。3.一种创建输入图像的合成以形成融合的合成图像数据集的方法，包括：提供传感器融合设备来同时分析来自多个不同传感器的多个不同数据输入，所述传感器检测至少一个用户定义图像，所述设备包含范例数据库；选择光谱波长用于检测来自所使用的一个传感器的图像；以与所使用的另一个传感器在光叶或密叶中的反射率一致的频率选择雷达输入；用可见光、红外和雷达传感器记录图像；对所述图像进行地理配准；执行“第一”到“第n”个光学传感器图像的基于图像的像...

【专利技术属性】
技术研发人员：W·韦勒，G·派柏斯，
申请(专利权)人：空气融合有限公司，
类型：发明
国别省市：美国,US