视频数据中的实时帧对准制造技术

传感器数据处理装置可以耦合到不同类型的多个图像传感器。该装置基于传感器地理定位信息来确定在每个帧或像素中成像的区域的地理位置，并且将地理定位信息编码在对应帧的元数据空间中。该装置被配置成基于地理定位信息将帧的边缘和/或角落与相邻帧的边缘或角落对准，以拼接在一起成为没有重叠帧的马赛克或全景图像。该装置可以被描绘成在不需要执行特征配准和不需要重新采样帧的情况下将图像帧实时地拼接在一起。

Real time frame alignment in video data

【技术实现步骤摘要】
【国外来华专利技术】视频数据中的实时帧对准
本公开处于图像处理架构领域，并且更具体地处于超高清视频处理领域。
技术介绍
具有大图像格式和小像素间距的超高清(UHD)图像传感器正变得普遍可用于许多新产品和应用的使用中。然而，常规的视频架构通常不支持UHD传感器的带宽和定时要求。已经开发出支持UHD传感器的带宽和定时要求的新视频架构；然而，这些新的视频架构通常利用先前可用的硬件的情况下从头开始开发以用于特定用途。UHD传感器技术的改进大大超过许多现有视频传输架构的带宽和传输能力。被设计和配置用于传输高清(HD)视频的现有视频硬件的广泛基础设施被部署并安装在全世界的设备中。该基础设施通常不支持将视频数据从UHD摄像机传输到显示器或终端用户。现有的HD视频架构通常被配置用于处理例如符合一种或多种标准格式(诸如电影和电视工程师协会(SMPTE)标准SMPTE292M和SMPTE424M)的视频数据流。这些标准包括720p高清(HDTV)格式，其中视频数据被格式化为具有720条水平数据路径和16：9宽高比的帧。SMPTE292M标准包括例如720p格式，其具有1280x720像素的分辨率。HD视频数据的常见传输格式是720p60，其中720p格式的视频数据以每秒60帧进行传送。SMPTE424M标准包括1080p60传输格式，其中1080p格式的数据以每秒60帧进行传送。1080p格式的视频数据有时被称为“全HD”并且具有1920x1080像素的分辨率。大量当前部署的图像检测系统被按照HD视频标准(诸如常用的720p标准)来构建。720p标准系统的1280x720像素帧每帧包括约1.5兆像素。相反，UHD图像传感器通常以5kx5k格式输出图像帧，其每帧具有约2500万像素。因此，720p标准系统中使用的1280x720像素远不足以传输由UHD图像传感器生成的大得多的数量的像素。UHD传感器通常与视频架构一起使用，该视频架构被特别设计以用于传输UHD视频数据。这些新的视频架构通常利用视频压缩技术来支持UHD带宽和定时要求。目前用于传输UHD视频数据的一些视频架构使用并行编码器或编解码器和数据压缩来传输UHD视频。然而，压缩的使用使得这些视频架构不适合依赖于接收原始传感器数据的终端用户。使用传统硬件来传输来自下一代相机的UHD视频的使用是有问题的，这是因为传统硬件通常没有提供足够的带宽。此外，针对已经实现大量传统视频处理设备的用户而言，用新架构替代现有视频架构来传输UHD视频数据可能是不切实际的和/或极其昂贵的。各种空间和时间上的视频压缩技术已经被用于处理来自UHD图像传感器的图像数据，以在现有HD视频架构上进行传输。UHD视频数据通常使用压缩算法进行压缩，该压缩算法保留足够的UHD视频数据以生成用于人类查看的可见图像和视频流，但丢失或丢弃可能是人类可视图像和视频流所不需要的来自UHD图像传感器的数据。用于处理来自UHD传感器的数据的其他常规技术通常涉及使用已经针对UHD传感器的特定应用而开发的新的或专有的视频架构。这些技术成本高且效率低，这是因为它们没有利用已经在全世界部署的广泛可用的HD视频架构。在现有设备上传输UHD图像数据通常涉及将图像数据分成多个分组(packet)或子帧。对单独的视频路径分组进行分类(sort)并且将多个帧拼接(stitch)在一起成为全景场景通常会增加可以防止图像数据的实时显示的处理步骤。用于以多个帧拼接全景场景的先前系统和方法涉及场景配准(registration)和图像处理，以混合重叠图像数据，以将多个帧拼接在一起成为全景场景。用于以多个帧拼接全景场景的其他先前已知技术涉及基于惯性的图像配准和基于地理定位的图像配准技术以将影像融合在一起，其中一种类型的图像数据被融合在其它类型的图像数据之上。已经基于特征配准执行了用于将多个帧拼接在一起成为全景场景的各种其他方法。这些方法通常涉及对图像数据的大量后处理，这增加了延迟。特征配准技术不适合将非特征丰富的场景的全景图像拼接在一起。而且，不利地，许多现有的基于场景的配准方案不能精确地拼接不同/多个光谱带。在许多UHD成像应用中，将期望将来自UHD传感器的原始数据提供给分析员或其他用户。UHD视频数据的其他客户需要高度准确且时间上对准的符号体系(symbology)与图像数据重叠，以满足任务要求。然而，在传输之前将符号体系插入到视频流中替代了原始图像数据并破坏了可能对原始数据的分析员或其他客户有用的某些信息。先前的系统和方法涉及归档标记和使用时间上对准的元数据，其不允许接近实时地呈现符号体系。然而，例如，由于异步视频和数据流水线，依赖于时间上对准的元数据的方法一直是有问题的。
技术实现思路
本公开的各方面包括用于高效和无损收集UHD数据的UHD传感器数据处理装置和方法。根据本公开的一方面的传感器数据处理装置包括被耦合到处理电路的原始UHD数据输入路径和被并联耦合到处理电路的多个图像数据输出路径。一个或多个元数据输出路径与图像数据输出路径并联耦合到处理电路。处理电路被配置为接收来自UHD传感器的原始UHD数据，将原始UHD数据划分为无损分段并且将无损分段并行地引导到图像数据输出路径上。处理器电路还被配置为：生成包括编码信息的元数据，该编码信息有助于从无损分段重建原始UHD数据；并且将元数据引导到元数据输出路径上。用于经由如本文所述的当前视频传输架构将视频数据从UHD传感器传输到显示器或终端用户的改进方法和装置包括像素打包方法和使用多个物理连接来并行传送数据的方法。本文所公开的方法克服了传统硬件的带宽限制，并使传统硬件能够传输来自下一代相机的UHD视频数据。根据本公开的一个方面，执行视频处理以基于用于跟踪分组和地理定位信息的元数据将视频图像数据重新组装为马赛克拼贴或拼接的影像。非常精确的地理定位和惯性空间/坐标数据被用来精确拼接视频帧。可以执行后端视频处理以基于被包括在元数据中的定位数据和惯性数据将视频重新组装为马赛克拼贴或拼接的全景影像。在说明性实施例中，实施元数据编码方案以将与图像像素相关联的地理定位信息以及惯性空间和坐标信息并入到标准KLV元数据分组中。根据本公开的一个方面，将信息编码在视频数据的VANC/HANC元数据空间中，以便于下游实时视频拼接。KLV元数据用于传送包含地理定位和惯性信息的与视频芯片时间上对准的分组。基于地理定位和惯性数据将外围/边缘处的多个帧拼接在一起。所公开的技术通过减少或消除拼接的影像中的图像数据的重叠来增加传感器数据的地面覆盖范围。本公开的一个方面包括：用于基于传感器平台的非常精确的惯性空间坐标和对定义成像时传感器指向的方向的角坐标的了解来非重叠重建视频流的系统和方法。根据本公开的另一方面，可以将上下文适当的符号体系信息覆盖到数据中的原始视频上，以为实时或接近实时地查看数据的实体提供态势感知(situationalawareness)，同时保留原始视频数据以进行高效的后处理。例如，符号体系信息可以在KLV标准元数据分组上使用定制或专有编码方案被编码为元数据并被存储在对应的图像帧的元数据空间中。所公开的将符号体系元数据并入到对应的帧的元数据空间中的方法允许原始视频的传输以及将时间和定位敏感的符号体系添加到视频以用于上下文可视化本文档来自技高网...

【技术保护点】
1.一种用于对准视频数据中的帧的方法，包括：确定第一地理位置，其对应于由视频数据流的第一帧的边缘或角落的第一像素表示的区域；对所述第一地理位置编码以生成与所述第一像素相关联的地理定位元数据；以及将与所述第一像素相关联的地理定位元数据并入到所述第一帧的元数据空间中。

【技术特征摘要】
【国外来华专利技术】2017.03.10 US 15/455,8451.一种用于对准视频数据中的帧的方法，包括：确定第一地理位置，其对应于由视频数据流的第一帧的边缘或角落的第一像素表示的区域；对所述第一地理位置编码以生成与所述第一像素相关联的地理定位元数据；以及将与所述第一像素相关联的地理定位元数据并入到所述第一帧的元数据空间中。2.根据权利要求1所述的方法，还包括：确定第二地理位置，其对应于由所述视频数据流的第二帧的边缘或角落的第二像素表示的区域；对所述第二地理位置编码以生成与所述第二像素相关联的地理定位元数据；将与所述第二像素相关联的地理定位元数据并入到所述第二帧的元数据空间中；以及将所述第一帧与所述第二帧对准以生成包括所述第一帧和所述第二帧的图像。3.根据权利要求2所述的方法，还包括：将与所述第一像素相关联的地理定位元数据和与所述第二像素相关联的地理定位信息进行比较，以确定所述第一地理位置相对于所述第二地理位置的定位；和基于所述第一地理位置相对于所述第二地理位置的定位，将所述第一帧的边缘或角落与所述第二帧的边缘或角落对准，以生成包括所述第一帧和所述第二帧的图像。4.根据权利要求1所述的方法，包括基于由所述第一像素覆盖的目标区域的大小来确定所述第一地理位置。5.根据权利要求1所述的方法，包括：基于生成视频流的图像传感器的全球定位系统定位数据确定所述第一地理位置。6.根据权利要求1所述的方法，包括基于生成所述视频流的图像传感器的指向信息确定所述第一地理位置。7.根据权利要求1所述的方法，包括将与所述第一像素相关联的地理定位元数据连同所述视频流中的所述第一帧从帧拼接模块传输到后端处理器。8.根据权利要求1所述的方法，包括将与所述第一像素相关联的地理定位元数据并入到所述第一帧的HANC元数据空间或VANC元数据空间中。9.根据权利要求2所述的方法，包括在不需要对所述第一帧或所述第二帧重新采样的情况下将所述第一帧与所述第二帧实时地对准。10.根据权利要求2所述的方法，包括在不需要基于表示在所述第一帧和/或所述第二帧中的成像特征执行特征配准的情况下将所述第一帧与所述第二帧实时地对准。11.根据权利要求2所述的方法，包括在不需要使所述第一帧中的像素与所述第二帧中的像素重叠的情况下将所述第一帧与所述第二帧实时地对准。12.根据权利要求1所述的方法，包括：基于由全球定位系统(GPS)信息、视线(LOS)信息、惯性引导信息和传感器指向信息组成的组中的地理定位信息来确定所述第一地理位置。13.一种用于对准视频数据中的帧的方法，包括：确定第一地理位置，其对应于由视频数据流的帧表示...

【专利技术属性】
技术研发人员：卡尔·A·伍迪，泰勒·莱恩·胡克，
申请(专利权)人：雷索恩公司，
类型：发明
国别省市：美国,US