传输来自多个源的超高清视频制造技术

传感器数据处理装置可以被耦合到不同类型的多个图像传感器。该装置基于传感器的数量和来源于传感器的图像数据的类型来调整帧传输速率，以优化对多个传输通道上的带宽的利用。该装置可以被配置为以比图像数据中的未选择帧更高的速率来传输图像数据中的所选帧，其被识别为关键帧。

Transmit Ultra HD video from multiple sources

The sensor data processing apparatus can be coupled to a plurality of image sensors of different types. The device adjusts the frame transmission rate based on the number of sensors and the type of image data from sensors to optimize the utilization of bandwidth on multiple transmission channels. The device can be configured to transmit the selected frame in the image data at a higher rate than the unselected frame in the image data, which is recognized as a key frame.

【技术实现步骤摘要】
【国外来华专利技术】传输来自多个源的超高清视频
本公开处于图像处理架构领域，并且更具体地处于超高清视频处理领域。
技术介绍
具有大图像格式和小像素间距的超高清(UHD)图像传感器正变得普遍可用于许多新产品和应用的使用中。然而，常规的视频架构通常不支持UHD传感器的带宽和定时要求。已经开发出支持UHD传感器的带宽和定时要求的新视频架构；然而，这些新的视频架构通常在不利用先前可用的硬件的情况下从头开始开发以用于特定用途。UHD传感器技术的改进大大超过许多现有视频传输架构的带宽和传输能力。被设计和配置用于传输高清(HD)视频的现有视频硬件的广泛基础设施被部署并安装在全世界的设备中。该基础设施通常不支持将视频数据从UHD视频图像传感器传输到显示器或终端用户。现有的HD视频架构通常被配置用于处理例如符合一种或多种标准格式(诸如电影和电视工程师协会(SMPTE)标准SMPTE292M和SMPTE424M)的视频数据流。这些标准包括720p高清(HDTV)格式，其中视频数据被格式化为具有720条水平数据路径和16：9宽高比的帧。SMPTE292M标准包括例如720p格式，其具有1280x720像素的分辨率。HD视频数据的常见传输格式是720p60，其中720p格式的视频数据以每秒60帧进行传送。SMPTE424M标准包括1080p60传输格式，其中1080p格式的数据以每秒60帧进行传送。1080p格式的视频数据有时被称为“全HD”并且具有1920x1080像素的分辨率。大量当前部署的图像检测系统被按照HD视频标准(诸如常用的720p标准)来构建。720p标准系统的1280x720像素帧每帧包括约1.5兆像素。相反，UHD图像传感器通常以5kx5k格式输出图像帧，其每帧具有约2500万像素。因此，720p标准系统中使用的1280x720像素远不足以传输由UHD图像传感器生成的大得多的数量的像素。UHD传感器通常与视频架构一起使用，该视频架构被特别设计以用于传输UHD视频数据。这些新的视频架构通常利用视频压缩技术来支持UHD带宽和定时要求。目前用于传输UHD视频数据的一些视频架构使用并行编码器或编解码器和数据压缩来传输UHD视频。然而，压缩的使用使得这些视频架构不适合依赖于接收原始传感器数据的终端用户。使用传统硬件来传输来自下一代图像传感器的UHD视频是有问题的，这是因为传统硬件通常没有提供足够的带宽。此外，针对已经实现大量传统视频处理设备的用户而言，用新架构替代现有视频架构来传输UHD视频数据可能是不切实际的和/或极其昂贵的。各种空间和时间上的视频压缩技术已经被用于处理来自UHD图像传感器的图像数据，以在现有HD视频架构上进行传输。UHD视频数据通常使用压缩算法进行压缩，该压缩算法保留足够的UHD视频数据以生成用于人类观看的可见图像和视频流，但丢失或丢弃可能是人类可视图像和视频流所不需要的来自UHD图像传感器的数据。然而，在一些图像处理应用中，期望提取、分析和/或存储人类观看者可能无法察觉的原始图像传感器数据。原始图像传感器数据中的该附加信息可以例如由计算机和处理电路提取和处理。丢失或丢弃从图像传感器输出的一些图像数据的压缩算法不适合这些应用。用于处理来自UHD传感器的数据的其他常规技术通常涉及使用已经针对UHD传感器的特定应用而开发的新的或专有的视频架构。这些技术成本高且效率低，这是因为它们没有利用已经在全世界部署的广泛可用的HD视频架构。
技术实现思路
本公开的各方面包括用于高效和无损收集UHD数据的UHD传感器数据处理装置和方法。根据本公开的一方面的传感器数据处理装置包括被耦合到处理电路的原始UHD数据输入路径和被并联耦合到处理电路的多个图像数据输出路径。一个或多个元数据输出路径与图像数据输出路径并联耦合到处理电路。处理电路被配置为接收来自UHD传感器的原始UHD数据，将原始UHD数据划分为无损分段并且将无损分段并行地引导到图像数据输出路径上。处理器电路还被配置为：生成包括编码信息的元数据，该编码信息有助于从无损分段重建原始UHD数据；并且将元数据引导到元数据输出路径上。根据本公开的各方面，用于经由当前视频传输架构将视频数据从UHD传感器传输到显示器或终端用户的改进方法和装置包括像素打包方法和使用多个物理连接来并行传送数据的方法。本文所公开的方法克服了传统硬件的带宽限制，并使得传统硬件能够传输来自下一代图像传感器的UHD视频数据。本公开的各方面还包括用于缩放多个物理数据通道以适应可用资源的最佳使用的方法以及用于对来自多个SMPTE424HD馈送的UHD视频数据进行动态解包的方法。根据本公开的一个方面，解包后的数据可以被重新组装成HD图像，以用于实时显示和可视化。附图说明通过参考附图详细描述本专利技术构思的示例性实施例，本专利技术构思的上述和其他特征将变得更加明显，在附图中：图1是根据本公开的一方面的UHD传感器数据处理系统的图。图2是根据本公开的一方面的示出用于处理UHD传感器数据的方法的过程流程图。图3是UHD传感器数据处理系统的说明性实施例的图。图4是根据本公开的一方面的将8位像素格式的UHD图像帧打包成具有16位像素格式的图像帧的图。图5是根据本公开的一方面的被分割成1280x720像素帧的UHD图像数据的图。图6是根据本公开的一个方面的包括带宽监视器模块的UHD传感器数据处理系统的说明性实施例的图。图7是根据本公开的一个方面的与用于重建图像的元数据相关联的图像的多个帧的图。图8是根据本公开的各方面的视频流的图，每个视频流包括用于存储和传输元数据的元数据空间。图9是示出了根据本公开的一个方面的用于传输视频数据的方法的过程流程图。图10是根据本公开的一个方面的UHD传感器数据处理系统的说明性实施例的图，该UHD传感器数据处理系统包括用于动态调整正被传输的视频数据的比特率的节流(throttling)模块。图11是根据本公开的一个方面的UHD传感器数据处理系统的说明性实施例的图，该UHD传感器数据处理系统包括被配置为用于以不同数据速率传输图像的不同帧的节流模块。图12是示出了根据本公开的一个方面的传输来自UHD图像传感器的视频数据的方法的过程流程图。具体实施方式本公开的各方面包括用于使用现有HD视频架构对来自一个或多个UHD图像传感器的UHD视频数据进行无损通信和处理的系统和方法。根据本公开的各方面，使用当前可用的视频架构处理UHD视频数据涉及到将来自一个或多个UHD传感器的UHD视频数据分解成可管理的分段。这些分段被组并入传播到HD视频的多个通道中。在说明性实施例中，UHD视频数据可以从UHD传感器30Hz下的5Kx5K帧提供，其被分解成720p60分段。在说明性实施例中，分段被组合成SMPTE424M1080p60视频的多个通道。一些常用的UHD图像传感器生成每帧具有5120x5120像素的图像帧。然而，根据本公开的各方面，“UHD传感器”可以指代生成不同帧大小和像素大小的多种不同类型的图像传感器。例如，一些UHD图像传感器生成具有4Kx4K像素的图像帧，并且每像素可以具有12位，或每像素可以具有10位。如本文所使用的术语“UHD传感器”不限于特定类型的传感器或特定的帧大小或像素大小。根据本公开的另一方面，基于描述了如何本文档来自技高网...

【技术保护点】
1.一种用于传输视频数据的方法，包括：确定由被耦合到传感器数据处理装置中的多个物理数据路径的一个或多个图像传感器中的每个图像传感器输出的帧大小；基于所述图像传感器中的每个图像传感器输出的相应帧大小计算第一帧传输速率，所述第一帧传输速率允许在所述多个物理数据路径上传输来自所述图像传感器的全分辨率图像；将来自所述图像传感器的多个物理数据路径上的数据传输速率节流到所述第一帧传输速率。

【技术特征摘要】
【国外来华专利技术】2017.03.10 US 15/455,7791.一种用于传输视频数据的方法，包括：确定由被耦合到传感器数据处理装置中的多个物理数据路径的一个或多个图像传感器中的每个图像传感器输出的帧大小；基于所述图像传感器中的每个图像传感器输出的相应帧大小计算第一帧传输速率，所述第一帧传输速率允许在所述多个物理数据路径上传输来自所述图像传感器的全分辨率图像；将来自所述图像传感器的多个物理数据路径上的数据传输速率节流到所述第一帧传输速率。2.根据权利要求1所述的方法，还包括：动态地确定以全分辨率和所述第一帧传输速率传输视频数据需要所述物理数据路径中的多少个物理数据路径。3.根据权利要求1所述的方法，包括：确定足以以所述第一帧传输速率传输来自所述图像传感器的全分辨率图像的所述物理数据路径的数量；和当足以以所述第一帧传输速率提供所述全分辨率图像的所述物理数据路径的数量大于被耦合到所述图像传感器的所述物理数据路径的数量时，将所述数据传输速率节流到小于所述第一帧传输速率的第二帧传输速率。4.根据权利要求3所述的方法，包括基于所述图像传感器的数量、类型和模式确定所述物理数据路径的数量。5.根据权利要求3所述的方法，其中，所述第二帧传输速率被计算为允许以全分辨率在所述物理数据路径上传输帧。6.根据权利要求1所述的方法，包括：确定所述图像传感器中的每个图像传感器的相应类型和输出模式；和基于它们的相应类型和输出模式确定所述图像传感器中的每个图像传感器的帧大小输出。7.根据权利要求6所述的方法，包括：动态地确定被耦合到传感器的所述物理数据路径的数量；和基于所述图像传感器中的每个图像传感器输出的相应帧大小并基于被耦合到所述图像传感器的所述物理数据路径的数量计算所述第一帧传输速率。8.根据权利要求7所述的方法，其中，确定被耦合到所述图像传感器的所述物理数据路径的数量包括感测所述物理数据路径中的多少个物理数据路径正在传输数据。9.根据权利要求6所述的方法，包括：基于设置配置输入信息确定被连接到多个数据路径的所述图像传感器的相应类型和模式。10.根据权利要求6所述的方法，包括：通过读取传感器识别信息来确定被连接到所述多个数据路径的所述图像传感器的相应类型和输出模式。11.根据权利要求6所述的方法，包括：通过在帧缓冲器中缓冲来自所述图像传感器中的每个图像传感器的帧来确定被连接到所述多个物理数据路...

【专利技术属性】
技术研发人员：卡尔·A·伍迪，泰勒·莱恩·胡克，
申请(专利权)人：雷索恩公司，
类型：发明
国别省市：美国,US