用于具有行标记存储器的非对称图像分割器的系统和方法技术方案

本文描述了提供用于实施可以降低存储器要求的非对称图像分割器引擎的系统和方法。在一个或多个实施例中，一种方法可以包括接收包括超帧视频图像的多流传输视频，其中，每个超帧视频图像包括第一视频图像和第二视频图像，并且其中，所述第一视频图像的高度高于所述第二视频图像。通过向所述第二视频图像添加填充，可以将所述第二视频图像的竖直非对称性调整到与所述第一视频图像相同的高度。可以利用非对称图像分割器引擎来将所述超帧视频图像分割成两个分离的视频图像。通过使用行标记存储器来标记所述第二视频图像的每一行，可以确定哪些行被填充和丢弃、和哪些行是要显示的数据。

System and method for asymmetric image segmentation with line mark memory

This paper describes a system and method for implementing an asymmetric image segmentation engine that can reduce memory requirements. In one or more embodiments, a method may include receiving a multi stream transmission video including a superframe video image, wherein each superframe video image includes a first video image and a second video image, and wherein the height of the first video image is higher than the second video image. By adding padding to the second video image, the vertical asymmetry of the second video image can be adjusted to the same height as the first video image. The super frame video image can be divided into two separate video images by using the asymmetric image divider engine. By labeling each row of the second video image using the row marking memory, it can be determined which rows are filled and discarded, and which rows are the data to be displayed.

【技术实现步骤摘要】
用于具有行标记存储器的非对称图像分割器的系统和方法相关申请的交叉引用本专利申请涉及共同未决且共同所有的美国临时专利申请号62/668,087，并根据35U.S.C.§119(e)要求其优先权权益，所述美国临时专利申请标题为“SYSTEMSANDMETHODSFORASYMMETRICDUAL-VIEWSPLITTERWITHLOOK-UPTABLE(用于具有查找表的非对称双视图分割器的系统和方法)”，由专利技术人YalcinBalcioglu、ArdaKa.milBafra和LeventYakay命名，并于2018年5月7日提交，所述专利文件通过引用以其全文结合在此并用于所有目的。A.
本披露总体上涉及用于串行器/解串器(SerDes)通信的系统和方法。更具体地，本披露涉及用于非对称图像分割器应用的系统和方法。B.
技术介绍
千兆位多媒体串行链路(GMSL)串行器和解串器(SerDes)可支持各种应用所需的高带宽、复杂互连和数据完整性要求。例如，而非限制性的，应用可以包括相机的低功率要求和传感器数据聚合的广泛变化的带宽。使用长达15米的屏蔽双绞线(STP)或同轴电缆，GMSL串行器和解串器可以满足汽车和其他行业的严格的电磁兼容性(EMC)要求。在一些实施例中，应用可以包括未来的汽车信息娱乐和高级驾驶员辅助系统(ADAS)。扩频能力可以内置在每个串行器和解串器IC中，以改善链路的电磁干扰(EMI)性能而无需外部扩频时钟。系列内的串行器和解串器的互操作允许在链路的每一端处使用不同的接口。除了驱动高分辨率中央/后座显示器和仪表板外，GMSLSerDes系统还可以用于百万像素相机系统。在一些实施例中，非对称图像分割器(例如，非对称并排双视图分割器引擎)使用算法进行操作以从多个图像(例如，双视图图像)分割并提取各个视频图像。这些实施例可能产生了发送器和接收器必须由多个供应商协商并事先设计的要求，因此提高了复杂性和存储器要求。因此，需要的是可以实施非对称图像分割器的系统和方法，所述非对称图像分割器可以是灵活的，并且可以允许供应商在降低存储器需求的同时独立地设计他们的产品。附图说明将参考本专利技术的实施例，附图中可以展示这些实施例的示例。这些附图旨在为说明性的，并非限制性的。尽管总体上在这些实施例的背景下描述了本专利技术，但是应当理解的是，其不旨在将本专利技术的范围限制于这些具体实施例。图1A展示了根据本披露的各种实施例的串行器/解串器(SerDes)的功能。图1B描绘了根据本披露的各种实施例的用于视频多流传输的两种配置。图2A描绘了根据本披露的各种实施例的用于多流传输视频的视频图像的超帧。图2B描绘了根据本披露的各种实施例的竖直图像的竖直分布图像格式化。图3描绘了根据本披露的各种实施例的用于多流传输视频图像应用的非对称图像分割器的定时。图4A和图4B描绘了根据本披露的各种实施例的在非对称图像分割处理之后的重建视频图像。图5描绘了根据本专利技术的实施例的用于具有集成在串行器中的内部或外部存储器的视频多流传输的配置。图6描绘了根据本披露的实施例的计算设备/信息处置系统的简化框图。具体实施方式在以下描述中，出于解释的目的，阐述了具体细节以便提供对本专利技术的理解。然而将明显的是，本领域的技术人员可以在不具有这些细节的情况下实践本专利技术。此外，本领域的技术人员将认识到，以下所描述的本专利技术的实施例可以在有形计算机可读介质上以诸如过程、装置、系统、设备或方法等各种方式实施。在图中示出的部件或模块展示了本专利技术的示例性实施例并且旨在避免混淆本专利技术。还应理解的是，贯穿本讨论，部件可以被描述为可以包括子单元的单独的功能单元，但是本领域技术人员将认识到的是，各种部件或其部分可以被分成单独的部件或者可以被集成在一起，包括集成在单个系统或部件中。应注意的是，本文所讨论的功能或操作可以被实施为部件。部件可以实施成软件、硬件、或其组合。此外，在附图内的部件或系统之间的连接不旨在局限于直接连接。然而，在这些部件之间的数据可以被中间部件修改、重新格式化或以其他方式改变。而且，可以使用额外的或更少的连接。还应注意的是，术语“耦合(coupled)”、“连接(connected)”或“通信地耦合(communicativelycoupled)”应被理解为包括直接连接、通过一个或多个中间设备的间接连接、以及无线连接。在本说明书中，对“一个实施例(oneembodiment)”、“优选实施例(preferredembodiment)”、“实施例(anembodiment)”、或“多个实施例(embodiments)”的引用意味着，结合所述实施例所描述的具体特征、结构、特性或功能被包含在本专利技术的至少一个实施例中并且可以在不止一个实施例中。而且，在本说明书的不同地方出现的上述短语不一定都是指同一个实施例或多个实施例。在本说明书中的不同地方使用的某些术语是用于说明并且不应被理解为限制。服务、功能或资源不限于单个服务、功能或资源；对这些术语的使用可以指可以是分散的或聚集的一组相关服务、功能或资源。此外，应注意的是：(1)可以可选地执行某些步骤；(2)步骤可以不限于本文阐述的特定顺序；(3)可以按不同的顺序执行某些步骤；以及(4)可以同时完成某些步骤。图1A展示了根据本披露的各种实施例的串行器/解串器(SerDes)100的功能。串行器/解串器(SerDes)100可以利用多千兆位点对点连接技术。有效地，SerDes100是一对功能块，其可以用于高速通信以补偿有限的输入和输出。这些块可以在每个方向上在串行数据与并行接口之间转换数据。在一些实施例中，SerDes100可以通过单个/差分线路提供数据传输，以便最小化I/O引脚和互连的数量。并行时钟SerDes可以用于将并行总线输入以及数据地址和控制信号一起串行化。串行化流可以与参考时钟一起发送。在一些实施例中，可以经由锁相环(PLL)振荡器提供时钟。在一些实施例中，多千兆位点对点连接技术是千兆位多媒体串行链路(GMSL)SerDes技术。GMSL技术可以通过15米的单根同轴电缆或10米至15米的屏蔽双绞线同时输送HD视频、音频、控制信息、聚合传感器数据和千兆位以太网，同时均满足汽车电磁兼容性(EMC)规格。同轴电缆和屏蔽双绞线电缆的使用可以减轻互连主干(否则其将是复杂的)，从而以较低的系统成本支持视频多流传输。与以太网技术相比，GMSL技术可以在不压缩的情况下输送数百万像素的图像。如此，GMSL可以支持机器视觉技术，所述技术对于诸如物体和行人检测等安全特征变得至关重要。具有数据压缩的其他实施例导致伪像和丢失的信息，这可能限制支持机器视觉的能力。每个GMSLSerDesIC都可以具有内置的扩频能力，这种能力减小链路的电磁干扰(EMI)。IC的功率同轴架构可以消除对附加电源线或地线的需求，从而解决车辆重量挑战。通过集成的双向控制通道，单个微控制器可以对串行器、解串器和所有连接的外围设备进行编程。本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收包括超帧视频图像的多流传输视频，其中，每个超帧视频图像包括第一视频图像和第二视频图像，并且其中，所述第一视频图像的高度高于所述第二视频图像；/n通过向所述第二视频图像添加填充来将所述第二视频图像的竖直非对称性调整到与所述第一视频图像相同的高度；/n利用被配置为将所述超帧视频图像分割成两个分离的视频图像的非对称图像分割器；以及/n使用行标记存储器来标记所述第二视频图像的每一行，以确定哪些行被填充和丢弃、和哪些行是要显示的数据。/n

【技术特征摘要】
20180507 US 62/668,087;20190411 US 16/381,4081.一种方法，包括：
接收包括超帧视频图像的多流传输视频，其中，每个超帧视频图像包括第一视频图像和第二视频图像，并且其中，所述第一视频图像的高度高于所述第二视频图像；
通过向所述第二视频图像添加填充来将所述第二视频图像的竖直非对称性调整到与所述第一视频图像相同的高度；
利用被配置为将所述超帧视频图像分割成两个分离的视频图像的非对称图像分割器；以及
使用行标记存储器来标记所述第二视频图像的每一行，以确定哪些行被填充和丢弃、和哪些行是要显示的数据。


2.如权利要求1所述的方法，进一步包括：基于所述第一视频图像与所述第二视频图像的高度比来确定所述行标记存储器。


3.如权利要求1所述的方法，其中，所述行标记存储器是重复模式。


4.如权利要求1所述的方法，其中，所述行标记存储器由用户定制。


5.如权利要求1所述的方法，进一步包括：在调整所述第二视频图像的竖直非对称性之前，将所述第二视频图像的竖直行分布存储在数据存储装置中。


6.如权利要求1所述的方法，其中，所述超帧视频图像表示来自光探测和测距(LIDAR)设备、雷达或其他传感器的图像数据。


7.一种支持图像多流传输的系统，包括：
片上系统(SoC)，所述片上系统：
生成包括多个图像流的图像流的超帧，其中，所述多个图像流中的第一图像流包括第一高度，所述第一高度不同于所述多个图像流中的至少一个其他图像的第二高度，并且
通过向所述第一图像流中的一个或多个选择显示行添加填充来将所述第一高度调整到所述第二高度；
串行器，所述串行器与所述片上系统通信并且包括非对称图像分割器，所述非对称图像分割器被配置为将所述图像流的超帧分割成多个分离的图像流，所述多个分离的图像流包括所述第一图像流；以及
数据存储装置，所述数据存储装置与所述串行器通信并被配置为标记所述第一图像流的每一行以确定哪些行包括要丢弃的填充、和哪些行包括要显示的显示数据。...

【专利技术属性】
技术研发人员：Y·巴尔希欧格鲁，A·K·巴佛拉，L·雅克，
申请(专利权)人：马克西姆综合产品公司，
类型：发明
国别省市：美国;US