用于多摄像机系统的统一流量控制技术方案

本发明专利技术公开了用于实现用于多摄像机装置的统一流量控制系统的方法和系统。该系统提供在线流和离线流，以通过将这些流相互转换来共享资源。通过使用不同时间间隔处理在线流和离线流来执行资源共享。系统还包括用于使整个图像保持未损坏并且立刻切断来自ISP的写入流的停顿与重做操作。停顿与重做操作。停顿与重做操作。

【技术实现步骤摘要】
用于多摄像机系统的统一流量控制


[0001]本公开内容总体上涉及用于多摄像机装置的统一流量控制系统。更具体地，本公开内容涉及用于实现多摄像机装置的多个流的统一流量控制的方法。

技术介绍

[0002]从你的摄像机传感器获取光并将其转换成美丽的图像是涉及大量处理的复杂过程。幸运的是，数码摄像机通过使用专用图像信号处理(Image Signal Processing，ISP)来以高效的方式处理该过程，这是由于存在降低图像质量的若干个噪声因素。关于ISP调优例如你的摄像机的工作方式的基础，使其适用于各种的摄像机系统——包括高质量数码摄像机、运动摄像机、监控、智能手机、行车记录仪、移动设备以及基于视频图像的工业装备。
[0003]传统上，市场上已经存在在线(inline)流和离线(offline)流。此外，在线流是来自传感器、在ISP引擎中被处理后将写入双倍速率(Double Data Rate，DDR)中的数据流。离线流是来自传感器、写入DDR、从DDR读取并且在ISP引擎中被处理、写入DDR的数据流。但是无法在在线流与离线流之间进行资源共享。
[0004]目前，关于控制多摄像机装置的流流量的一些相关技术是多个互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)传感器图像信号处理。CMOS传感器是包括像素阵列的图像传感器类型，每个像素均包含广泛地用于数码摄像机技术，例如移动电话、闭路电视(CCTV)、网络摄像机等的有源放大器和光电检测器。此外，图像信号处理(ISP)流水线提供了通过执行针对数字处理和图像质量增强而设计的操作例如去马赛克、降噪、自动曝光、自动对焦、自动白平衡和图像锐化来将图像转换成数字形式的方法。
[0005]尽管如此，仍没有能够通过分时操作提供带宽优化的技术。可以通过合并不同的在线流和离线流并且以具有成本效益的方式改进服务质量来共享资源。
[0006]因此，为了克服在上述现有技术中提到的缺点，提出了用于多摄像机装置的统一流量控制方法。该系统为SoC提供了解决方案以支持多个摄像机。该解决方案将通过与在线流和离线流共享大量ISP逻辑而离线流不会阻塞在线流或使在线流延迟来提高SoC流量控制的鲁棒性和灵活性，降低昂贵的本地SRAM容量要求，并且节省SoC面积。
[0007]因此，现在明显的是，现有技术中开发了适合各种目的的许多方法和系统。此外，即使这些专利技术可能相应地适合于它们所要解决的特定目的，然而这些专利技术并不适合于如前所述的本专利技术的目的。因此，存在对用于实现多摄像机装置的多个流的统一流量控制的方法的需要。此外，存在低FIFO(SRAM)要求，以及以低成本支持在线流和离线流、对多个应用灵活并且鲁棒。

技术实现思路

[0008]根据本专利技术，存在在线流和离线流，本专利技术支持在线流和离线流两者。在线流和离线流具有它们自己的优点和缺点，因此它们对本专利技术的系统都很重要。一方面，在线流是来自传感器、在ISP引擎中被处理后写入DDR的数据流。另一方面，离线流是来自传感器、写入
DDR、从DDR读取并且在ISP引擎中被处理、写入DDR的数据流。
[0009]本专利技术的主要目的在于提供一种用于实现多摄像机装置的多个流的统一流量控制的方法。该方法涉及通过处理器监控多摄像机装置的多个流。然后将多个流识别为在线流或离线流。通过经由移动行业处理器接口(MIPI)从多摄像机装置读取在线流，来对在线流进行处理。通过第一FIFO结构将在线流存储在第一队列中。通过经由MIPI接口将离线流保存到DDR中来对离线流进行处理。从DDR读取离线流，并且通过利用第二FIFO结构将离线流存储在第二队列中。
[0010]通过以下操作执行资源共享：通过经由图像信号处理器(ISP)提供不同的时隙，在在线流与离线流之间共享带宽以形成共享流。检查共享流以确定是否启用任何优先级。并且最后，在检查写入FIFO的状态之后执行写入操作，并且将写入FIFO的内容存储在DDR中，以实现多个流的统一流量控制。
[0011]本专利技术的另一目的在于为SoC提供了解决方案以支持多个摄像机。该解决方案将通过与在线流和离线流共享大量ISP逻辑而离线流不会阻塞在线流或使在线流延迟来提高SoC流量控制的鲁棒性和灵活性，降低昂贵的本地SRAM容量要求，并且节省SoC面积。
[0012]本专利技术的又一目的在于控制在线流和离线流以调整服务质量(QoS)。
[0013]本专利技术的又一目的在于提供用于执行优先级启用的加急(HURRY)操作。加急操作推走来自共享流的低优先级流，以避免阻塞来自共享流的高优先级流。
[0014]本专利技术的又一目的在于提供停顿(STALL)与重做(REDO)操作。停顿将使离线流停止，然而停顿将丢失一些数据，因此在停顿之后，应当采取重做以恢复丢失的数据。
[0015]本专利技术的又一目的在于提供资源共享操作。在线流和离线流可以在不同的时隙中共享一个ISP引擎。例如，在一个时隙中处理在线流的一列，在另一时隙中处理离线流的一列。系统中主要有两种资源，即计算单元和存储器。在线流和离线流可以通过在不同的时隙访问计算单元和存储器来共享计算单元和存储器两者。
[0016]本专利技术的又一目的在于提供流回压(back pressure)。当离线流没有用于在短时间段内写入的足够带宽时，离线流可以停止读取，从而停止生成新的写入请求以避免队列溢出。
[0017]根据结合附图进行的以下详细描述，本专利技术的其他目的和方面将变得明显，所述附图作为示例示出了根据本专利技术的实施方式的特征。
[0018]为了实现以上目的和相关目的，本专利技术可以以附图中所示的形式来实施，然而，注意以下事实：附图仅是说明性的，并且在权利要求的范围内可以对所示和描述的具体结构进行改变。
[0019]尽管以上按照各种示例性实施方式和实现方式描述了本专利技术，但是应当理解，在各个实施方式中的一个或更多个中描述的各种特征、方面和功能在其应用上不限于它们被描述的具体实施方式，而是可以单独地或以各种组合应用于本专利技术的其他实施方式中的一个或更多个，无论是否对这些实施方式进行描述并且无论这些特征是否作为所描述的实施方式的一部分被提出。因此，本专利技术的宽度和范围不应受到上述示例性实施方式中的任何示例性实施方式的限制。
[0020]范围扩大的词和短语例如“一个或更多个”、“至少”、“但不限于”或其他类似的短语在一些实例中的出现不应被解读为表示：在这种意义扩大的短语可能不存在的情况下，
意图或要求使用范围较窄的短语。
附图说明
[0021]根据结合附图进行的以下描述和权利要求，本专利技术的目的和特征将变得更加明显。要理解的是：这些附图仅描绘了本专利技术的典型实施方式，并且因此不应被认为限制其范围，将通过使用附图以附加的特征和细节来描述和解释本专利技术，在附图中：
[0022]图1示出了根据本专利技术的用于提供用于多摄像机装置的统一流量控制系统的处理流程图；
[0023]图2示出了根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于实现多摄像机装置的多个流的统一流量控制的方法，其特征在于，所述方法包括：通过处理器监控所述多摄像机装置的所述多个流；将所述多个流中的每一个识别为在线流或离线流；通过经由移动行业处理器接口(MIPI)从所述多摄像机装置读取所述在线流，来对所述在线流进行处理；通过第一FIFO结构将所述在线流存储在第一队列中；通过经由MIPI接口将所述离线流保存到DDR中来对所述离线流进行处理；从所述DDR读取所述离线流，并且通过利用第二FIFO结构将所述离线流存储在第二队列中；通过经由图像信号处理器(ISP)提供不同的时隙，在所述在线流与所述离线流之间共享带宽以形成共享流；检查所述共享流以确定是否启用任何优先级；以及在检查写入FIFO的状态之后执行写入操作并且将所述写入FIFO的内容存储在所述DDR中，以实现所述多个流的统一流量控制。2.根据权利要求1所述的方法，其特征在于，通过启动第一读取操作来执行对所述在线流的读取，另外其中，通过启动第二读取操作来执行对所述离线流的读取。3.根据权利要求2所述的方法，其特征在于，如果所述在线流的第一读取阈值(RTH
‑
1)大于读取阈值(RTH)，则启动所述第一读取操作，另外其中，如果所述离线流的第二读取阈值(RTH
‑
2)大于所述读取阈值(RTH)，则启动所述第二读取操作。4.根据权利要求1所述的方法，其特征在于，通过启动第一...

【专利技术属性】
技术研发人员：周英，熊成玉，齐峥，
申请(专利权)人：黑芝麻智能科技上海有限公司，
类型：发明
国别省市：