用于有效信号处理的芯片资源上的系统动态分配技术方案

本发明专利技术公开了用于有效信号处理的芯片资源上的系统动态分配。在各种示例中，针对信号处理请求动态地生成或实例化信号处理管线。为了生成管线，可以创建包括节点和边缘的图拓扑，以表示信号处理系统的特征、功能和特性。代表处理任务的节点可以经由具有相关成本的边缘连接，以由节点在先前节点或边缘连接的节点的输出上执行处理任务。对于给定的信号处理请求，可以选择要包括的节点或处理任务，并使用图路由算法以及所确定的节点之间和之中的成本来确定通过节点的路径，从而至少部分地定义信号处理管线。信号处理管线。信号处理管线。

【技术实现步骤摘要】
用于有效信号处理的芯片资源上的系统动态分配
[0001]相关申请的交叉引用
[0002]本申请要求2019年8月8日提交的申请号为62/884,297的美国临时申请的权益，该临时申请的全部内容通过引用合并于此。

技术介绍

[0003]信号处理依赖于处理管线，其用于将由传感器生成的数据转换成可以在各种应用程序中使用的经处理或经修改的数据。关于图像处理，可以使用用于由图像传感器生成的图像数据的管线来将捕获的原始图像转换成不同的格式(例如，Bayer到YUV)。例如，当处理图像数据时-根据图像数据类型和图像处理请求中指示的图像参数-图像数据可能会经历任何数量的处理任务(例如，去马赛克、降噪、缩放、镜头阴影等)作为经定义的管线(pipeline)或进程路线(process route)。结果，可以通过进程路线对捕获的图像进行转换或处理，以生成可以与捕获的图像具有不同图像质量、数据类型和/或比例的经处理的图像。
[0004]然而，常规系统使用固定的处理管线来将捕获的传感器数据转换成预定义类型的经处理的传感器数据。因此，当信号处理请求需要不同类型的经处理的传感器数据时，必须使用相同的固定处理管线，这对于该特定的经处理的传感器数据类型(例如，质量可能低于预期)可能无法充分执行。另外，即使现有的固定处理管线可生成特定的经处理的传感器数据类型，固定处理管线也可能无法有效地这样做-例如，可能会使用过多的功率，可能会增加运行时间和/或内存占用可能超出可用性
–
因为固定处理管线中的处理任务顺序可能效率不高。
专利技术内容
[0005]本公开的实施例涉及用于有效信号处理的片上系统(SoC)资源的动态分配。公开了使用图路由算法来确定通过多个节点的有效路径的系统和方法，每个节点均代表各自的处理任务，其中该路径至少部分地定义了信号处理管线。在信号处理架构中可以使用许多分立的硬件组件来执行动态实例化的信号处理管线。因此，与常规系统相比，由于信号处理管线可以是动态的，因此通过信号处理管线(进而到达分立硬件组件)的路径也可以是动态的或可调整的。
[0006]为了确定给定信号处理请求的信号处理管线，可以将系统的硬件和软件拓扑、能力和限制建模为图。信号处理请求可以包括捕获数据类型、经处理或输出的数据类型、所需的处理步骤(例如，高动态范围(HDR)或图像应用中的去噪)、输出数据大小和/或类似物的指示。这样，基于信号处理请求，可以确定与可以用于对捕获的信号执行处理的不同硬件和/或软件相对应的图的节点。除了在一些实施例中可以使用各个确定的节点之间的成本之外，图路由算法还可以使用附加标准(例如，用户指定的标准，诸如运行时间、功率使用、存储器带宽、图像质量等)来确定通过确定的节点的有效路径。一旦确定路径，就可以使用该路径来定义用于信号处理请求的信号处理管线。可以针对任意数量的信号处理请求重复
该过程，其中可以根据各种成本、附加标准和/或确定的节点来生成信号处理管线的不同实例。这样，并且与常规系统不同，通过分立硬件组件的路线可以在逐个请求的基础上有所不同，从而提供了一种动态且有效的信号处理方法，该方法能够减少运行时间、减少内存和功耗并进行裁剪输出数据质量达到指定标准。
附图说明
[0007]下面参照附图详细描述用于动态分配片上系统(SoC)资源以进行有效信号处理的本系统和方法，其中：
[0008]图1A是根据本公开的一些实施例的示例信号处理系统；
[0009]图1B是根据本公开的一些实施例的用于信号处理系统的示例硬件分布；
[0010]图2A是根据本公开的一些实施例的用于信号处理系统的示例图拓扑；
[0011]图2B是根据本公开的一些实施例的用于图像处理请求的图2A的图拓扑内的示例节点选择；
[0012]图2C是根据本公开的一些实施例的用于图像处理请求的通过图2B的所选节点的示例路径；
[0013]图3是根据本公开的一些实施例的包括枢轴节点的示例图拓扑；
[0014]图4是示出根据本公开的一些实施例的用于生成图像处理管线的方法的流程图；和
[0015]图5是适合用于实现本公开的一些实施例的示例计算设备的框图。
具体实施例
[0016]公开了与用于有效信号处理的片上系统(SoC)资源的动态分配有关的系统和方法。尽管本文主要针对图像处理进行了描述，但这并不旨在是限制性的。例如，本公开的系统和方法可以针对任何信号处理应用来实现，包括但不限于音频信号处理、语音信号处理、图像处理、视频处理、无线通信信号处理、控制系统信号处理、数组处理、进程控制信号处理、地震信号处理、医疗设备或成像信号处理、金融信号处理、特征提取信号处理、质量改善信号处理(例如，降噪、图像增强、回声消除等)、源编码信号处理(例如，音频压缩、图像压缩、视频压缩等)、基因组信号处理和/或其他信号处理类型。
[0017]与诸如本文所述的常规方法相反，本公开描述了可用于处理传感器数据的动态优化的处理管线。例如，可以在信号处理架构中使用多个分立的硬件组件来执行处理管线，其中每个硬件组件可以配置为执行相应的处理任务(例如，降噪、去马赛克、镜头阴影(lens shading)、高动态范围(HDR)阴影、缩放、语音合成、回声消除等)。由于处理管线可能未经过硬编码，因此通过处理管线的路径(进而到分立硬件组件的路径)可能是动态的或可调整的。
[0018]为了确定用于给定信号处理请求的处理管线，可以将系统的硬件和软件拓扑、能力和限制建模为图(例如，有向图)。图的拓扑可以是静态的，使得图拓扑完整地描述相机的能力(例如，每个可能的处理任务可以包含在图拓扑中)。响应于信号处理(或捕获)请求，通过处理管线的进程路线(process route)可以被认为是通过图的帧(例如，分组)的路线。在一些示例中，信号处理请求可以包括捕获传感器数据类型、已处理或输出的传感器数据类
型、所需的处理步骤(例如，HDR、去噪等)、输出大小等的指示。这样，基于信号处理请求，可以确定可用于对捕获的传感器数据执行处理的不同硬件和/或软件。一旦确定了与处理任务相对应的硬件和/或软件，就可以确定与所确定的处理任务相对应的图的每个节点。
[0019]可以知道具有连接(例如，具有可以彼此相继发生的相关处理任务)的节点，并且可以确定每对节点之间的成本(例如，从缩放进程(process)到降噪进程的成本可能是x，从缩放进程到去马赛克步骤的成本可能是y，其中x和y可能不同)。在一些实施例中，可以通过测试或训练来确定成本，使得可以通过处理任务的各种组合来运行样本以确定成本(例如，处理成本)。在一些示例中，每个节点(或处理任务)可以具有多个不同的选项(例如，可以对处理任务进行参数化)，并且因此，节点之间可以存在相应数量的成本，这取决于不同的处理选项。在这样的示例中，缩放节点可以包括10％的缩小、20％的缩小、50％的放大等的可能性，并且缩放节点的每种不同的可能性可以由个体成本来表示。
[0020]在一些示例中，成本可以被固定为使得无论已本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：生成包括与多个处理任务相对应的多个节点的图拓扑，所述图拓扑包括每对节点之间的边缘，所述边缘具有能够顺序执行的相关处理任务；以及响应于接收到指示请求的参数集的信号处理请求：从所述多个节点中确定一组节点，并从所述多个处理任务中确定相应的一组处理任务，以将捕获的传感器数据和捕获的参数集转换为具有所述请求的参数集的经处理的传感器数据，所述一组节点还对应于传感器数据处理系统中的一组分立硬件组件，并且能够执行所述一组处理任务；确定与对应于所述一组节点的每个边缘相关联的处理成本；使用图路由算法并且至少部分地基于与所述一组边缘相关联的成本来确定通过所述一组节点包括最低累积成本的进程路线；以及根据所述进程路线将所述捕获的传感器数据应用于所述一组分立硬件组件，以生成经处理的传感器数据。2.根据权利要求1所述的方法，其中所述捕获的参数集和所述请求的参数集两者均基于所述信号处理请求，并且确定所述一组节点至少部分地基于所述捕获的参数集和所述请求的参数集。3.根据权利要求1所述的方法，其中两个或更多个节点对应于单个分立硬件组件。4.根据权利要求1所述的方法，其中所述信号处理请求还指示处理标准，并且确定所述成本至少部分地基于所述处理标准。5.根据权利要求4所述的方法，其中所述处理标准对应于功率使用、延时、传感器数据质量或存储器带宽中的至少一者。6.根据权利要求4所述的方法，其中对于与所述一组节点相对应的每个边缘，使用所述边缘的相应成本和与所述处理标准相对应的权重来确定特定边缘的成本。7.根据权利要求1所述的方法，其中两个或更多个边缘在单对节点之间，所述两个或更多个边缘中的每一个对应于所述单对节点之间用于所述处理任务的相应处理选项。8.根据权利要求7所述的方法，其中当所述单对节点被包括在所述一组节点中时，所述两个或更多个边缘被包括在所述一组边缘中。9.根据权利要求1所述的方法，其中所述边缘的第一边缘和第二边缘在第一节点和第二节点之间，所述第一边缘和所述第二边缘中的每一个对应于所述第二节点的单个处理选项，所述第一边缘对应于来自所述第一节点的第一输出类型，以及所述第二边缘对应于来自所述第二节点的第二输出类型。10.根据权利要求1所述的方法，其中：所述经处理的传感器数据为第一经处理的传感器数据；所述信号处理请求包括对所述第一经处理的传感器数据和第二经处理的传感器数据的请求，所述第二经处理的传感器数据具有与所述请求的参数集不同的另一请求的参数集；以及确定所述进程路线包括确定用于将所述捕获的传感器数据转换成所述第一经处理的传感器数据的第一进程路线和用于将所述捕获的传感器数据转换成所述第二经处理的传感器数据的第二进程...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：辉达公司，
类型：发明
国别省市：