调度分布式数据流服务框架内的要素服务的方法技术

一种调度分布式数据流服务框架内的要素服务的方法，该框架包括：具有标准内核和加速器内核的主片上系统“SoC”；提供包含传感器数据的输入数据的感测服务；处理输入数据的要素服务，其中各要素服务包括具有用于处理输入数据的算法的公共模式、用于将所述算法封装到使所述算法与其他算法兼容的通用封装器中的要素、用于将要素输出封装到允许与其他要素服务进行通用通信的通用接口中的要素接口，以及包括调度策略以执行所述要素服务的配置文件；其中，该方法包括：针对每个要素服务，使用调度策略来调度要素服务的执行，以及在标准和/或加速器内核上执行每个要素服务。速器内核上执行每个要素服务。速器内核上执行每个要素服务。

【技术实现步骤摘要】
调度分布式数据流服务框架内的要素服务的方法


[0001]本公开总体涉及使用日益增长的人工智能“AI”和机器学习“ML”技术的数据流应用的领域，目的是确保人和环境的安全。尤其是，本公开涉及汽车领域，并且涉及用于车辆内部和/或外部的汽车感知系统的框架，例如自主、半自主或传统车辆。
[0002]更具体地，本公开涉及一种调度分布式数据流服务“DDFS”框架内的要素服务(feature service)的执行的方法。

技术介绍

[0003]许多公司/联盟针对该目标对基于AI/ML的各种方法和算法进行了研究和开发。需要仔细选择这些算法并将其集成到当今的汽车头部单元中以最佳地利用这些要素。由于这些算法来自使用专有算法、数据结构格式或应用编程接口“API”的不同供应商，因此以标准方式将这些算法集成并组合到原始设备制造商“OEM”平台中成为挑战。一个共同的方面是这些算法是数据驱动的，并且它们涉及输入数据的繁重处理。
[0004]数据库如OpenCV(https://opencv.org)提供实时优化的计算机视觉库、工具和硬件。它还支持用于机器学习和人工智能的模型执行。
[0005]另一个数据库如OpenVX(https://www.khronos,org/openvx/)是计算机视觉应用的跨平台加速的开放、无版税标准。它被设计成便于用于视觉算法的方法的便携、优化且功率高效的处理。
[0006]所提及的现有解决方案没有解决将可能来自不同供应商并且基于定制算法实现的各种算法实现组合到公共平台中的问题。/>[0007]此外，相关技术解决方案未解决通过连接到在远程机器或内核上运行的AI/ML算法而在分布式系统中形成处理流水线的用例。此外，现有技术的解决方案不提供通过配置来“调度”最佳硬件使用的处理速率的任何灵活性。此外，相关技术的解决方案不能跨越虚拟化(或超虚拟化)系统的边界工作。
[0008]需要改进现有的公开内容以至少部分地克服上述缺点。

技术实现思路

[0009]为了解决这种问题，本公开提出了一种用于调度分布式数据流服务“DDFS”框架内的要素服务的执行的方法，所述DDFS框架包括具有标准内核和至少一个加速器内核的主片上系统“SoC”；提供包含传感器数据的输入数据的至少一个感测服务；对该输入数据进行处理的多个要素服务，其中，各要素服务具有用于处理所述输入数据的算法的公共模式、用于将所述算法封装到使所述算法与来自其他要素服务的其他算法兼容的通用封装器中的要素、用于将所述要素输出封装到允许与其他服务进行通用通信的通用接口中的要素接口、以及包括调度策略以执行所述要素服务的配置文件；并且其中，该方法包括针对每个要素服务，
[0010]‑
使用所述配置文件的调度策略来调度所述要素服务的执行；以及
[0011]‑
在所述标准内核和/或所述至少一个加速器内核上执行各要素服务。
[0012]利用这种调度方法，该框架允许以监督和控制的方式在任何数据流应用域中灵活且分布式地部署包括基于经典或机器学习的算法的要素。此外，DDFS具有根据灵活的调度策略来配置要执行的服务的能力。服务可以被配置为按照在其自己的配置文件中指定的调度策略来运行，即，各服务可以遵循其自己的独立调度策略。
[0013]根据有利方面，各要素服务接收输入帧形式的输入数据，并且对于要执行的每个要素服务，调度策略是在以下之一中选择的自调节调度策略：(i)自由运行执行，每当输入帧可用时，处理该输入帧；(ii)以固定帧速率进行时间触发执行，其中，以给定的时间间隔对一个输入帧进行处理；(iii)批量进行时间触发执行，其中，以给定的时间间隔批量对排队的输入帧进行处理；(iv)批量进行帧触发执行，每当给定量的输入帧排队时，批量对排队的输入帧进行处理；(v)以固定的时间盒进行时间触发执行，其中，在固定的时间盒内对排队的输入帧进行处理。这些执行服务的自调节调度策略实现了处理性能和等待时间之间的良好折衷。在设计时间期间静态地选择不同服务的调度策略以满足给定平台(SoC)和要素服务集的框架性能要求。
[0014]根据有利方面，来自多个要素服务的至少两个要素服务的链形成服务流水线，其中，链中的第一要素服务接收来自至少一个感测服务的输入数据，并且其中，服务流水线中除最后一个要素服务外的每个要素服务的输出被用作所述链中下一要素服务的输入。更有利地，DDFS支持多个顺序和独立的服务流水线。此外有利的是，独立的服务流水线共享同一输入数据，并且其中，多个服务流水线共享同一输出。由于要素服务的公共模式(如图2所示)，各要素服务被建模为具有标准输入和输出接口的独立执行单元，其允许要素服务以链连接以形成流水线。
[0015]根据有利方面，至少一个要素服务包含人工智能/机器学习“AI/ML”算法，所述具有AI/ML算法的要素服务由至少一个加速器内核处理。需要更多资源的AI/ML算法优选地在任何加速器内核上处理，而没有AI/ML算法的其它服务可以在标准内核上执行，从而提供了可用资源的优化使用。
[0016]根据有利方面，DDFS框架还包括内核控制器/调度器，用于控制要素服务的执行和/或它们的执行速率；和/或运行时间ML控制器，用于管理要素服务对AI/ML资源的访问。所提出的框架确保可以通过在有限的硬件资源和严格的要求内分发和编排服务来有效地执行不断增长的算法/要素集。
[0017]根据有利方面，DDFS架构包括车辆中的多个感测服务，其中舱内传感器和/或外部传感器包括至少一个摄像头和/或至少一个其他传感器设备。
[0018]根据有利方面，DDFS框架支持与分布式要素服务的通信，包括在运行主操作系统“OS”或客OS的主SoC上执行要素服务；和/或在运行主OS或客OS的至少一个外部SoC上执行要素服务。
[0019]根据有利方面，每个要素服务还包括与DDFS连接以启动或停止要素服务的控制接口；用于对来自所述至少一个感测服务或来自另一要素服务的输入帧进行排队的输入处理队列。
[0020]根据有利方面，输入处理队列以下列方式之一进行配置：(i)全部排队，其中将全部输入帧排队处理；(ii)排队最后一个，其中仅最后接收的输入帧被保持；(iii)对最后N个
进行排队，其中最后N个接收的输入帧被保持；(iv)跳过输入帧，其中仅每第N个接收的输入帧被保持。所述框架支持各种排队策略，其允许实现灵活的处理速率以最佳地利用所分配的资源。
[0021]根据有利方面，所述配置文件还包括要素和算法特定参数；和/或输入处理速率；和/或用于在所述至少一个加速器内核中的任一个上执行AI/ML算法的目标内核；和/或对应于要素服务的不同实现的服务互连；和/或进程间通信“IPC”，其中，DDFS框架支持IPC技术的灵活选择。
[0022]根据有利方面，要素服务的配置文件是可修改的而无需重新编译。配置要素服务的这种方法允许一种容易且灵活的方式来改变服务的行为。
[0023]本公开还涉及一种包括程序指令的非暂时性计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种调度分布式数据流服务DDFS框架内的要素服务的执行的方法，所述DDFS框架包括：
‑
具有标准内核和至少一个加速器内核的主片上系统SoC；
‑
提供包含传感器数据的输入数据的至少一个感测服务；
‑
处理所述输入数据的多个要素服务，其中每个要素服务包括具有用于处理所述输入数据的算法的公共模式、用于将所述算法封装到使所述算法与来自其他要素服务的其他算法兼容的通用封装器中的要素、用于将要素输出封装到允许与其他要素服务进行通用通信的通用接口中的要素接口，以及包括调度策略以执行所述要素服务的配置文件；其中，所述方法包括针对每个要素服务：
‑
使用所述配置文件的所述调度策略来调度所述要素服务的执行；
‑
在所述标准内核和/或所述至少一个加速器内核上执行每个要素服务。2.根据权利要求1所述的方法，其中，每个要素服务接收输入帧形式的输入数据，并且其中，对于要执行的每个要素服务，在以下之一中选择所述调度策略：
‑
自由运行执行，每当输入帧可用时，对该输入帧进行处理；
‑
以固定帧速率进行时间触发执行，其中，以给定的时间间隔对一个输入帧进行处理；
‑
批量进行时间触发执行，其中，以给定的时间间隔对排队的输入帧进行批量处理；
‑
批量进行帧触发执行，每当给定量的输入帧排队时，对排队的输入帧进行批量处理；
‑
以固定的时间盒进行时间触发执行，其中，在固定的时间盒内对排队的输入帧进行处理。3.根据权利要求1或2所述的方法，其中，至少一个感测服务和来自所述多个要素服务的至少两个要素服务的链形成服务流水线，其中，所述链中的第一要素服务接收来自所述至少一个感测服务的输入数据，并且其中，所述服务流水线中除最后一个要素服务外的每个要素服务的输出被用作所述链中下一个要素服务的输入。4.根据权利要求3所述的方法，其中，所述DDFS支持多个顺序且独立的服务流水线。5.根据权利要求4所述的方法，其中，独立的服务流水线共享同一输入数据，并且其中，多个服务流水线共享同一输出。6.根据权利要求1至5中任一项所述的方法，其中，至少一个要素服务包含人工智能/机器学习AI/ML算法，具有AI/ML算法的所述要素服务由所述至少一个加速器内核处理。7.根据权利要求1至6中任一项所述的方法，其中，所述...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：