向并发执行的神经网络分配处理资源制造技术

实施例包括由交通工具的处理器执行的用于将处理资源分配给并发执行的神经网络的方法。这些方法可包括基于在交通工具处理系统上执行的多个神经网络中的每一者对总体交通工具安全性能的贡献来确定每一个神经网络的优先级，以及基于每一个神经网络的所确定的优先级来将计算资源分配给该多个神经网络。在一些实施例中，这些方法可动态地调整一个或多个神经网络的超参数。经网络的超参数。经网络的超参数。

【技术实现步骤摘要】
【国外来华专利技术】向并发执行的神经网络分配处理资源
[0001]相关申请
[0002]本申请要求2020年12月21日提交的美国专利申请No.17/128,554的优先权权益；其全部内容通过援引纳入于此。
[0003]背景
[0004]自主交通工具(诸如自主和半自主汽车、无人机、移动机器人和其他合适的机器)越来越多地包括用以收集关于环境的信息的多个传感器，以及用以处理搜集到的信息以用于路线规划、导航、防撞等的处理系统。一个示例是用于自主和半自主汽车的高级驾驶员辅助系统(ADAS)。为了能够快速分析传感器数据并基于其快速决策，来自每个传感器的数据由神经网络处理，因此交通工具的计算系统(诸如片上系统(SOC))并发地执行许多神经网络。
[0005]概述
[0006]各方面包括可以在交通工具内的处理设备中实现的用于向并发执行的神经网络分配计算资源的方法。由交通工具的处理器执行的各方面可包括基于在交通工具处理系统上执行的多个神经网络中的每一者对总体交通工具安全性能的贡献来确定每一个神经网络的优先级，以及基于每一个神经网络的所确定的优先级来将计算资源分配给该多个神经网络。
[0007]在一些方面，基于在交通工具处理系统上执行的多个神经网络中的每一者对总体交通工具安全性能的贡献来确定每一个神经网络的优先级可包括：基于该多个神经网络中的每一者在交通工具操作上下文中对总交通工具安全性能的贡献来确定每一个神经网络的优先级。在一些方面，基于在交通工具处理系统上执行的多个神经网络中的每一者对总体交通工具安全性能的贡献来确定每一个神经网络的优先级可包括：基于对该多个神经网络中的每一者对总体交通工具安全性能的贡献的指示来确定该神经网络的优先级，其中该指示由每一个神经网络提供。在一些方面，总体交通工具安全性能可基于使用该多个神经网络的推断准确度和速度作为输入值的模型来计算。在一些方面，总体交通工具安全性能可基于可由人类乘客感知到的因素来指示驾驶质量，诸如以改善乘客的体验。
[0008]在一些方面，确定在交通工具处理系统上执行的多个神经网络中的每一者的优先级可包括：基于每一个神经网络的每秒输出推断和输出准确度来确定该多个神经网络中的一者或多者的相对性能。在一些方面，基于每一个神经网络的所确定的优先级来向该多个神经网络分配计算资源可包括基于该多个神经网络中的一个或多个神经网络的所确定的优先级来调整该多个神经网络中的该一个或多个神经网络的一个或多个超参数。在一些方面，基于该多个神经网络中的一个或多个神经网络的所确定的优先级来调整该多个神经网络中的该一个或多个神经网络的一个或多个超参数可包括基于该多个神经网络中的一个或多个神经网络的性能有效性曲线来调整一个或多个超参数。
[0009]一些方面可进一步包括使用所分配的计算资源来确定该多个神经网络中的一者或多者的性能，以及基于该多个神经网络中的一者或多者的所确定的性能来将计算资源重新分配给该多个神经网络中的一者或多者。此类方面可进一步包括监视计算资源的动态可
用性以及计算资源的实际使用。在此类方面，基于该多个神经网络中的一者或多者的所确定的性能来将计算资源重新分配给该多个神经网络中的一者或多者可包括基于计算资源的动态可用性以及计算资源的实际使用来将计算资源重新分配给该多个神经网络中的一者或多者。
[0010]在一些方面，基于该多个神经网络中的一者或多者的所确定的性能来将计算资源重新分配给该多个神经网络中的一者或多者可包括基于该多个神经网络中的每一者的所确定的性能来重新调整该多个神经网络中的一者或多者的一个或多个超参数。一些方面可包括确定可用计算资源已经增加、已经减少还是保持相同，以及响应于确定可用计算资源已经增加而调整对总体交通工具安全性能具有相对较大影响的一个或多个神经网络超参数。此类方面可包括响应于确定可用计算资源已经减少而调整对总体交通工具安全性能具有相对较小影响的一个或多个神经网络超参数。
[0011]进一步方面包括包含处理器的交通工具，该处理器配置有用于执行以上概述的任何方法的操作的处理器可执行指令。进一步方面包括其上存储有处理器可执行软件指令的非瞬态处理器可读存储介质，这些处理器可执行软件指令被配置成使处理器执行以上概述的任何方法的操作。进一步方面包括一种处理设备，其用在交通工具中且被配置成执行以上概述的任何方法的操作。
[0012]附图简述
[0013]纳入于此且构成本说明书一部分的附图解说了各示例性实施例，并与以上给出的概括描述和下面给出的详细描述一起用来解释各个实施例的特征。
[0014]图1A和1B是解说适合于实现各个实施例的交通工具的组件框图。
[0015]图1C是解说适合于实现各个实施例的交通工具的组件的组件框图。
[0016]图2A是解说根据各个实施例的示例交通工具管理系统的组件的组件框图。
[0017]图2B是解说根据各个实施例的另一示例交通工具管理系统的组件的组件框图。
[0018]图3是解说根据各实施例的供在交通工具中使用的示例片上系统的组件的框图。
[0019]图4是根据各个实施例的被配置成用于向并发执行的神经网络分配处理资源的示例系统的组件框图。
[0020]图5A是解说根据各个实施例的适用于向并发执行的神经网络分配处理资源的交通工具计算系统的组件的概念图。
[0021]图5B是解说根据各个实施例的可由各个神经网络执行的功能的表。
[0022]图5C是解说根据各个实施例的各个神经网络的超参数的配置的表。
[0023]图5D是根据各个实施例的神经网络的性能有效性曲线的示例的图示和解说。
[0024]图5E、5F和5G是根据各个实施例的调整超参数的影响的示例的图示和解说。
[0025]图5H是根据各个实施例的热节流与向并发执行的神经网络分配处理资源的比较的图示和解说。
[0026]图6A是解说根据各个实施例的可由交通工具的处理器执行以用于向并发执行的神经网络分配处理资源的方法的操作的过程流图。
[0027]图6B和6C是解说根据各个实施例的可由交通工具的处理器执行的作为用于向并发执行的神经网络分配处理资源的方法的一部分的操作的过程流图。
[0028]详细描述
[0029]将参照附图详细描述各个方面。在可能之处，相同附图标记将贯穿附图用于指代相同或类似部分。对特定示例和实施例所作的引用是用于解说性目的，而并不旨在限定各个方面或权利要求的范围。
[0030]执行众多并发神经网络的交通工具计算系统具有有限的计算资源并且必须在热包络内操作。解决交通工具计算系统中的处理限制的常规方法包括降低执行所有神经网络的(诸)处理器的操作频率。虽然有效地确保热极限不被超过，但此类方法会导致全面降低每个神经网络的处理速度和输出，在某些情况下这可能会危及安全功能。然而，并非所有并发执行的神经网络对于安全交通工具操作都是同等重要的。例如，执行用于机动和防撞的功能的神经网络对于时刻确保安全交通工具操作可能比用于基于交通密度来进行动态路线重选的神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由交通工具的处理器执行的用于将计算资源分配给并发执行的神经网络的方法，包括：基于在交通工具处理系统上执行的多个神经网络中的每一者对总体交通工具安全性能的贡献来确定每一个神经网络的优先级；以及基于每一个神经网络的所确定的优先级来向所述多个神经网络分配计算资源。2.如权利要求1所述的方法，其中基于在交通工具处理系统上执行的多个神经网络中的每一者对总体交通工具安全性能的贡献来确定每一个神经网络的优先级包括：基于所述多个神经网络中的每一者在交通工具操作上下文中对所述总体交通工具安全性能的贡献来确定每一个神经网络的所述优先级。3.如权利要求1所述的方法，其中基于在交通工具处理系统上执行的多个神经网络中的每一者对总体交通工具安全性能的贡献来确定每一个神经网络的优先级包括：基于对所述多个神经网络中的每一者对所述总体交通工具安全性能的贡献的指示来确定该神经网络的所述优先级，其中所述指示由每一个神经网络提供。4.如权利要求1所述的方法，其中所述总体交通工具安全性能是基于使用所述多个神经网络的推断准确度和速度作为输入值的模型来计算的。5.如权利要求1所述的方法，其中所述总体交通工具安全性能指示基于能被人类乘客感知到的因素的驾驶质量。6.如权利要求1所述的方法，其中确定在所述交通工具处理系统上执行的所述多个神经网络中的每一者的优先级包括：基于每一个神经网络的每秒输出推断和输出准确度来确定所述多个神经网络中的一者或多者的相对性能。7.如权利要求1所述的方法，其中基于每一个神经网络的所确定的优先级来向所述多个神经网络分配计算资源包括基于所述多个神经网络中的一个或多个神经网络的所确定的优先级来调整所述多个神经网络中的所述一个或多个神经网络的一个或多个超参数。8.如权利要求7所述的方法，其中基于所述多个神经网络中的一个或多个神经网络的所确定的优先级来调整所述多个神经网络中的所述一个或多个神经网络的一个或多个超参数包括基于所述多个神经网络中的一个或多个神经网络的性能有效性曲线来调整一个或多个超参数。9.如权利要求1所述的方法，进一步包括：使用所分配的计算资源来确定所述多个神经网络中的一者或多者的性能；以及基于所述多个神经网络中的一者或多者的所确定的性能来将计算资源重新分配给所述多个神经网络中的一者或多者。10.如权利要求9所述的方法，进一步包括：监视所述计算资源的动态可用性以及所述计算资源的实际使用，其中基于所述多个神经网络中的一者或多者的所确定的性能来将计算资源重新分配给所述多个神经网络中的一者或多者包括基于所述计算资源的所述动态可用性以及所述计算资源的所述实际使用来将计算资源重新分配给所述多个神经网络中的一者或多者。11.如权利要求9所述的方法，其中基于所述多个神经网络中的一者或多者的所确定的性能来将计算资源重新分配给所述多个神经网络中的一者或多者包括基于所述多个神经网络中的每一者的所确定的性能来重新调整所述多个神经网络中的一者或多者的一个或
多个超参数。12.如权利要求1所述的方法，进一步包括：确定可用计算资源已增加、已减少还是保持相同；响应于确定所述可用计算资源已增加而调整对总体交通工具安全性能具有相对较大影响的一个或多个神经网络超参数；以及响应于确定所述可用计算资源已减少而调整对总体交通工具安全性能具有相对较小影响的一个或多个神经网络超参数。13.一种处理系统，包括：处理器，所述处理器配置有用于以下操作的处理器可执行指令：基于在交通工具处理系统上执行的多个神经网络中的每一者对总体交通工具安全性能的贡献来确定每一个神经网络的优先级；以及基于每一个神经网络的所确定的优先级来向所述多个神经网络分配计算资源。14.如权利要求13所述的处理系统，其中所述处理器进一步配置有用于以下操作的处理器可执行指令：基于在所述交通工具处理系统上执行的所述多个神经网络中的每一者在交通工具操作上下文中对所述总体交通工具安全性能的贡献来确定每一个神经网络的所述优先级。15.如权利要求13所述的处理系统，其中所述处理器进一步配置有用于以下操作的处理器可执行指令：基于由在所述交通工具处理系统上执行的所述多个神经网络中的每一者提供的对该神经网络对所述总体交通工具安全性能的贡献的指示来确定每一个神经网络的所述优先级。16.如权利要求13所述的处理系统，其中所述处理器进一步配置有处理器可执行指令以使得：所述总体交通工具安全性能是基于使用所述多个神经网络的推断准确度和速度作为输入值的模型来计算的。17.如权利要求13所述的处理系统，其中所述处理器进一步配置有处理器可执行指令以使得：所述总体交通工具安全性能指示基于能被人类乘客感知到的因素的驾驶质量。18.如权利要求13所述的处理系统，其中所述处理器进一步配置有用于以下操作的处理器可执行指令：基于每一个神经网络的每秒输出推断和输出准确度来确定所述多个神经网络中的一者或多者的相对性能。19.如权利要求13所述的处理系统，其中所述处理器进一步配置有用于以下操作的处理器可执行指令：基于所述多个神经网络中的一者或多者的所确定的优先级来调整所述多个神经网络中的一者或多者的一个或多个超参数。20.如权利要求19所述的处理系统，其中所述处理器进一步配置有用于以下操作的处理器可执...

【专利技术属性】
技术研发人员：H，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：