场景任务处理方法、装置、设备和计算机可读存储介质制造方法及图纸

本申请实施例提供了一种场景任务处理方法、装置、设备和计算机可读存储介质，包括：获取场景中的多种类型物体的属性信息；根据多种类型物体中每个物体的属性信息，确定每个节点的初始节点特征，以及两两节点之间构成的边中每个边的初始边特征；初始边特征表征两两节点对应的两两物体之间的语义关系特征和相对位置关系特征；每个节点和每个边组成异质图；基于每个节点的初始节点特征和每个边的初始边特征，通过更新网络对每个节点和每个边进行多个组合种类的特征更新，得到每个节点更新特征和每个边更新特征；其中，组合种类用于表征边的两个节点为一组的节点类型组合种类；基于每个节点更新特征和每个边更新特征进行场景任务处理。务处理。务处理。

【技术实现步骤摘要】
场景任务处理方法、装置、设备和计算机可读存储介质


[0001]本申请涉及图像处理技术，尤其涉及一种场景任务处理方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]随着自动驾驶技术的发展，需要对智能移动体进行轨迹预测，甚至路线规划，这些都需要根据智能移动体自身的数据，提取特征，将特征输入相应下游任务对应的网络进行处理；目前，通常利用坐标表示驾驶场景中智能移动体等物体的信息，对信息进行编码，从而提取物体的特征；然而，这种方式一般是针对各个物体提取特征，导致对整个场景中的特征提取不充分，影响了下游任务处理的准确性。

技术实现思路

[0003]本申请实施例提供一种场景任务处理方法、装置、设备和计算机可读存储介质，优化了场景任务处理的均衡性，提高了场景任务处理效果。
[0004]本申请的技术方案是这样实现的：
[0005]本申请实施例提供一种场景任务处理方法，包括：
[0006]获取场景中的多种类型物体的属性信息；根据所述多种类型物体中每个物体的属性信息，确定每个节点的初始节点特征，以及两两节点之间构成的边中每个边的初始边特征；所述初始边特征表征两两节点对应的两两物体之间的语义关系特征和相对位置关系特征；其中，所述每个物体对应一个节点；所述每个节点和所述每个边组成异质图；基于所述每个节点的初始节点特征和所述每个边的初始边特征，通过更新网络对所述每个节点和所述每个边进行多个组合种类的特征更新，得到每个节点更新特征和每个边更新特征；其中，所述组合种类用于表征边的两个节点为一组的节点类型组合种类；基于所述每个节点更新特征和所述每个边更新特征进行场景任务处理。
[0007]本申请实施例提供一种场景任务处理装置，包括：
[0008]获取模块，用于获取场景中的多种类型物体的属性信息；
[0009]确定模块，用于根据所述多种类型物体中每个物体的属性信息，确定每个节点的初始节点特征，以及两两节点之间构成的边中每个边的初始边特征；所述初始边特征表征两两节点对应的两两物体之间的语义关系特征和相对位置关系特征；其中，所述每个物体对应一个节点；所述每个节点和所述每个边组成异质图；
[0010]更新模块，用于基于所述每个节点的初始节点特征和所述每个边的初始边特征，通过更新网络对所述每个节点和所述每个边进行多个组合种类的特征更新，得到每个节点更新特征和每个边更新特征；其中，所述组合种类用于表征边的两个节点为一组的节点类型组合种类；
[0011]处理模块，用于基于所述每个节点更新特征和所述每个边更新特征进行场景任务处理。
[0012]本申请实施例提供一种场景任务处理设备，包括：
[0013]存储器，用于存储计算机程序；
[0014]处理器，用于执行所述存储器中存储的计算机程序时，实现上述场景任务处理方法。
[0015]本申请实施例提供一种计算机可读存储介质，存储有计算机程序，用于被处理器执行时，实现上述场景任务处理方法。
[0016]本申请实施例具有以下有益效果：
[0017]本申请实施例所提供了一种场景任务处理方法、装置、设备和计算机可读存储介质；由于考虑到场景中物体的多种类型，将每个物体的属性信息通过异质图的节点表征，将两两物体之间的相互关系通过对应的两两节点的边表征，针对不同的组合种类，对节点和边的特征进行更新，得到更新节点特征和更新边特征进行下游任务处理，如此，提取到的特征可以充分考虑场景中各物体信息的异质性和不同物体之间的关系，从而提高了下游任务处理的准确性。
附图说明
[0018]图1为本申请实施例提供的一种可选的场景任务处理方法流程图；
[0019]图2为本申请实施例提供的一种可选的驾驶场景示意图；
[0020]图3为本申请实施例提供的一种可选的驾驶场景异质图的结构示意图；
[0021]图4为本申请实施例提供的一种可选的节点的入边示意图；
[0022]图5为本申请实施例提供的一种可选的场景任务处理方法流程图；
[0023]图6为本申请实施例提供的一种可选的物体针对目标时间段的自身坐标系示意图；
[0024]图7为本申请实施例提供的一种可选的场景任务处理方法流程图；
[0025]图8为本申请实施例提供的一种可选的场景任务处理方法流程图；
[0026]图9为本申请实施例提供的一种可选的场景任务处理方法流程图；
[0027]图10为本申请实施例提供的一种可选的节点更新方法流程示意图；
[0028]图11为本申请实施例提供的一种可选的场景任务处理方法流程图；
[0029]图12为本申请实施例提供的一种可选的场景任务处理方法流程图；
[0030]图13为本申请实施例提供的一种可选的边更新方法流程示意图；
[0031]图14为本申请实施例提供的一种可选的场景任务处理方法流程图；
[0032]图15为本申请实施例提供的一种可选的场景任务处理方法流程图；
[0033]图16为本申请实施例提供的一种可选的场景任务处理装置的结构示意图；
[0034]图17为本申请实施例提供的一种可选的场景任务处理设备的结构示意图。
具体实施方式
[0035]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0036]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可
以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0037]在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0038]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0039]对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
[0040]1)多层感知机(Multilayer Perceptron，MLP)：也叫人工神经网络(ANN，Artificial Neural Network)，由输入层、输出层和一个或多个隐藏层组成。每层MLP包括一个或多个与前一层和下一层神经元定向连接的神经元。多层感知机可以用来进行坐标转换、特征融合/拼接等。
[0041]2)自注意力网络：可以被描述为一个查询(query)到一系列(键key
‑
值value)对的映射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景任务处理方法，其特征在于，包括：获取场景中的多种类型物体的属性信息；根据所述多种类型物体中每个物体的属性信息，确定每个节点的初始节点特征，以及两两节点之间构成的边中每个边的初始边特征；所述初始边特征表征两两节点对应的两两物体之间的语义关系特征和相对位置关系特征；其中，所述每个物体对应一个节点；所述每个节点和所述每个边组成异质图；基于所述每个节点的初始节点特征和所述每个边的初始边特征，通过更新网络对所述每个节点和所述每个边进行多个组合种类的特征更新，得到每个节点更新特征和每个边更新特征；其中，所述组合种类用于表征边的两个节点为一组的节点类型组合种类；基于所述每个节点更新特征和所述每个边更新特征进行场景任务处理。2.根据权利要求1所述的方法，其特征在于，所述获取场景中的多种类型物体的属性信息，包括：获取场景中在目标时间段内所述多种类型物体中每个物体的全局属性信息；所述全局属性信息用于表征在全局坐标系下，物体对应于所述目标时间段的属性信息；将所述每个物体的全局属性信息转换到对应物体自身的相对坐标系下，得到所述每个物体的属性信息，从而得到所述多种类型物体的属性信息；所述每个物体自身的相对坐标系的原点为对应物体在所述目标时间段的终止时间所处的位置。3.根据权利要求1或2所述的方法，其特征在于，所述更新网络包括至少一层更新网络；所述基于所述每个节点的初始节点特征和所述每个边的初始边特征，通过更新网络对所述每个节点和所述每个边进行多个组合种类的特征更新，得到每个节点更新特征和每个边更新特征，包括：基于所述每个节点的初始节点特征和所述每个边的初始特征，通过至少一层更新网络，对所述每个节点和所述每个边进行多个组合种类的至少一次特征更新，得到所述每个节点更新特征和所述每个边更新特征。4.根据权利要求3所述的方法，其特征在于，所述至少一层包括n层；n≥2，n为正整数；所述基于所述每个节点的初始节点特征和所述每个边的初始特征，通过至少一层更新网络，对所述每个节点和所述每个边进行多个组合种类的至少一次特征更新，得到所述每个节点更新特征和所述每个边更新特征，包括：基于所述每个节点的初始节点特征和所述每个边的初始特征，通过第1层更新网络，对所述每个节点和所述每个边进行多个组合种类的第1次特征更新，得到每个节点的第1节点更新特征和每个边的第1边更新特征；基于每个第i
‑
1节点的第i
‑
1节点更新特征和每个第i
‑
1边的第i
‑
1边更新特征，通过第i层更新网络，对所述每个第i
‑
1节点和所述每个第i
‑
1边进行特征更新，得到每个节点的第i节点更新特征和每个边的第i边更新特征，继续进行第i+1次更新，直到第n次，得到每个节点的第n节点更新特征和每个边的第n边更新特征；其中，n
‑
1≥i≥2；将所述每个节点的第n节点更新特征作为所述每个节点更新特征，以及，将所述每个边的第n边更新特征作为所述每个边更新特征。5.根据权利要求4所述的方法，所述第i层更新网络包括第i层节点更新网络和第i层边更新网络；
所述基于每个第i
‑
1节点的第i
‑
1节点更新特征和每个第i
‑
1边的第i
‑
1边更新特征，通过第i层更新网络，对所述每个第i
‑
1节点和所述每个第i
‑
1边进行特征更新，得到每个节点的第i节点更新特征和每个边的第i边更新特征，包括：基于所述每个第i
‑
1节点更新特征，以及与每个第i
‑
1节点对应的入边的第i
‑
1边更新特征，通过第i层节点更新网络，对所述每个第i
‑
1节点进行多个组合种类的特征更新，得到所述每个节点的第i节点更新特征；基于所述每个第i
‑
1边更新特征，以及与每个第i
‑
1边的源节点的第i
‑
1节点更新特征，通过第i层边更新网络，对所述每个第i
‑
1边进行多个组合种类的特征更新，得到所述每个边的第i边更新特征。6.根据权利要求5所述的方法，其特征在于，所述第i层节点更新网络包括与多个组合种类对应的多个自注意力网络和节点感知网络；所述基于所述每个第i
‑
1节点更新特征，以及与每个第i
‑
1节点对应的入边的第i
‑
1边更新特征，通过第i层节点更新网络，对所述每个第i
‑
1节点进行多个组合种类的特征更新，得到所述每个节点的第i节点更新特征，包括：基于所述每个第i
‑
1节点更新特征，以及与所述每个第i
‑
1节点对应的入边的第i
‑
1边更新特征，通过所述多个自注意力网络，得到所述每个第i
‑
1节点的多个注意力特征；通过所述节点感知网络，对所述每个第i
‑
1节点的多个注意力特征进行拼接，得到所述每个节点的第i节点更新特征。7.根据权利要求6所述的方法，其特征在于，所述基于所述每个第i
‑
1节点更新特征，以及与所述每个第i
‑
1节点对应的入边的第i
‑
1边更新特征，通过所述多个自注意力网络，得到所述每个第i
‑
1节点的多个注意力特征，包括：根据每个节点对应的物体类型，获取每个第i
‑
1节点的索引矩阵；以及，根据所述每个...

【专利技术属性】
技术研发人员：贾萧松，吴鹏浩，陈立，李弘扬，李阳，严骏驰，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：