动作的确定方法、装置、可读介质和电子设备制造方法及图纸

本公开涉及一种动作的确定方法、装置、可读介质和电子设备，涉及机器学习技术领域，该方法包括：获取目标对象所处环境的环境图像，以及环境图像中每个环境对象的对象特征向量，确定每个环境对象在环境图像中的位置信息，针对每个环境对象，将该环境对象的对象特征向量拼接至该环境对象的位置信息对应位置，将拼接后的环境图像作为预先训练的动作模型的输入，得到动作模型输出的目标对象待执行的目标动作。本公开通过将对象特征向量拼接至位置信息对应位置，使对象特征向量与位置信息之间具备关联性，从而使动作模型可以快速从拼接后的环境图像中提取出重要特征，提高了动作模型输出的目标动作的准确性。

【技术实现步骤摘要】
动作的确定方法、装置、可读介质和电子设备
本公开涉及机器学习
，具体地，涉及一种动作的确定方法、装置、可读介质和电子设备。
技术介绍
近年来，DRL(英文：DeepReinforcementLearning，中文：深度强化学习)作为机器学习技术的重要研究方向之一，被广泛应用于游戏、机器人控制和自动驾驶等领域中。DRL可以分为环境认知和决策两个阶段，环境认知阶段通常会使用深层神经网络对多模态融合后的环境信息进行表征学习，然后输出表征学习得到的深层语义信息到决策网络进行决策学习，并生成相应的最优动作。通常情况下，当环境信息包括环境图像时，则需要将环境信息中除环境图像外的对象信息直接拼接到环境图像上，或将环境图像转换为向量信息后与对象信息进行拼接，以实现环境信息的融合，并将融合结果输入DRL算法中进行学习。然而，采用这样的信息融合方式，无法体现出环境图像和对象信息之间的关联性，这会导致DRL算法很难从环境信息中提取出重要特征，进而使DRL算法难以生成正确的动作。
技术实现思路
提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。第一方面，本公开提供一种动作的确定方法，所述方法包括：获取目标对象所处环境的环境图像，以及所述环境图像中每个环境对象的对象特征向量；确定每个所述环境对象在所述环境图像中的位置信息；>针对每个所述环境对象，将该环境对象的对象特征向量拼接至该环境对象的位置信息对应位置；将拼接后的环境图像作为预先训练的动作模型的输入，得到所述动作模型输出的所述目标对象待执行的目标动作。第二方面，本公开提供一种动作的确定装置，所述装置包括：获取模块，用于获取目标对象所处环境的环境图像，以及所述环境图像中每个环境对象的对象特征向量；确定模块，用于确定每个所述环境对象在所述环境图像中的位置信息；融合模块，用于针对每个所述环境对象，将该环境对象的对象特征向量拼接至该环境对象的位置信息对应位置；处理模块，用于将拼接后的环境图像作为预先训练的动作模型的输入，得到所述动作模型输出的所述目标对象待执行的目标动作。第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。第四方面，本公开提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。通过上述技术方案，本公开首先获取目标对象所处环境的环境图像，以及环境图像中每个环境对象的对象特征向量，并确定每个环境对象在环境图像中的位置信息，然后针对每个环境对象，将该环境对象的对象特征向量拼接至该环境对象的位置信息对应位置，最后将拼接后的环境图像作为预先训练的动作模型的输入，得到动作模型输出的目标对象待执行的目标动作。本公开通过将对象特征向量拼接至位置信息对应位置，使对象特征向量与位置信息之间具备关联性，从而使动作模型可以快速从拼接后的环境图像中提取出重要特征，提高了动作模型输出的目标动作的准确性。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：图1是根据一示例性实施例示出的一种动作的确定方法的流程图；图2是根据图1所示实施例示出的一种步骤102的流程图；图3是根据一示例性实施例示出的一种环境图像的示意图；图4是根据图1所示实施例示出的一种步骤103的流程图；图5是根据一示例性实施例示出的一种环境对象的位置信息对应位置与目标像素点的示意图；图6是根据一示例性实施例示出的一种动作的确定装置的框图；图7是根据图6所示实施例示出的一种确定模块的框图；图8是根据图6所示实施例示出的一种融合模块的框图；图9是根据一示例性实施例示出的一种电子设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。在介绍本公开提供的动作的确定方法、装置、可读介质和电子设备之前，首先对本公开各个实施例所涉及应用场景进行介绍。该应用场景可以是由目标对象感知其所处的环境，并根据感知到的环境信息来进行动作的场景。该应用场景可以包括一目标对象以及目标对象所处环境中包含的多个环境对象，在该场景下，目标对象可以对目标对象所处环境的环境信息进行融合，并将融合后的环境信息，输入到动作模型中，以得到目标对象待执行的目标动作。其中，目标对象可以是任一种能够与环境交互，并根据所处环境的环境信息进行动作的智能体。例如，在游戏场景中，目标对象可以是游戏AI(英文：ArtificialIntelligence，中文：人工智能)角色，目标动作可以是控制游戏AI角色攻击、移动和停止等。在自动驾驶场景中，目标对象可以是进行自动驾驶的车辆，目标动作可以是控制该车辆转向、直行和刹车等。在机器人智能装配场景中，目标对象可以是机器人，目标动作可以是控制该机器人移动、抓取待装配物体和放下待装配物体等。图1是根据一示例性实施例示出的一种动作的确定方法的流程图。如图1所示，该方法包括：步骤101，获取目标对象所处环境的环境图像，以及环境本文档来自技高网...

【技术保护点】
1.一种动作的确定方法，其特征在于，所述方法包括：/n获取目标对象所处环境的环境图像，以及所述环境图像中每个环境对象的对象特征向量；/n确定每个所述环境对象在所述环境图像中的位置信息；/n针对每个所述环境对象，将该环境对象的对象特征向量拼接至该环境对象的位置信息对应位置；/n将拼接后的环境图像作为预先训练的动作模型的输入，得到所述动作模型输出的所述目标对象待执行的目标动作。/n

【技术特征摘要】
1.一种动作的确定方法，其特征在于，所述方法包括：
获取目标对象所处环境的环境图像，以及所述环境图像中每个环境对象的对象特征向量；
确定每个所述环境对象在所述环境图像中的位置信息；
针对每个所述环境对象，将该环境对象的对象特征向量拼接至该环境对象的位置信息对应位置；
将拼接后的环境图像作为预先训练的动作模型的输入，得到所述动作模型输出的所述目标对象待执行的目标动作。


2.根据权利要求1所述的方法，其特征在于，所述确定每个所述环境对象在所述环境图像中的位置信息，包括：
确定所述环境对象在所述环境图像中的质心或重心；
将所述质心或所述重心在所述环境图像中的位置信息，作为所述环境对象在所述环境图像中的位置信息。


3.根据权利要求1所述的方法，其特征在于，所述将该环境对象的对象特征向量拼接至该环境对象的位置信息对应位置，包括：
获取与该环境对象的位置信息对应的多个目标像素点；
根据该环境对象的对象特征向量，确定每个所述目标像素点的变换特征向量；
将每个所述目标像素点的变换特征向量，拼接至该目标像素点对应位置。


4.根据权利要求3所述的方法，其特征在于，所述根据该环境对象的对象特征向量，确定每个所述目标像素点的变换特征向量，包括：
确定该环境对象的位置信息对应位置与每个所述目标像素点之间的距离；
根据该环境对象的对象特征向量和所述距离，确定所述变换特征向量。


5.根据权利要求4所述的方法，其特征在于，所述根据该环境对象的对象特征向量和所述距离，确定所述变换特征向量，包括：
根据所述距离，确定每个所述目标像素点对应的权重；
根据所述权重，将该环境对象的对象特征向量分配给每个所述目标像素点，以得到所述变换特征向量。


6.根据权利要求3所述的方法，其特征在于，所述将每个所述目标像素点的变换特征向量，拼接至该目标像素点对应位置，包括：
若多个所述目标像素点的变换特征...

【专利技术属性】
技术研发人员：范嘉骏，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11