【技术实现步骤摘要】
本申请属于智能体，尤其涉及一种模型训练方法及装置。
技术介绍
1、一般利用深度学习训练模型以控制智能体，以使智能体完成任务。一般需针对任务专门训练模型才可获得较好的任务完成效果。
2、这一特性导致训练出来的模型泛化性差，无法泛化到其他任务中，使得智能体无法完成多任务。
技术实现思路
1、本申请实施例提供了一种模型训练方法、装置及智能体控制方法、装置，电子设备，可读存储介质，计算机程序产品，可以解决涉及智能体的模型泛化性差的问题。
2、第一方面，本申请实施例提供了一种模型训练方法，包括：
3、获取工作场景中不同视角的第一图像和第一点云，并提取各所述第一图像的第一语义信息，所述第一图像为在智能体针对指令执行专家动作时采集的图像，所述第一点云和各第一图像均包括表征目标物体的数据，所述指令用于指示所述智能体对所述目标物体进行操作，所述第一语义信息包括所述第一图像中各像素点的语义特征；
4、根据各第一图像和对应的所述第一语义信息，确定对应所述第一点云的第一点云特征信息，所述第一点云特征信息包括所述第一点云中各点的语义特征和类别信息；
5、确定所述第一点云特征信息中各点的所述语义特征与所述目标物体的文本特征之间的相似度，获得第一相似度信息；
6、利用所述第一点云、所述第一点云特征信息和所述第一相似度信息，训练动作预测模型，直至所述动作预测模型输出的针对所述指令的预测动作与所述专家动作之间的差异值小于预设阈值，获得已训练的动
7、在一个实施例中，所述根据各所述第一图像和对应的所述第一语义信息，确定对应所述第一点云的第一点云特征信息，包括：
8、将所述第一点云投影至各第一图像所在的坐标系上，获得多个第一投影图像；
9、针对每个所述第一投影图像，在同一坐标系下，根据所述第一投影图像的各像素点与所述第一图像的各像素点之间的对应关系，获得所述第一投影图像中各像素点的所述语义特征；
10、根据各第一投影图像的各像素点的所述语义特征，确定所述第一点云中各点的所述语义特征和所述类别信息，获得所述第一点云特征信息。
11、在一个实施例中，所述根据各第一投影图像的各像素点的所述语义特征，确定所述第一点云中各点的所述语义特征，包括：
12、针对所述第一点云的各点，对对应所述点的各第一投影图像的所述像素点的所述语义特征进行加权平均处理，获得所述点的所述语义特征。
13、在一个实施例中，所述确定所述第一点云特征信息中各点的所述语义特征与所述目标物体的文本特征之间的相似度，获得第一相似度信息，包括：
14、计算所述第一点云特征信息中各点的所述语义特征与所述目标物体的所述文本特征的余弦相似度，获得所述第一相似度信息。
15、在一个实施例中，所述第一点云为根据各所述第一图像和对应的设备位姿信息构建的。
16、第二方面，本申请实施例提供了一种智能体控制装置，包括：
17、获取模块，用于获取工作场景中不同视角的第一图像和第一点云，并提取各所述第一图像的第一语义信息，所述第一图像为在智能体针对指令执行专家动作时采集的图像，所述第一点云和各第一图像均包括表征目标物体的数据，所述指令用于指示所述智能体对所述目标物体进行操作，所述第一语义信息包括所述第一图像中各像素点的语义特征；
18、确定模块，用于根据各第一图像和对应的所述第一语义信息，确定对应所述第一点云的第一点云特征信息，所述第一点云特征信息包括所述第一点云中各点的语义特征和类别信息；
19、还用于确定所述第一点云特征信息中各点的语义特征与所述目标物体的文本特征之间的相似度，获得第一相似度信息；
20、训练模块，用于利用所述第一点云、所述第一点云特征信息和所述第一相似度信息，训练动作预测模型，直至所述动作预测模型输出的针对所述指令的预测动作与所述专家动作之间的差异值小于预设阈值，获得已训练的动作预测模型。
21、第三方面，本申请实施例提供了一种智能体控制方法，包括：
22、响应于任务，将任务场景的当前时刻的第二点云、第二点云特征信息和第二相似度信息输入至已训练的动作预测模型，获得所述已训练的动作预测模型输出的针对所述任务的当前时刻的预测动作，以控制智能体执行所述当前时刻的预测动作，所述已训练的动作预测模型为通过上述第一方面中任一项所述的方法训练获得的，第二点云特征信息包括所述第二点云中各点的语义特征，且是根据所述任务场景中当前时刻不同视角的第二图像、对应的第二语义信息和所述第二点云确定的，所述第二语义信息包括所述第二图像中各像素点的语义特征，所述第二相似度信息是根据所述第二点云特征信息中各点的语义特征与待操作物体的文本特征之间的相似度确定的；
23、在所述智能体完成所述当前时刻的预测动作后，追踪所述当前时刻的第二点云的关键点，并根据追踪结果更新所述当前时刻的第二点云和第二点云特征信息，获得下一时刻的第三点云和第三点云特征信息；
24、确定所述第三点云特征信息中各点的所述语义特征与所述待操作物体的文本特征之间的相似度，获得第三相似度信息；
25、将下一时刻的所述第三点云、所述第三点云特征信息和所述第三相似度信息输入至所述已训练的动作预测模型，获得所述已训练的动作预测模型输出的针对所述任务的下一时刻的预测动作，以控制所述智能体执行所述下一时刻的预测动作，并返回执行步骤：在所述智能体完成所述当前时刻的预测动作后，追踪所述当前时刻的第二点云的关键点，并根据追踪结果更新所述当前时刻的第二点云和第二点云特征信息，获得下一时刻的第三点云和第三点云特征信息，直至所述任务完成。
26、在一个实施例中，所述追踪所述当前时刻的第二点云的关键点，并根据追踪结果更新所述当前时刻的第二点云和第二点云特征信息，获得下一时刻的第三点云和第三点云特征信息，包括：
27、利用所述待操作物体的所述关键点，追踪在所述第二点云中的所述关键点，获得所述追踪结果；
28、根据所述追踪结果，更新所述第二点云，获得第三点云；
29、根据所述追踪结果，迭代更新所述第二点云特征信息，直至更新后点云特征信息的关键点的语义特征与所述第二点云特征信息的关键点的语义特征之间的差异值小于预设阈值，获得所述第三点云特征信息。
30、第四方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面或第三方面中任一项所述的方法。
31、第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面或第三方面中任一项所述的方法。
32、第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行本文档来自技高网...
【技术保护点】
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据各所述第一图像和对应的所述第一语义信息，确定对应所述第一点云的第一点云特征信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据各第一投影图像的各像素点的所述语义特征，确定所述第一点云中各点的所述语义特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述确定所述第一点云特征信息中各点的所述语义特征与所述目标物体的文本特征之间的相似度，获得第一相似度信息，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一点云为根据各所述第一图像和对应的设备位姿信息构建的。
6.一种智能体控制方法，其特征在于，包括：
7.根据权利要求6所述的方法，其特征在于，所述追踪所述当前时刻的第二点云的关键点，并根据追踪结果更新所述当前时刻的第二点云和第二点云特征信息，获得下一时刻的第三点云和第三点云特征信息，包括：
8.一种智能体控制装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器以及存
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5或6至7任一项所述的方法。
...【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据各所述第一图像和对应的所述第一语义信息，确定对应所述第一点云的第一点云特征信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据各第一投影图像的各像素点的所述语义特征，确定所述第一点云中各点的所述语义特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述确定所述第一点云特征信息中各点的所述语义特征与所述目标物体的文本特征之间的相似度，获得第一相似度信息，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一点云为根据各所述第一图像和对应的设备位姿信息构建的。
6.一种智能体控...
【专利技术属性】
技术研发人员：卓凡，于非，贺颖，
申请(专利权)人：人工智能与数字经济广东省实验室深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。