【技术实现步骤摘要】
模型迁移方法、装置
[0001]本公开涉及机器学习领域，尤其涉及一种模型迁移方法、装置。
技术介绍
[0002]机器人模型迁移是机器人控制学习的研究热点课题之一。现有技术通过大规模机器人的学习方法，得到的机器人模型，因为机器人模型太大，不能直接应用到现实场景中。将机器人模型应用到现实场景中的整个过程叫做机器人模型迁移。
[0003]在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下技术问题：现有技术缺少机器人模型迁移的方法的问题。
技术实现思路
[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种模型迁移方法、装置，以至少解决现有技术中，现有技术缺少机器人模型迁移的方法的问题。
[0005]本公开的目的是通过以下技术方案实现的：第一方面，本公开的实施例提供了一种模型迁移方法，包括：获取目标模型、验证数据集和参数微调数据集；对所述目标模型进行知识蒸馏处理，得到迁移模型，并在对所述目标模型进行所述知识蒸馏处理的过程中，根据所述验证数据集和所述知识蒸馏...
【技术保护点】
【技术特征摘要】
1.一种模型迁移方法，其特征在于，包括：获取目标模型、验证数据集和参数微调数据集；对所述目标模型进行知识蒸馏处理，得到迁移模型，并在对所述目标模型进行所述知识蒸馏处理的过程中，根据所述验证数据集和所述知识蒸馏处理对应的误差函数，对所述迁移模型进行优化处理；使用所述参数微调数据集对所述迁移模型进行自监督训练，以对所述迁移模型的参数进行微调。2.根据权利要求1所述的方法，其特征在于，所述在对所述目标模型进行所述知识蒸馏处理的过程中，根据所述验证数据集和所述知识蒸馏处理对应的误差函数，对所述迁移模型进行优化处理，包括：根据第一验证数据集以及第一误差函数，对所述迁移模型进行优化处理，其中，所述验证数据集包括所述第一验证数据集，所述误差函数包括所述第一误差函数，所述第一误差函数用于表示所述目标模型的多头注意力层的输出和所述迁移模型的多头注意力层的输出之间的误差；和/或根据第二验证数据集以及第二误差函数，对所述迁移模型进行优化处理，其中，所述验证数据集包括所述第二验证数据集，所述误差函数包括所述第二误差函数，所述第二误差函数用于表示所述目标模型的全连接层的输出和所述迁移模型的全连接层的输出之间的误差；和/或根据第三验证数据集以及第三误差函数，对所述迁移模型进行优化处理，其中，所述验证数据集包括所述第三验证数据集，所述误差函数包括所述第三误差函数，所述第三误差函数用于表示所述目标模型的输出层的输出和所述第三验证数据集的标签之间的误差。3.根据权利要求2所述的方法，其特征在于，所述第一误差函数：；q为所述迁移模型的多头注意力层的头数，j为所述多头注意力层的序号，A
jS
为所述迁移模型第j层的多头注意力层的输出，A
jT
为所述目标模型第j层的多头注意力层的输出，MSE( )为均方误差函数。4.根据权利要求2所述的方法，其特征在于，所述第二误差函数：；H
S
为所述迁移模型的全连接层的输出，W
h
为转化矩阵，H
T
为所述目标模型的全连接层的输出，MSE( )为均方误差函数。5.根据权利要求2所述的方法，其特征在于，所述第三误差函数：
；为所述迁移模型的输出层的输出与所述第三验证数据集的标签之间的误差，MSE( )为均方误差函数，B为所述迁移模型的输出层的输出，为所述第三验证数据集的标签。6.根据权利要求1所述的方法，其特征在于，所述在对所述目标模型进行所述知识蒸馏处理的过程中，根据所述验证数据集和所述知识蒸馏处理对应的误差函数，对所述迁移模型进行优化处理，包括：确定每次对所述迁移模型进行所述优化处理的第一批处理条数，其中，所述第一批处理条数用于指示每次优化所述迁移模型时，从所述验证数据集中选择的机器人的轨迹的条数；循环执行如下步骤对所述迁移模型进行所述优化处理：步骤一，从所述验证数据集中确定出所述第一批处理条数条所述机器人的轨迹；步骤二，根据确定出的每条轨迹生成第一矩阵，得到多个所述第一矩阵；步骤...
【专利技术属性】
技术研发人员：邢登鹏，杨依明，李佳乐，徐波，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。