【技术实现步骤摘要】
本专利技术涉及医疗具身机器人，具体涉及一种面向数字健康机器人的大模型微调方法、设备和介质。
技术介绍
1、随着大模型能力的不断提升, 以及具身智能中示教数据、仿真平台、任务集合的不断完善, 大模型和具身智能的结合将成为人工智能的下一个浪潮。为了让大模型在数字健康机器人上运行并适应具身应用，需要对大模型进行轻量化处理，让大模型在降低模型复杂度的同时保持具身推理和决策中的能力。在大模型直接产生任务规划时依赖模型中编码的知识，由于大模型缺乏具身任务规划的相关知识, 且在具身任务规划时不对大模型参数进行调整, 大模型需要使用额外的反馈模块来对产生的不合理规划进行迭代。为了让大模型实现具身应用，通常需要针对使用场景进行微调, 使其适应于具身智能任务场景。
2、目前，lora是对最常见的大模型轻量级微调技术，对模型参数进行微调，尽可能多的保留大模型自身编码的知识结构。然而，lora和其他类似方法通常采用随机初始化低秩矩阵，可能导致梯度下降过程中的效率低下，同时由于起始点不理想，会降低模型的泛化能力。
3、综上所述，急需一种面...
【技术保护点】
1.一种面向数字健康机器人的大模型微调方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的大模型微调方法，其特征在于，在S2中，对秩为的权重矩阵的近似矩阵，生成一个的随机高斯初始化矩阵，计算第一矩阵；对残差矩阵，生成一个的随机高斯初始化矩阵，计算第二矩阵。
3.根据权利要求2所述的大模型微调方法，其特征在于，在S3中，对第一矩阵进行正交三角分解，表达式如下：
4.根据权利要求3所述的大模型微调方法，其特征在于，在S4中，计算低秩近似矩阵，低秩近似矩阵是一个矩阵，其中，表示矩阵的转置；计算低秩残差矩阵，低秩残差矩阵是一个矩阵。<...
【技术特征摘要】
1.一种面向数字健康机器人的大模型微调方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的大模型微调方法，其特征在于，在s2中，对秩为的权重矩阵的近似矩阵，生成一个的随机高斯初始化矩阵，计算第一矩阵；对残差矩阵，生成一个的随机高斯初始化矩阵，计算第二矩阵。
3.根据权利要求2所述的大模型微调方法，其特征在于，在s3中，对第一矩阵进行正交三角分解，表达式如下：
4.根据权利要求3所述的大模型微调方法，其特征在于，在s4中，计算低秩近似矩阵，低秩近似矩阵是一个矩阵，其中，表示矩阵的转置；计...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。