一种基于轻量化语言训练数据智能优化方法技术

本发明专利技术公开了一种基于轻量化语言训练数据智能优化方法，以Transformer架构构建自注意力机制，给定输入序列的嵌入矩阵，n为序列长度，d为嵌入维度，表示查询Query、键Key、值Value矩阵，缩放因子用于控制点积量级；在原始权重矩阵旁添加低秩适配器，将参数更新量分解为两个小矩阵的乘积，原权重矩阵为，LoRA引入两个低秩矩阵和。本发明专利技术基于MiniMind框架构建端到端的个性化对话记忆系统，通过有机整合监督微调策略与LoRA技术，在无需构建本地向量知识库的前提下，实现用户习惯信息的动态内化与精准召回，设计对话记忆编码机制，将用户交互数据直接映射为模型参数空间的隐式记忆单元，开发轻量化记忆触发‑检索协议，通过对话上下文提取关键特征，激活长期记忆响应。

【技术实现步骤摘要】

本专利技术涉及电数字数据处理，尤其涉及一种基于轻量化语言训练数据智能优化方法。

技术介绍

1、人工智能技术的突破性进展正推动语言模型朝着更大参数量级发展，这种趋势在提升模型认知能力的同时，也带来了显著的应用落地壁垒，尤其是教育辅助设备、移动医疗终端等边缘计算场景，模型部署所需的存储空间与计算资源往往成为制约技术转化的现实瓶颈，近期业界测试表明，即便采用经过初步压缩的开源模型(如llama2-7b)，在搭载arm架构处理器的常见硬件平台上仍难以实现流畅的人机交互体验。

2、面对上述挑战，产业界普遍采用的云端协同方案，虽能暂时缓解本地设备的运算压力，但其固有缺陷正随着数据安全法规的完善而逐渐显露：一方面，网络链路的物理限制导致服务响应存在不可控延迟，这对急救指导、实时翻译等时效敏感型服务构成实质性障碍；另一方面，敏感数据的远程传输过程面临多重安全隐患，在教育评估、法律咨询等高度依赖隐私保护的领域，此类风险已引发监管机构的持续关注，在此背景下，构建完全本地化运行的轻量级知识服务系统，已成为突破技术落地困境的重要方向。

3、知识蒸馏技术作为本文档来自技高网...

【技术保护点】

1.一种基于轻量化语言训练数据智能优化方法，其特征在于，包括：

2.根据权利要求1所述的一种基于轻量化语言训练数据智能优化方法，其特征在于，设目标函数在参数空间中的Hessian矩阵为H，LoRA的有效性可通过以下不等式解释：

3.根据权利要求1所述的一种基于轻量化语言训练数据智能优化方法，其特征在于，对增量式LoRA微调算法的构建包括以下步骤：

4.根据权利要求1所述的一种基于轻量化语言训练数据智能优化方法，其特征在于，基于交叉熵的差异度量方法构建条件响应评估指标，用Lθ的数学表征为：

5.根据权利要求1所述的一种基于轻量化语言训练数据智...

【技术特征摘要】

1.一种基于轻量化语言训练数据智能优化方法，其特征在于，包括：

2.根据权利要求1所述的一种基于轻量化语言训练数据智能优化方法，其特征在于，设目标函数在参数空间中的hessian矩阵为h，lora的有效性可通过以下不等式解释：

3.根据权利要求1所述的一种基于轻量化语言训练数据智能优化方法，其特征在于，对增量式lora微调算法的构建包括以下步骤：

4.根据权利要求1所述的一种基于轻量化语言训练数据智能优化方法，其特征在于，基于交叉熵的差异度量方法构建条件响应评估指标，用lθ...

【专利技术属性】
技术研发人员：王先超，王孝阳，张恒，熊言，岳申，
申请(专利权)人：阜阳师范大学，
类型：发明
国别省市：