【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据处理方法及装置。
技术介绍
1、对大语言模型(large language models，llms)来说，通用问题可以回答的很好，但对于垂直行业和专属领域的问题并不能有效回答，因为在原始训练数据中缺少专属领域的知识，或是没有办法获取到企业内部的数据。要想让llm解决场景化行业化的问题，就需要用专属数据对模型进行微调与适配，这就是所谓的行业大模型。
2、然而，直接用领域专属数据来做二次预训练或指令微调，很容易引起大模型原有知识弱化或遗忘的现象，就是所谓的灾难性遗忘(catastrophic forgetting)。这是因为在学习新任务时，网络权重会被调整以适应新的数据，这种调整可能会破坏原有权重所代表的旧任务的知识，导致模型的准确性较差。
3、因此，亟需一种能够缓解模型灾难性遗忘问题的技术方案。
技术实现思路
1、有鉴于此，本申请提供一种数据处理方法及装置，如下：
2、一种数据处理方法，包括：
3、获得第一数据；
4、利用处理引擎中的门控模块辨识所述第一数据的数据类型；
5、在所述第一数据为第一类型的情况下，使用所述处理引擎中的第一处理模块对所述第一数据进行处理，以得到第二数据；
6、在所述第一数据为第二类型的情况下，使用所述处理引擎中的第二处理模块对所述第一数据进行处理，以得到第三数据；
7、其中，基于经过第一样本训练的所述第一处理模块构建得到初始的第
8、上述方法，优选的，所述基于经过第一样本训练的所述第一处理模块构建得到初始的第二处理模块，包括：
9、复制经过第一样本训练的所述第一处理模块，以得到所述初始的第二处理模块；
10、根据所述第一处理模块的模块参数，配置所述初始的第二处理模块的模块参数。
11、上述方法，优选的，所述第二样本包括所述第一类型对应的第一子样本和所述第二类型对应的第二子样本；
12、其中，所述处理引擎经过第二样本的训练，以得到所述第二处理模块，包括：
13、将所述第二样本传输至所述处理引擎，以得到所述第一处理模块针对所述第一子样本输出的第一预测数据和所述第二处理模块针对所述第二子样本输出的第二预测数据；
14、利用第一损失函数，根据所述第二样本、所述第一预测数据和所述第二预测数据，获得第一损失值；
15、根据所述第一损失值，对所述门控模块、所述第一处理模块和所述初始的第二处理模块各自的模块参数进行调整，以使得所述门控模块能够辨识所述第一类型和所述第二类型，且得到优化的所述第一处理模块以及所述第二处理模块。
16、上述方法，优选的，所述第一子样本包括第一输入子样本和第一输出子样本，所述第二子样本包括第二输入子样本和第二输出子样本；
17、所述第一损失函数至少包括：输出损失项和协方差数据项；
18、其中，所述输出损失项能够表征：所述第一输出子样本与所述第一预测数据之间的损失量，和所述第二输出子样本与所述第二预测数据之间的损失量；所述输出损失项用于调整所述第一初始模块以得到优化的第一处理模块，以及调整所述初始的第二处理模块以得到所述第二处理模块；
19、所述协方差数据项能够表征：所述第一处理模块的模块参数和所述第二处理模块的模块参数之间的协方差，所述协方差数据项用于调整所述门控模块以使得所述门控模块能够辨识所述第一类型和所述第二类型。
20、上述方法，优选的，所述协方差数据项用于调整所述门控模块以使得所述门控模块能够辨识所述第一类型和所述第二类型，包括：
21、所述第二子样本与所述第一子样本之间的样本数据关联度小于或等于关联度阈值，使所述协方差数据项输出的数据值逐渐减小，以调整所述门控模块使得所述门控模块能够辨识所述第一类型和所述第二类型。
22、上述方法，优选的，所述方法还包括：
23、获得所述门控模块针对所述第二样本输出的样本类型；
24、统计所述样本类型中所述第一类型与所述第二类型之间的第一比值；
25、根据所述第一比值与第二比值之间的大小关系，调整所述门控模块的模块参数，以使得所述门控模块调整所述第一比值；
26、其中，所述第二比值为所述第二样本中所述第一子样本与所述第二子样本之间的比值。
27、上述方法，优选的，所述第二样本至少包括所述第一类型对应的第一子样本，所述第一子样本包括第一输入子样本和第一输出子样本；
28、其中，所述处理引擎经过所述第二样本的训练，包括：
29、将所述第一输入子样本传输至所述处理引擎，以得到所述第一处理模块输出的第一预测数据；
30、利用第二损失函数，获得所述第一输出子样本和所述第一预测数据对应的第一输出损失值；
31、根据所述第一输出损失值，对所述门控模块的模块参数和所述第一处理模块的模块参数进行调整，使得所述门控模块能够辨识所述第一类型，且使得所述第一处理模块能够处理所述第一类型对应的数据。
32、上述方法，优选的，所述第二样本至少包括所述第二类型对应的第二子样本，所述第二子样本包括第二输入子样本和第二输出子样本；
33、其中，所述处理引擎经过第二样本的训练，包括：
34、将所述第二输入子样本传输至所述处理引擎，以得到所述初始的第二处理模块输出的第二预测数据；
35、利用第三损失函数，获得所述第二输出子样本和所述第二预测数据对应的第二输出损失值；
36、根据所述第二输出损失值，对所述门控模块的模块参数和所述初始的第二处理模块的模块参数进行调整，以使得所述门控模块能够辨识所述第二类型，且使得到的所述第二处理模块能够处理所述第二类型对应的数据。
37、上述方法，优选的，其中：
38、在使用所述第一子样本训练所述处理引擎的过程中，所述第二处理模块处于禁用状态；
39、在使用所述第二子样本训练所述处理引擎的过程中，所述第一处理模块处于禁用状态。
40、一种数据处理装置，包括：
41、数据获得单元，用于获得第一数据；
42、类型辨识单元，用于利用处理引擎中的门控模块辨识所述第一数据的数据类型；
43、处理控制单元，用于在所述第一数据为第一类型的情况下，使用所述处理引擎中的第一处理模块对所述第一数据进行处理，以得到第二数据；在所述第一数据为第二类型的情况下，使用所述处理引擎中的第二处理模块对所述第一数据进行处理，以得到第三数据；
44、其中，基于经过第一样本训练的所述第一处理模块构建得到初始的第二处理模块本文档来自技高网...
【技术保护点】
1.一种数据处理方法，包括：
2.根据权利要求1所述的方法，所述基于经过第一样本训练的所述第一处理模块构建得到初始的第二处理模块，包括：
3.根据权利要求1或2所述的方法，所述第二样本包括所述第一类型对应的第一子样本和所述第二类型对应的第二子样本；
4.根据权利要求3所述的方法，所述第一子样本包括第一输入子样本和第一输出子样本，所述第二子样本包括第二输入子样本和第二输出子样本；
5.根据权利要求4所述的方法，所述协方差数据项用于调整所述门控模块以使得所述门控模块能够辨识所述第一类型和所述第二类型，包括：
6.根据权利要求3所述的方法，所述方法还包括：
7.根据权利要求1所述的方法，所述第二样本至少包括所述第一类型对应的第一子样本，所述第一子样本包括第一输入子样本和第一输出子样本；
8.根据权利要求7所述的方法，所述第二样本至少包括所述第二类型对应的第二子样本，所述第二子样本包括第二输入子样本和第二输出子样本；
9.根据权利要求8所述的方法，其中：
10.一种数据处理装置，包
...【技术特征摘要】
1.一种数据处理方法，包括：
2.根据权利要求1所述的方法，所述基于经过第一样本训练的所述第一处理模块构建得到初始的第二处理模块，包括：
3.根据权利要求1或2所述的方法，所述第二样本包括所述第一类型对应的第一子样本和所述第二类型对应的第二子样本；
4.根据权利要求3所述的方法，所述第一子样本包括第一输入子样本和第一输出子样本，所述第二子样本包括第二输入子样本和第二输出子样本；
5.根据权利要求4所述的方法，所述协方差数据项用于调整所述门控模块以使...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。