【技术实现步骤摘要】
本专利技术涉及计算机，具体地涉及一种多模态大模型构建方法、系统、制冷设备、存储介质。
技术介绍
1、深度学习和人工智能技术在智能家电和制冷设备领域的快速发展与应用。随着智能设备变得越来越普及，它们对数据处理和交互效率的要求也随之增加。在大数据背景下，如何提升ai大模型的运算效率，减少模型训练和推理时间，成为亟需解决的问题。尤其是在智能家电领域，设备对实时性的要求较高，模型效率的提升直接影响到用户体验。随着智能家电功能的日益复杂化，需要ai大模型不仅能够处理单一任务，还能在多任务、多模态数据处理中展现出良好的协同性。
技术实现思路
1、本专利技术的目的在于提供一种多模态大模型构建方法、系统、制冷设备、存储介质。
2、本专利技术提供一种多模态大模型构建方法，其包括步骤：
3、获取多模态数据，所述多模态数据包括语音数据、文本数据、图像数据、音频数据和视频数据中的至少两种；
4、将所述多模态数据进行预处理和转换，融合转换后的多模态数据；
5、生成基于融合后的多模态数据的大模型训练语料；
6、对所述训练语料进行特征提取与分析，将提取的特征与当前特征库进行对比，迭代更新优化当前特征库的内容；
7、基于提取的特征构建提示内容，并对所述提示内容进行编码和大模型嵌入；
8、基于所述提示内容对大模型进行训练调整；
9、封装并部署应用所述大模型。
10、作为本专利技术的进一步改进，对所述训练语料进
11、对结构数据和非结构数据提取特征；
12、当当前特征库中不存在提取的特征时，对提取的特征进行编码并添加提取的特征到当前特征库中。
13、作为本专利技术的进一步改进，所述基于提取的特征构建提示内容，并对所述提示内容进行编码和大模型嵌入，具体包括：
14、通过词级的语义压缩大模型对提示内容数据进行压缩，采用低秩权重矩阵分解大模型，将提示内容数据的目标权重矩阵表示为稀疏系数矩阵和密集权重矩阵；
15、将压缩后的提示内容数据和对所述多模态数据预处理得到的已编码文本数据输入至大模型的嵌入层。
16、作为本专利技术的进一步改进，所述获取多模态数据，具体包括：
17、多模态数据获取渠道初始化；
18、获取数据采集装置所采集的多模态数据，和/或，
19、获取自客户终端传输的多模态数据。
20、作为本专利技术的进一步改进，所述多模态数据包括语音数据、文本数据、图像数据、音频数据和视频数据。
21、作为本专利技术的进一步改进，所述将所述多模态数据进行预处理和转换，具体包括：
22、对所述多模态数据进行清洗和格式转换；
23、对所述视频数据进行语音图像分离，获得分离后的视频语音数据和视频图像数据；
24、对文本数据进行预处理；
25、对图像数据和视频图像数据进行标准化调整处理。
26、作为本专利技术的进一步改进，所述将所述多模态数据进行预处理和转换，还包括：
27、提取所述语音数据和视频语音数据特征，得到语音特征；
28、将所述语音特征输入语音识别卷积神经网络得到输出文本数据；
29、将所述输出文本数据序列通过连接时序分类方法与所述语音特征序列对齐；
30、将所述输出文本数据经全连接层组合后，输出至分类函数计算得分得到语音文本数据。
31、作为本专利技术的进一步改进，所述将所述多模态数据进行预处理和转换，还包括：
32、获取图像数据和视频图像数据的图像特征序列；
33、通过基于时空和长距离依赖特征的蒸馏扩散深度融合大模型得到图像语义表示；
34、通过连接时序分类和全连接层将图像语义进行输出。
35、作为本专利技术的进一步改进，所述通过基于时空和长距离依赖特征的蒸馏扩散深度融合大模型得到图像语义表示，具体包括：
36、蒸馏扩散深度融合大模型训练好后，将教师模型引入一个时间和空间连续的学生模型，得到与教师模型具有相同参数的学生模型；
37、将蒸馏大模型转为离散时间步且步数短的学生模型，重复进行上述步骤，直到将教师模型蒸馏为学生模型的一半步数。
38、作为本专利技术的进一步改进，还包括：
39、获取历史多模态数据，将历史多模态数据向量化处理后映射于同一向量空间进行迁移学习。
40、作为本专利技术的进一步改进，所述生成基于融合后的多模态数据的大模型训练语料，具体包括：
41、根据数据训练类型，生成监督学习、半监督学习和无监督学习类型的大模型训练语料。
42、作为本专利技术的进一步改进，所述部署应用所述大模型，包括：
43、获取大模型服务申请；
44、审核授权后，将接口与大模型进行对接，调用大模型；
45、对大模型在使用过程中的性能和状态进行实时监控，记录调用数据和性能数据。
46、本专利技术还提供一种多模态大模型构建系统，其包括：
47、数据获取模块，其被配置为获取多模态数据，所述多模态数据包括语音数据、文本数据、图像数据、音频数据和视频数据中的至少两种；
48、数据处理模块，其被配置为将所述多模态数据进行预处理和转换，融合转换后的多模态数据；
49、语料生成模块，其被配置为生成基于融合后的多模态数据的大模型训练语料；
50、特征库构建模块，其被配置为对所述训练语料进行特征提取与分析，将提取的特征与当前特征库进行对比，迭代更新优化特征库的内容；基于提取的特征构建提示内容，并对所述提示内容进行编码和大模型嵌入；基于所述提示内容对大模型进行训练调整；
51、大模型应用模块，其被配置为封装并部署应用所述大模型。
52、本专利技术还提供一种制冷设备，包括：
53、存储器，用于存储可执行指令；
54、处理器，用于运行所述存储器存储的可执行指令时，实现上述的多模态大模型构建方法。
55、本专利技术还提供一种存储介质，其存储有可执行指令，所述可执行指令被处理器执行时实现上述的多模态大模型构建方法。
56、本专利技术的有益效果是：本专利技术方式首先通过利用多模态数据，并针对不同类型数据进行了针对性处理，为大模型训练准备了丰富而高质量的语料库。之后根据不同的学习需求生成相应的训练语料，对已生成的训练语料进行特征提取与分析，随后将这些特征与现有的特征库进行对比，以判断和更新特征库内容。此外，采用基于词级的语义压缩大模型优化提示生成过程，并将处理后的数据编码输入到大模型中进行预训练，通过这种整合特征提取、提示生成和大模型训练的协同工作流程，能够显著提高模型的训练效率和预测精度，不仅优化了模型的计算资源利用率，还增强了模型本文档来自技高网...
【技术保护点】
1.一种多模态大模型构建方法，其特征在于，包括：
2.根据权利要求1所述的多模态大模型构建方法，其特征在于，所述对所述训练语料进行特征提取与分析，将提取的特征与当前特征库进行对比，迭代更新优化当前特征库的内容，具体包括：
3.根据权利要求1所述的多模态大模型构建方法，其特征在于，所述基于提取的特征构建提示内容，并对所述提示内容进行编码和大模型嵌入，具体包括：
4.根据权利要求1所述的多模态大模型构建方法，其特征在于，所述获取多模态数据，具体包括：
5.根据权利要求1所述的多模态大模型构建方法，其特征在于，所述多模态数据包括语音数据、文本数据、图像数据、音频数据和视频数据。
6.根据权利要求5所述的多模态大模型构建方法，其特征在于，所述将所述多模态数据进行预处理和转换，具体包括：
7.根据权利要求6所述的多模态大模型构建方法，其特征在于，所述将所述多模态数据进行预处理和转换，还包括：
8.根据权利要求6所述的多模态大模型构建方法，其特征在于，所述将所述多模态数据进行预处理和转换，还包括：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。