基于多模态数据的交互训练方法及装置制造方法及图纸

本发明专利技术公开了一种基于多模态数据的交互训练方法及装置，该方法包括：将训练数据分别输入到相应的训练到收敛的特征提取器中得到数据特征；根据所有数据特征计算对应的第一重构损失函数；根据第一重构损失函数判断特征提取器是否满足对比学习完成条件；若否，根据第一重构损失函数对所有特征提取器执行参数调整操作得到更新后的特征提取器，并基于更新后的新特征提取器继续执行交互训练操作；若是，确定特征提取器对比学习完成。可见，本发明专利技术能够提高特征提取器所提取的不同模态的数据特征之间的交互性和共性，从而在后续利用训练好的特征提取器可以提取出可用于进行比对和匹配的不同模态的数据特征，进而提高多模态数据预测的准确性和效率。预测的准确性和效率。预测的准确性和效率。

【技术实现步骤摘要】
基于多模态数据的交互训练方法及装置


[0001]本专利技术涉及数据处理
，尤其涉及一种基于多模态数据的交互训练方法及装置。

技术介绍

[0002]随着信息化社会的不断推进及人工智能领域的不断发展，结合特定模态的数据进行数据预测已成为热门研究内容，但随着数据采集技术的发展，数据预测技术所根据的数据模态类型也越来越多样化，然而，不同模态类型的数据的语义密度不一致，使得不同模态类型的数据的训练策略不一致，数据特征提取模型训练难度开始提高，进而导致预测准确性低和预测可靠性低。因此，提供一种新的多模态数据的交互训练方式以提高预测准确性和预测可靠性显得尤为重要。

技术实现思路

[0003]本
技术实现思路
所要解决的技术问题在于，提供一种基于多模态数据的交互训练方法及装置，能够提高预测准确性和预测可靠性。
[0004]为了解决上述技术问题，本专利技术第一方面公开了一种基于多模态数据的交互训练方法，所述方法包括：将至少两种模态的训练数据分别输入到相应的训练到收敛的特征提取器中，得到每一所述训练数据对应的数据特征；根据所有所述训练数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据的交互训练方法，其特征在于，所述方法包括：将至少两种模态的训练数据分别输入到相应的训练到收敛的特征提取器中，得到每一所述训练数据对应的数据特征；根据所有所述训练数据对应的所述数据特征，计算所述至少两种模态的训练数据对应的第一重构损失函数；根据所述第一重构损失函数，判断所述特征提取器是否满足预设的对比学习完成条件；当判断结果为否，根据所述第一重构损失函数，对所有所述特征提取器执行参数调整操作，得到更新后的特征提取器，并基于更新后的所述新特征提取器，触发执行所述的将至少两种模态的训练数据分别输入到相应的训练到收敛的特征提取器中，得到每一所述训练数据对应的数据特征的操作；当判断结果为是时，确定所述特征提取器对比学习完成；其中，在所述将至少两种模态的训练数据分别输入到相应的训练到收敛的特征提取器中，得到每一所述训练数据对应的数据特征之前，所述方法还包括：针对所述至少两种模态中的任一所述模态，根据该模态的训练数据，对该模态对应的特征提取器执行预训练操作，得到训练到收敛的所述特征提取器；以及，所述根据该模态的训练数据，对该模态对应的特征提取器执行预训练操作，得到训练到收敛的所述特征提取器，包括：根据该模态的训练数据及对应的第一嵌入层处理条件，初始化构建基础模态嵌入层，并根据该模态的训练数据及对应的第二嵌入层处理条件，初始化构建位置嵌入层；根据该模态的训练数据及设定的掩码处理条件，确定目标掩码结果；将所述目标掩码结果输入至对应编码器中得到第一输出特征向量，并将所述第一输出特征向量输入至对应解码器中得到第二输出特征向量；根据所述第二输出特征向量及该模态的训练数据，计算第二重构损失函数，并根据所述第二重构损失函数的值，判断所述特征提取器是否满足预设的预训练收敛条件，当判断结果为是时，确定所述特征提取器训练到收敛。2.根据权利要求1所述的基于多模态数据的交互训练方法，其特征在于，所述根据所述第二重构损失函数的值，判断所述特征提取器是否满足预设的预训练收敛条件，包括：判断所述第二重构损失函数的值是否小于等于预设的第二重构损失阈值；当判断结果为是时，确定所述特征提取器满足预设的预训练收敛条件；当判断结果为否时，确定所述特征提取器不满足所述预训练收敛条件。3.根据权利要求1所述的基于多模态数据的交互训练方法，其特征在于，所述将至少两种模态的训练数据分别输入到相应的训练到收敛的特征提取器中，得到每一所述训练数据对应的数据特征，包括：对于至少两种模态的训练数据，根据所述训练数据及设定的数据预处理条件，确定对应的预处理训练数据；将所述预处理训练数据输入至对应的基础模态嵌入层，得到所述预处理训练数据对应的基础编码向量，并根据所述基础编码向量及设定的维度处理条件，从位置嵌入层中得到所述预处理训练数据对应的位置编码向量；
根据所述基础编码向量及所述位置编码向量，生成目标向量，作为所述训练数据对应的数据特征。4.根据权利要求2所述的基于多模态数据的交互训练方法，其特征在于，所述根据该模态的训练数据及设定的掩码处理条件，确定目标掩码结果，包括：根据该模态的训练数据及设定的第一掩码处理条件，确定掩码内容；根据所述掩码内容及设定的第二掩码处理条件，确定目标掩码数据；根据所述目标掩码数据、该模态的训练数据及设定的第三掩码处理条件，生成目标掩码结果；其中，所述第二掩码处理条件包括掩码长度条件和/或掩码占比条件；所述第三掩码处理条件包括均匀分布掩码处理条件、随机替换掩码处理条件、数据混合掩码处理条件及数据添加掩码处理条件中的一种或多种。5.根据权利要求4所述的基于多模态数据的交互训练方法，其特征在于，所述根据所述第二输出特征向量及该模态的训练数据，计算第二重构损失函数，包括：根据该模态的训练数据，确定对应的第二重构损失函数；所述第二重构损失函数包括概率分析函数、激活函数、差异损失函数、交叉熵损失函数及最小化特征向量分析函数中的一种或多种；根据所述目标掩码结果、所述掩码内容、该模态的训练数据及所述第二重构损失函数，确定该模态的训练数据对应的第二重构损失函数的值。6.根据权利要求5所述的基于多模态数据的交互训练方法，其特征在于，所述根据所有所述训练数据对应的所述数据特...

【专利技术属性】
技术研发人员：黄于晏，陈莹莹，陈畅新，杨辰，
申请(专利权)人：有米科技股份有限公司，
类型：发明
国别省市：