基于多模态语义交互的损失计算方法及装置制造方法及图纸

本发明专利技术公开了基于多模态语义交互的损失计算方法及装置，该方法包括：根据获取到的多模态交互需求信息，确定目标损失层面；根据设定的层面交互损失配置信息，确定与目标损失层面相匹配的交互损失计算条件；根据交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果。可见，本发明专利技术能够根据确定出的交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果，有利于提高交互损失确定结果确定方式的全面性和针对性，进而有利于提高确定出的交互损失确定结果的准确性和可靠性，从而有利于提高交互损失的计算准确性和可靠性。于提高交互损失的计算准确性和可靠性。于提高交互损失的计算准确性和可靠性。

【技术实现步骤摘要】
基于多模态语义交互的损失计算方法及装置


[0001]本专利技术涉及交互损失处理
，尤其涉及一种基于多模态语义交互的损失计算方法及装置。

技术介绍

[0002]随着深度学习技术逐渐成熟及多模态应用逐渐频繁，对多模态语义交互损失优化的需求也愈发增多，实现多模态语义交互损失优化的主要步骤分别为计算出多模态语义交互损失结果并基于该损失结果进行语义优化。
[0003]当前，针对多模态损失计算方式主要有配对损失计算方式，具体为确定出配对样本的标签值进而计算出交叉熵损失以作为交互损失结果，然而，实践表明，上述配对损失计算方式由于所确定的配对样本的标签值为固定值，过于限定，存在损失计算结果准确性低和可靠性低的问题。可见，提供一种能够提高损失计算结果准确性和可靠性的多模态交互损失计算方式显得尤为重要。

技术实现思路

[0004]本
技术实现思路
所要解决的技术问题在于，提供一种基于多模态语义交互的损失计算方法及装置，能够提高损失计算结果准确性和可靠性。
[0005]为了解决上述技术问题，本专利技术第一方面公开了一种基于多模态语义交互的损失计算方法，所述方法包括：
[0006]根据获取到的多模态交互需求信息，确定目标损失层面；
[0007]根据设定的层面交互损失配置信息，确定与所述目标损失层面相匹配的交互损失计算条件；
[0008]根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果。
[0009]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果，包括：
[0010]确定获取到的微调数据所对应的第一配对形式情况，并根据所述第一配对形式情况、所述微调数据及设定的数据分析条件，计算所述微调数据对应的余弦相似度结果；
[0011]根据所述微调数据、所述余弦相似度结果及所述第一配对形式情况，确定第一标签分析结果；
[0012]根据所述微调数据、所述余弦相似度结果、所述第一标签分析结果及设定的交互损失分析条件，确定交互损失确定结果。
[0013]作为一种可选的实施方式，在本专利技术第一方面中，所述目标损失层面包括第一损失层面和/或第二损失层面；
[0014]以及，所述根据所述微调数据、所述余弦相似度结果、所述第一标签分析结果及设定的交互损失分析条件，确定交互损失确定结果，包括：
[0015]当所述目标损失层面包括所述第一损失层面时，根据所述第一标签分析结果、所述余弦相似度结果及设定的标签调整处理条件，确定所述微调数据对应的标签调整需求情况；
[0016]根据所述标签调整需求情况、所述第一标签分析结果及所述微调数据，确定第二标签分析结果；
[0017]根据所述第二标签分析结果、所述微调数据及设定的第一交互损失计算条件，确定第一损失结果，作为交互损失确定结果；和/或，
[0018]当所述目标损失层面包括所述第二损失层面时，根据设定的数据筛选条件，从所述微调数据中确定出第一目标子微调数据；
[0019]从所述余弦相似度结果中筛选出所述第一目标子微调数据对应的目标子余弦相似度结果；
[0020]根据所述目标子余弦相似度结果及设定的第二交互损失计算条件，确定第二损失结果，作为交互损失确定结果。
[0021]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述第一标签分析结果、所述余弦相似度结果及设定的标签调整处理条件，确定所述微调数据对应的标签调整需求情况，包括：
[0022]根据所述第一标签分析结果，从所述微调数据中筛选出满足设定的标签调整对象条件的第二目标子微调数据；
[0023]根据所述第一标签分析结果及所述余弦相似度结果，确定所述第二目标子微调数据与每一其它子微调数据的相似度关系情况；所有所述其它子微调数据为所述微调数据中除所述第二目标子微调数据外的数据；
[0024]根据所述相似度关系情况及所述第一标签分析结果，确定所述微调数据对应的标签调整信息，作为所述微调数据对应的标签调整需求情况。
[0025]作为一种可选的实施方式，在本专利技术第一方面中，在所述根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果之后，所述方法还包括：
[0026]根据所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果，所述损失优化处理结果用于优化所述目标损失优化层面对应的目标模型；
[0027]其中，所述根据所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果，包括：
[0028]计算所述交互损失确定结果包括的所有子损失确定结果对应的数量；
[0029]当所述数量大于等于预设的数量阈值时，分析所有所述子损失确定结果得到损失结果差异情况；
[0030]当所述损失结果差异情况用于表示所有所述子损失确定结果满足预设的差异调整条件时，根据所有所述子损失确定结果及设定的加权优化处理条件，确定权重调整信息；根据所述权重调整信息、所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果；
[0031]当所述损失结果差异情况用于表示所有所述子损失确定结果不满足预设的差异调整条件或者当所述数量小于预设的数量阈值时，根据所述交互损失确定结果及设定的损
失优化处理条件，确定损失优化处理结果。
[0032]作为一种可选的实施方式，在本专利技术第一方面中，所述根据获取到的多模态交互需求信息，确定目标损失层面，包括：
[0033]分析获取到的多模态交互需求信息，得到交互需求性质情况；
[0034]根据所述交互需求性质情况及设定的性质层面配置条件，确定至少一个交互层面；
[0035]根据所述交互需求性质情况及设定的性质损失分析条件，确定每一所述交互层面对应的优化需求度；
[0036]根据所有所述交互层面对应的优化需求度，从所有所述交互层面中筛选出满足损失优化需求条件的至少一个目标交互层面，作为目标损失层面；
[0037]其中，当所述交互需求性质情况用于表示标签性质时，所述目标损失层面至少包括第一损失层面；当所述交互需求性质情况用于表示特征性质时，所述目标损失层面至少包括第二损失层面。
[0038]作为一种可选的实施方式，在本专利技术第一方面中，所述方法还包括：
[0039]对所述目标损失层面对应的目标模型执行预训练操作，得到预训练完成的所述目标模型；并基于预训练完成的所述目标模型执行交互损失确定操作；
[0040]其中，所述对目标损失层面对应的目标模型执行预训练操作，得到预训练完成的所述目标模型，包括：
[0041]将获取到的预训练数据输入至目标损失层面对应的目标模型中，得到至少一种模态类型对应的模型损失结果；
[0042]根据所有所述模型损失结果，判断所述目标模型是否满足预设的预训练完成条件，当判断结果为是时，确定所述目标模型对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态语义交互的损失计算方法，其特征在于，所述方法包括：根据获取到的多模态交互需求信息，确定目标损失层面；根据设定的层面交互损失配置信息，确定与所述目标损失层面相匹配的交互损失计算条件；根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果。2.根据权利要求1所述的基于多模态语义交互的损失计算方法，其特征在于，所述根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果，包括：确定获取到的微调数据所对应的第一配对形式情况，并根据所述第一配对形式情况、所述微调数据及设定的数据分析条件，计算所述微调数据对应的余弦相似度结果；根据所述微调数据、所述余弦相似度结果及所述第一配对形式情况，确定第一标签分析结果；根据所述微调数据、所述余弦相似度结果、所述第一标签分析结果及设定的交互损失分析条件，确定交互损失确定结果。3.根据权利要求2所述的基于多模态语义交互的损失计算方法，其特征在于，所述目标损失层面包括第一损失层面和/或第二损失层面；以及，所述根据所述微调数据、所述余弦相似度结果、所述第一标签分析结果及设定的交互损失分析条件，确定交互损失确定结果，包括：当所述目标损失层面包括所述第一损失层面时，根据所述第一标签分析结果、所述余弦相似度结果及设定的标签调整处理条件，确定所述微调数据对应的标签调整需求情况；根据所述标签调整需求情况、所述第一标签分析结果及所述微调数据，确定第二标签分析结果；根据所述第二标签分析结果、所述微调数据及设定的第一交互损失计算条件，确定第一损失结果，作为交互损失确定结果；和/或，当所述目标损失层面包括所述第二损失层面时，根据设定的数据筛选条件，从所述微调数据中确定出第一目标子微调数据；从所述余弦相似度结果中筛选出所述第一目标子微调数据对应的目标子余弦相似度结果；根据所述目标子余弦相似度结果及设定的第二交互损失计算条件，确定第二损失结果，作为交互损失确定结果。4.根据权利要求3所述的基于多模态语义交互的损失计算方法，其特征在于，所述根据所述第一标签分析结果、所述余弦相似度结果及设定的标签调整处理条件，确定所述微调数据对应的标签调整需求情况，包括：根据所述第一标签分析结果，从所述微调数据中筛选出满足设定的标签调整对象条件的第二目标子微调数据；根据所述第一标签分析结果及所述余弦相似度结果，确定所述第二目标子微调数据与每一其它子微调数据的相似度关系情况；所有所述其它子微调数据为所述微调数据中除所述第二目标子微调数据外的数据；
根据所述相似度关系情况及所述第一标签分析结果，确定所述微调数据对应的标签调整信息，作为所述微调数据对应的标签调整需求情况。5.根据权利要求4所述的基于多模态语义交互的损失计算方法，其特征在于，在所述根据所述交互损失计算条件及获取到的微调数据，执行交互损失确定操作，得到交互损失确定结果之后，所述方法还包括：根据所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果，所述损失优化处理结果用于优化所述目标损失优化层面对应的目标模型；其中，所述根据所述交互损失确定结果及设定的损失优化处理条件，确定损失优化处理结果，包括：计算所述交互损失确定结果包括的所有子损失确定结果对应的数...

【专利技术属性】
技术研发人员：陈畅新，陈第，
申请(专利权)人：有米科技股份有限公司，
类型：发明
国别省市：