基于多模态特征融合的分类模型推荐方法和装置制造方法及图纸

本发明专利技术提供一种基于多模态特征融合的分类模型推荐方法和装置，其中方法包括：构建任一模态对应的单模态分类模型以及两个或两个以上模态构成的模态组合对应的组合模态分类模型；获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于多个候选分类模型进行模型推荐。本发明专利技术能够选择出融合效果更佳的特征融合方式，得以为用户推荐适用于用户个性化场景的多模态特征融合方式。个性化场景的多模态特征融合方式。个性化场景的多模态特征融合方式。

【技术实现步骤摘要】
基于多模态特征融合的分类模型推荐方法和装置


[0001]本专利技术涉及目标分类
，尤其涉及一种基于多模态特征融合的分类模型推荐方法和装置。

技术介绍

[0002]为了提升分类准确性，在诸多分类场景中均会采集与该场景下待分类目标的多模态特征进行分类，通过融合多模态下的特征，可以丰富与待分类目标密切相关的信息，从而提升待分类目标的分类精度。以农业病虫害检测为例，可以通过图像处理模型采集农作物图像的图像特征，还可以通过检测仪器采集农作物的细菌、真菌等检测特征，另外还可以从数据库等处收集该农作物的物种信息、种植环境信息等，从而结合上述各种模态下的不同特征进行病虫害分类。又例如在医学影像分类场景下，同样可以通过图像处理模型采集待分类目标（例如人群或人体组织等）的医学影像的图像特征，还可以通过检测仪器采集包括外周血中的CAC（循环异常细胞）数量、DNA甲基化数据、呼气检测数据等检测特征，另外还可以从电子病历等处收集待分类目标的临床信息等，从而结合上述各种模态下的不同特征进行分类。
[0003]然而，不同模态特征对于待分类目标的关注点各有不同，在进行分类时各个模态下的特征的区分性存在差异，且各个模态下的特征的区分性与实际应用场景存在密切关联。因此，如何充分融合多模态下的特征以借助不同模态下的特征进行综合判断，并避免多模态特征中的冗余以及其所引发的模型构建中的过拟合问题，从而为用户推荐适用于用户个性化场景的多模态特征融合方式，成为了一个亟待解决的问题。

技术实现思路

[0004]本专利技术提供一种基于多模态特征融合的分类模型推荐方法和装置，用以解决现有技术中难以充分融合多模态下的特征并避免多模态特征中的冗余以及其所引发的模型构建中的过拟合问题的缺陷。
[0005]本专利技术提供一种基于多模态特征融合的分类模型推荐方法，包括：检索当前分类场景对应多个模态下的特征的特征名称；基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型；获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐。
[0006]根据本专利技术提供的一种基于多模态特征融合的分类模型推荐方法，所述基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，具体包括：若任一模态组合对应的组合模态分类模型的性能指标值优于所述任一模态组合包含的各个模态对应的单模态分类模型的性能指标值，则将所述任一模态组合对应的组合模态分类模型置于模态模型空间中；确定所述模态模型空间中组合模态分类模型的性能指标值的最小值；若任一模态对应的单模态分类模型的性能指标值优于所述最小值，则将所述任一模态对应的单模态分类模型置于所述模态模型空间中；所述模态模型空间中的组合模态分类模型和单模态分类模型均为所述候选分类模型。
[0007]根据本专利技术提供的一种基于多模态特征融合的分类模型推荐方法，所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：初始化粒子群的群体规模、每个粒子的位置向量和速度向量；其中，每个粒子的位置向量的维度为模态的总数，所述位置向量的任一维的值表征对应模态是否被选择；基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量；其中，所述全局最优向量为所有粒子在优化过程中得到的最佳的位置向量；基于所述全局最优向量中各维的值，确定被选择的模态，并对所述被选择的模态中的两个或两个以上模态进行组合，得到多个模态组合。
[0008]根据本专利技术提供的一种基于多模态特征融合的分类模型推荐方法，所述基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量，具体包括：优化步骤：基于适应度函数和每个粒子当前的位置向量，计算每个粒子当前的适应度值；基于每个粒子当前的适应度值和位置向量，确定每个粒子当前的个体最优向量以及当前的全局最优向量；基于每个粒子当前的个体最优向量以及当前的全局最优向量对每个粒子当前的速度向量进行更新，并基于每个粒子更新后的速度向量对相应粒子当前的位置向量进行更新；迭代步骤：重复所述优化步骤直至当前的全局最优向量满足预设条件；其中，所述适应度函数是基于权重超参数、基于当前粒子被选择的模态下的特征构建的机器学习模型的准确率、当前粒子被选择的模态数量以及模态总数确定的；所述权重超参数用于调整所述机器学习模型的准确率和所述被选择的模态数量在计算适应度值时的重要程度。
[0009]根据本专利技术提供的一种基于多模态特征融合的分类模型推荐方法，所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：对当前分类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度；基于当前分类场景对应多个模态下的特征之间的相关度，对所述多个模态中的两个或两个以上模态进行组合，得到多个模态组合；其中，任一模态组合中包含的模态下的特征之间的相关度低于预设值。
[0010]根据本专利技术提供的一种基于多模态特征融合的分类模型推荐方法，所述对当前分
类场景对应多个模态下的特征进行相关性分析，得到当前分类场景对应多个模态下的特征之间的相关度，具体包括：对当前分类场景对应多个模态下的特征进行聚类分析，得到当前分类场景对应多个模态下的特征之间的第一相关度；基于方差膨胀系数确定当前分类场景对应多个模态下的特征之间的多重共线性，得到当前分类场景对应多个模态下的特征之间的第二相关度；确定当前分类场景对应多个模态下的特征之间的相关系数；基于当前分类场景对应多个模态下的特征之间的第一相关度、第二相关度和相关系数中的至少一种，确定当前分类场景对应多个模态下的特征之间的相关度。
[0011]根据本专利技术提供的一种基于多模态特征融合的分类模型推荐方法，所述基于所述多个候选分类模型进行模型推荐，具体包括：去除所述多个候选分类模型中分类开销高于预设阈值的分类模型，得到多个待推荐分类模型，并确定各个待推荐分类模型的性能指标值和分类开销；对所述多个待推荐分类模型进行组合，得到若干个模型组合，并确定各个模型组合的性能指标值和分类开销；基于预设的性能权重和开销权重，结合各个待推荐分类模型以及各个模型组合的性能指标值和分类开销，确定各个待推荐分类模型以及各个模型组合的推荐分值；基于各个待推荐分类模型以及各个模型组合的推荐分值进行模型推荐。
[0012]本专利技术还提供一种基于多模态特征融合的分类模型推荐装置，包括：特征检索单元，用于检索当前分类场景对应多个模态下的特征的特征名称；单模态模型构建单元，用于基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；组合模态模型构建单元，用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征融合的分类模型推荐方法，其特征在于，包括：检索当前分类场景对应多个模态下的特征的特征名称；基于当前分类场景对应任一模态下的特征的特征名称，构建所述任一模态对应的单模态分类模型；基于当前分类场景对应两个或两个以上模态下的特征的特征名称，构建所述两个或两个以上模态构成的模态组合对应的组合模态分类模型；获取当前分类场景对应的训练样本及其分类标签，并对各个模态对应的单模态分类模型和各个模态组合对应的组合模态分类模型进行性能测试，得到各个单模态分类模型和各个组合模态分类模型的性能指标值；基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，并基于所述多个候选分类模型进行模型推荐。2.根据权利要求1所述的基于多模态特征融合的分类模型推荐方法，其特征在于，所述基于各个单模态分类模型和各个组合模态分类模型的性能指标值，筛选出多个候选分类模型，具体包括：若任一模态组合对应的组合模态分类模型的性能指标值优于所述任一模态组合包含的各个模态对应的单模态分类模型的性能指标值，则将所述任一模态组合对应的组合模态分类模型置于模态模型空间中；确定所述模态模型空间中组合模态分类模型的性能指标值的最小值；若任一模态对应的单模态分类模型的性能指标值优于所述最小值，则将所述任一模态对应的单模态分类模型置于所述模态模型空间中；所述模态模型空间中的组合模态分类模型和单模态分类模型均为所述候选分类模型。3.根据权利要求1所述的基于多模态特征融合的分类模型推荐方法，其特征在于，所述两个或两个以上模态构成的模态组合是基于如下步骤确定的：初始化粒子群的群体规模、每个粒子的位置向量和速度向量；其中，每个粒子的位置向量的维度为模态的总数，所述位置向量的任一维的值表征对应模态是否被选择；基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量；其中，所述全局最优向量为所有粒子在优化过程中得到的最佳的位置向量；基于所述全局最优向量中各维的值，确定被选择的模态，并对所述被选择的模态中的两个或两个以上模态进行组合，得到多个模态组合。4.根据权利要求3所述的基于多模态特征融合的分类模型推荐方法，其特征在于，所述基于粒子群算法对所述每个粒子的位置向量进行优化，直至得到满足预设条件的全局最优向量，具体包括：优化步骤：基于适应度函数和每个粒子当前的位置向量，计算每个粒子当前的适应度值；基于每个粒子当前的适应度值和位置向量，确定每个粒子当前的个体最优向量以及当前的全局最优向量；基于每个粒子当前的个体最优向量以及当前的全局最优向量对每个粒子当前的速度向量进行更新，并基于每个粒子更新后的速度向量对相应粒子当前的位置向量进行更新；迭代步骤：重复所述优化步骤直至当前的全局最优向量满足预设条件；其中，所述适应度函数是基于权重超参数、基于当前粒子被选择的模态下的特征构建
的机器学习模型的准确率、当前粒子被选择的模态数量以及模态总数确定的；所述权重超参数用于调整所述机器学习模型的准确率和所述被选择的模态数量在计算适应度值时的重要程度。5.根据权利要求1所述的基于多模态特征融合的分类模型推荐方...

【专利技术属性】
技术研发人员：邝英兰，吕行，叶莘，黄萌，李诚悦，
申请(专利权)人：珠海横琴圣澳云智科技有限公司，
类型：发明
国别省市：