【技术实现步骤摘要】
本专利技术涉及神经网络架构搜索，尤其涉及一种多模态融合神经网络的自动架构设计方法及系统。
技术介绍
1、多模态融合技术能够整合图像、文本、音频等多种数据源的信息，提供更全面的数据特征，进而提供更准确的预测和决策，而且当某一模态的数据缺失或受到干扰时，多模态技术也可以利用其他模态的数据进行预测或决策，这显著提高了模型的稳定性和可靠性。
2、相关技术中的多模态融合方法存在一些问题，例如，不同类型的数据(如图像、文本、音频)具有不同的特征空间和数据结构，现有技术无法有效地将这些异质数据进行融合。另外，在实际应用中，不同模态的数据可能存在数量上的不平衡，某些模态的数据量远大于其他模态。这种不平衡可能导致模型过分依赖某些模态的数据，而忽视其他模态的信息。并且当前的多模态融合网路架构主要是通过手动设计的，这很大程度限制了神经网路模型的灵活性以及造成人力与时间等资源的浪费。
技术实现思路
1、为了解决上述技术问题，本专利技术的目的是提供一种多模态融合神经网络的自动架构设计方法及系统，能够利用...
【技术保护点】
1.一种多模态融合神经网络的自动架构设计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种多模态融合神经网络的自动架构设计方法，其特征在于，所述基于多模态融合细胞网络结构，获取用于构建多模态融合细胞网络结构单元的基本组件，插入残差结构，得到多模态融合细胞网络单元库这一步骤，其具体包括：
3.根据权利要求2所述一种多模态融合神经网络的自动架构设计方法，其特征在于，所述用于构建多模态融合细胞网络结构单元的基本组件具体包括1x1卷积层、3x3卷积层、5x5卷积层、3x3深度可分离卷积层以及5x5深度可分离卷积层。
4.根据权利要...
【技术特征摘要】
1.一种多模态融合神经网络的自动架构设计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种多模态融合神经网络的自动架构设计方法，其特征在于，所述基于多模态融合细胞网络结构，获取用于构建多模态融合细胞网络结构单元的基本组件，插入残差结构，得到多模态融合细胞网络单元库这一步骤，其具体包括：
3.根据权利要求2所述一种多模态融合神经网络的自动架构设计方法，其特征在于，所述用于构建多模态融合细胞网络结构单元的基本组件具体包括1x1卷积层、3x3卷积层、5x5卷积层、3x3深度可分离卷积层以及5x5深度可分离卷积层。
4.根据权利要求3所述一种多模态融合神经网络的自动架构设计方法，其特征在于，所述对多模态融合细胞网络单元库进行拓扑复杂度与准确率评估，对多模态融合细胞网络结构中的残差结构进行shapley值计算，得到残差结构的shapley值这一步骤，其具体包括：
5.根据权利要求4所述一种多模态融合神经...
【专利技术属性】
技术研发人员：黎海兵，李明杰，丁宗业，朱文博，张忠波，胡勇聪，
申请(专利权)人：佛山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。