【技术实现步骤摘要】
基于编解码网络的图像
‑
文本多模态融合方法
[0001]本专利技术涉及一种基于编解码网络的图像
‑
文本多模态融合方法，属于计算机视觉、自然语言处理、模式识别
技术介绍
[0002]近年来，随着人工智能技术的快速发展，涌现出了一大批基于深度学习的目标检测算法。目标检测即找出图像中所有感兴趣的物体，包含物体定位和物体分类两个子任务，同时确定物体的类别和位置。目前基于深度学习的目标检测模型主要有YOLO、ResNet、SSD及基于卷积神经网络(CNN)系列模型等等。对于经典的基于深度学习的目标检测算法往往仅通过图像一个维度进行，因此相关领域的学者为了使其获得更高的精度，便对网络进行不断的改进，对于网络的改进往往更多采用改进深度网络的方法来实现，而对于深度网络不断的增加层数可能会导致梯度消失，梯度爆炸等问题。为了解决这些问题，有学者提出了许多改进的网络结构，但此结构会使得网络变得更为复杂。
技术实现思路
[0003]对于上述问题，结合多任务联合处理的思想，本专利技术提出了...
【技术保护点】
【技术特征摘要】
1.一种基于编解码网络的图像
‑
文本多模态融合方法，其特征在于，包括如下步骤：S1：在现有目标检测数据集的基础上对其进行手动标记生成文本信息，构建新的图像
‑
文本数据集，并将数据集按照6：2：2的比例划分为训练集、验证集和测试集；S2：选择适合的优化学习方法，设置相关超参数，将S1中所述的训练集和验证集通过编解码网络模型进行训练；S3：训练结束后，在测试集中任选一张图片，输入编解码网络模型，加载训练好的模型权重，最终检测出所对应的目标结果。2.根据权利要求1所述的基于编解码网络的图像
‑
文本多模态融合方法，其特征在于，步骤S2中所述编解码网路模型包括：编码器，对给定的输入图像特征矩阵的尺度进行剪裁；注意层，将编码后所获得的图像矩阵进行提取相关主要信息，减弱次要干扰信息；解码器，将注意层的特征矩阵尺寸扩大至与输入矩阵相同尺寸。3.根据...
【专利技术属性】
技术研发人员：陈咪咪，陈思华，刘平英，高昂昂，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。