一种嵌入式智能加速器的多模态图像数据识别方法及系统技术方案

本发明专利技术提出一种嵌入式智能加速器的多模态图像数据识别方法和系统，包括：获取由光学图像和遥感图像构成的图像对，每个图像对中的光学图像已标注训练标签；通过卷积神经网络模型分别提取图像对中光学图像和遥感图像的特征，得到光学图像的光学特征和遥感图像的遥感特征；将光学特征与遥感特征卷积后，得到互相关特征，将互相关特征输入至图像语义分割模型，在互相关特征的向量维度上，检测光学图像内包含遥感图像的检测区域；根据检测区域与光学图像已标注的训练标签，构建损失函数训练图像语义分割模型和卷积神经网络模型；以执行图像数据识别任务。像数据识别任务。像数据识别任务。

【技术实现步骤摘要】
一种嵌入式智能加速器的多模态图像数据识别方法及系统


[0001]本专利技术涉及人工智能以及图像语义识别分类
，并特别涉及一种嵌入式智能加速器的多模态图像数据识别方法及系统。

技术介绍

[0002]多模态数据识别是指通过计算机系统识别、分类和处理多种数据模式的过程。多模态数据模式包括文本、图像、声音、视频等。多模态数据识别技术在许多领域有广泛的应用，例如自然语言处理、图像处理、视频分析、语音识别等。这些技术能够提高信息处理的效率，并为人们提供更多便捷的信息服务。随着人工智能技术的发展，多模态数据识别技术也在不断提升，未来将会发挥更大的作用。
[0003]国产的嵌入式智能加速器是指在国内研制、生产的智能加速器。智能加速器是一种用于加速人工智能计算的硬件设备，常用于深度学习和机器学习等人工智能应用。近年来，国内的智能加速器研究取得了长足的进步。许多国内企业和研究机构已经开发出了自主知识产权的嵌入式智能加速器产品。这些产品的性能和效率均较高，在国内外市场上具有较大的竞争力。总的来看，国产智能加速器的研究现状较好，具有较强的发展潜力。
[0004]本专利技术中多模态数据特指遥感图像和光学图像。遥感图像是指通过卫星、飞机等远程感测所获得的图像数据。遥感图像具有高分辨率和大尺度等优点，但由于感测距离较远，图像的光谱信息较少。光学图像是指通过光学摄影机或相机获得的图像数据。光学图像具有高光谱信息和高空间分辨率，但图像尺度较小，无法满足大尺度的需求。
[0005]深度学习在遥感图像和光学图像双输入特征向量检测算法中可以发挥很大的作用。这种方法通常包括使用神经网络来提取图像中的特征，并使用这些特征来进行目标检测。可使用卷积神经网络(CNN)来提取图像中的特征。CNN具有自动学习图像中的空间和深度关系的能力，因此可以在检测目标时发挥很大作用。在使用双输入的情况下，可以使用两个不同的CNN来分别处理画面内容、来源种类不同的图像，并将它们的输出连接在一起。这种方法可以有效地利用两种图像之间的联系，从而提高目标检测的准确性。
[0006]深度学习模型的加速部署通常有多种方法，具体取决于所使用的框架、模型的类型以及部署的环境。下面是一些常见的深度学习模型加速部署方式：
[0007]1.使用计算速度更快的计算设备：使用更快的处理器或使用GPU加速计算可以显著加速模型的训练和部署。
[0008]2.优化模型架构：使用更小的、更快的模型架构可以加速模型的训练和部署。例如，你可以尝试使用更浅的网络、更少的参数或使用更精细的预训练模型。
[0009]3.使用模型压缩技术：使用模型压缩技术(如剪枝、量化或哈希编码)可以减小模型的大小并提高模型的速度。
[0010]4.使用端到端加速技术：使用端到端加速技术可以在模型部署时对模型进行优化，从而提高模型的速度。
[0011]但上述深度学习在处理遥感图像时存在一些缺点，这些缺点包括：
[0012]数据不足：遥感图像数据通常比较少，这会导致模型的泛化能力较差。
[0013]数据质量差：遥感图像数据常常存在质量问题，包括噪声、污染、残留或失真等。这会影响模型的准确性。
[0014]特征提取困难：遥感图像中的特征通常比较复杂，很难用传统的方法进行提取。
[0015]泛化能力差：由于遥感图像数据的多样性，很难训练出能够泛化到不同场景的模型。
[0016]部署困难：遥感图像分类任务通常需要大量的计算资源，部署起来较为困难。
[0017]智能加速芯片部署深度学习模型可能会遇到以下问题：
[0018]兼容性问题：部分智能加速芯片不兼容常用的深度学习框架，导致部署模型时出现问题。
[0019]性能问题：部分智能加速芯片的性能较低，导致部署的模型运行速度较慢。
[0020]缺少专业的开发人员：智能加速芯片的开发和部署通常需要专业的开发人员，如果缺少这样的人员，可能会导致部署模型的工作效率低下。
[0021]缺少完善的开发工具：智能加速芯片缺少完善的开发工具，导致部署模型的工作效率低下。
[0022]缺少足够的文档资料：部分智能加速芯片缺少足够的文档资料，导致部署模型时缺乏必要的指导。
[0023]总的来说，使用部分智能加速芯片部署深度学习模型可能会遇到兼容性、性能、缺少专业的开发人员、缺少完善的开发工具和缺少足够的文档资料等问题。

技术实现思路

[0024]针对现有技术的不足，本专利技术提出一种嵌入式智能加速器的多模态图像数据识别方法，其中包括：
[0025]步骤1、获取由光学图像和遥感图像构成的多个图像对，且每个图像对中的光学图像已标注其与遥感图像画面间中具有对应关系的区域，作为训练标签；
[0026]步骤2、通过卷积神经网络模型分别提取该图像对中光学图像和遥感图像的特征，得到该光学图像的光学特征和该遥感图像的遥感特征；
[0027]步骤3、将该光学特征与该遥感特征卷积后，得到互相关特征，将该互相关特征输入至图像语义分割模型，在该互相关特征的向量维度上，检测该光学图像内包含该遥感图像的区域，作为检测区域；
[0028]步骤4、根据该检测区域与该光学图像已标注的训练标签，构建损失函数训练该图像语义分割模型和该卷积神经网络模型；
[0029]步骤5、将待识别的图像对输入训练完成后的该卷积神经网络模型和该图像语义分割模型，得到该待识别的图像对中光学图像和遥感图像的图片区域对应关系。
[0030]所述的嵌入式智能加速器的多模态图像数据识别方法，其中该图像对中遥感图像和光学图像具有相同被摄区域，光学图像视野大于遥感图像。
[0031]所述的嵌入式智能加速器的多模态图像数据识别方法，其中该步骤3包括：
[0032]通过下式提取互相关特征R(u)：
[0033]R(u)＝f(t)*g(t)，其中*表示卷积，反映的是f(t)和g(t)在不同的相对位置上互
相匹配的程度，t为特征向量的维度，f(t)表示光学特征向量，g(t)表示遥感特征向量；
[0034]在经过全连接层、通道压缩、阈值筛选操作，在光学图像中检测出遥感图像的该检测区域。
[0035]所述的嵌入式智能加速器的多模态图像数据识别方法，其中该步骤4的训练过程包括通过前向计算的结果与实际标签结果按照损失函数进行计算，通过梯度下降方法跟新网络模型参数。
[0036]本专利技术还提出了一种嵌入式智能加速器的多模态图像数据识别系统，其中包括：
[0037]模块1，用于获取由光学图像和遥感图像构成的多个图像对，且每个图像对中的光学图像已标注其与遥感图像画面间中具有对应关系的区域，作为训练标签；
[0038]模块2，用于通过卷积神经网络模型分别提取该图像对中光学图像和遥感图像的特征，得到该光学图像的光学特征和该遥感图像的遥感特征；
[0039]模块3，用于将该光学特征与该遥感特征卷积后，得到互相关特征，将该互相关特征输入至图像语义分割模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种嵌入式智能加速器的多模态图像数据识别方法，其特征在于，包括：步骤1、获取由光学图像和遥感图像构成的多个图像对，且每个图像对中的光学图像已标注其与遥感图像画面间中具有对应关系的区域，作为训练标签；步骤2、通过卷积神经网络模型分别提取该图像对中光学图像和遥感图像的特征，得到该光学图像的光学特征和该遥感图像的遥感特征；步骤3、将该光学特征与该遥感特征卷积后，得到互相关特征，将该互相关特征输入至图像语义分割模型，在该互相关特征的向量维度上，检测该光学图像内包含该遥感图像的区域，作为检测区域；步骤4、根据该检测区域与该光学图像已标注的训练标签，构建损失函数训练该图像语义分割模型和该卷积神经网络模型；步骤5、将待识别的图像对输入训练完成后的该卷积神经网络模型和该图像语义分割模型，得到该待识别的图像对中光学图像和遥感图像的图片区域对应关系。2.如权利要求1所述的嵌入式智能加速器的多模态图像数据识别方法，其特征在于，该图像对中遥感图像和光学图像具有相同被摄区域，光学图像视野大于遥感图像。3.如权利要求1所述的嵌入式智能加速器的多模态图像数据识别方法，其特征在于，该步骤3包括：通过下式提取互相关特征R(u)：R(u)＝f(t)*g(t)，其中*表示卷积，反映的是f(t)和g(t)在不同的相对位置上互相匹配的程度，t为特征向量的维度，f(t)表示光学特征向量，g(t)表示遥感特征向量；在经过全连接层、通道压缩、阈值筛选操作，在光学图像中检测出遥感图像的该检测区域。4.如权利要求1所述的嵌入式智能加速器的多模态图像数据识别方法，其特征在于，该步骤4的训练过程包括通过前向计算的结果与实际标签结果按照损失函数进行计算，通过梯度下降方法跟新网络模型参数。5.一种嵌入式智能加速器的多模态图像数据识别系统，其特征在于，包括：模块1，用于获取由光学图像和遥感图像构成的多个图像对...

【专利技术属性】
技术研发人员：张韩宾，赵二虎，
申请(专利权)人：上海处理器技术创新中心，
类型：发明
国别省市：