【技术实现步骤摘要】
本申请涉及深度学习，特别是一种图像处理方法及相关装置。
技术介绍
1、基于变换器transformer端到端物体检测(end-to-end object detection withtransformers，detr)框架可以用于进行图像的实例分割，有效地移除了许多手工设计的组件，如非极大值抑制(non-maximum suppression，nms)后处理步骤等，没有锚anchor等先验知识和约束，大大简化了现有的目标检测的框架的同时检测的效果更好，但是目前detr的参数量和计算量较大，无法部署至对资源有约束的平台。
技术实现思路
1、有鉴于此，本申请提供了一种图像处理方法及相关装置，可以对detr的结构进行重新设计，在保证实例分割效果的同时大大降低了神经网络的参数量和计算量。
2、第一方面，本申请实施例提供了一种图像处理方法，应用于图像处理网络，所述图像处理网络包括卷积编码器模块、变换器模块、卷积译码器模块和动态卷积模块，所述方法包括：
3、将原始图像输入所述卷积编码器模块以获取图像特征，所述原始图像的通道数为c、宽为w、长为h，所述原始图像的维度为c×w×h；
4、将所述图像特征输入所述变换器模块以得到第一特征；
5、将所述图像特征输入所述卷积译码器模块以得到第二特征；
6、将所述第一特征和所述第二特征输入所述动态卷积模块以得到目标分割掩膜，所述目标分割掩膜的维度为n×w×h，n为分割框上限数。
7、第二
8、将原始图像输入所述卷积编码器模块以获取图像特征，所述原始图像的通道数为c、宽为w、长为h，所述原始图像的维度为c×w×h；
9、将所述图像特征输入所述变换器模块以得到第一特征；
10、将所述图像特征输入所述卷积译码器模块以得到第二特征；
11、将所述第一特征和所述第二特征输入所述动态卷积模块以得到目标分割掩膜，所述目标分割掩膜的维度为n×w×h，n为分割框上限数。
12、第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
13、第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
14、第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
15、可见，通过上述图像处理方法及相关装置，应用于图像处理网络，所述图像处理网络包括卷积编码器模块、变换器模块、卷积译码器模块和动态卷积模块，首先，将原始图像输入所述卷积编码器模块以获取图像特征，所述原始图像的通道数为c、宽为w、长为h，所述原始图像的维度为c×w×h；然后，将所述图像特征输入所述变换器模块以得到第一特征；接着，将所述图像特征输入所述卷积译码器模块以得到第二特征；最后，将所述第一特征和所述第二特征输入所述动态卷积模块以得到目标分割掩膜，所述目标分割掩膜的维度为n×w×h，n为分割框上限数。可以在保证图像的实例分割的效果的同时大大降低参数量和计算量。
本文档来自技高网...【技术保护点】
1.一种图像处理方法，其特征在于，应用于图像处理网络，所述图像处理网络包括卷积编码器模块、变换器模块、卷积译码器模块和动态卷积模块，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将原始图像输入所述卷积编码器模块以获取图像特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述变换器模块包括第一全连接层、第二全连接层和输出层；所述将所述图像特征输入所述变换器模块以得到第一特征，包括：
4.根据权利要求3所述的方法，其特征在于，所述第一全连接层包括维度为c×x的第一预设参数，所述第二全连接层包括维度为c×x的第二预设参数。
5.根据权利要求3所述的方法，其特征在于，所述卷积译码器模块包括双路卷积模块和卷积模块；所述将所述图像特征输入所述卷积译码器模块以得到第二特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述双路卷积模块包括设置在第一预设位置的第一预设数量的双路卷积块，每个双路卷积块包括对半拆分的两个卷积核，所述卷积模块包括设置在第二预设位置的第二预设数量的卷积块，每个卷积块包括一个卷积核，任意
7.根据权利要求5所述的方法，其特征在于，所述将所述第一特征和所述第二特征输入所述动态卷积模块进行卷积处理以得到目标分割掩膜，包括：
8.一种图像处理装置，其特征在于，应用于图像处理网络，所述图像处理网络包括卷积编码器模块、变换器模块、卷积译码器模块和动态卷积模块，所述装置包括处理单元，所述处理单元用于：
9.一种电子设备，其特征在于，包括：处理器，存储器，以及一个或多个程序；所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于图像处理网络，所述图像处理网络包括卷积编码器模块、变换器模块、卷积译码器模块和动态卷积模块，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将原始图像输入所述卷积编码器模块以获取图像特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述变换器模块包括第一全连接层、第二全连接层和输出层；所述将所述图像特征输入所述变换器模块以得到第一特征，包括：
4.根据权利要求3所述的方法，其特征在于，所述第一全连接层包括维度为c×x的第一预设参数，所述第二全连接层包括维度为c×x的第二预设参数。
5.根据权利要求3所述的方法，其特征在于，所述卷积译码器模块包括双路卷积模块和卷积模块；所述将所述图像特征输入所述卷积译码器模块以得到第二特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述双路卷积模块包括设置在第一预设位置的第一预设数量的双路卷积块，每个双路卷积块包括对半拆分的两个卷积核，所述卷...
【专利技术属性】
技术研发人员：刘宇，赵娟萍，赵亚西，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。