【技术实现步骤摘要】
本公开涉及数据处理，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
技术介绍
1、以目标对象(例如包括人体、动物，机器人等)为中心的视觉感知任务，例如包括目标对象的位置检测任务、目标对象的姿态估计任务、目标对象的分割任务和目标对象的属性识别任务等，广泛应用于运动分析、人工智能服务、智慧城市、人群洞察、自动驾驶、虚拟现实和增强现实等领域，受到越来越广泛的关注和深入的研究，有必要提供一种维护成本低、耗时低、可扩展性好的单阶段多目标多任务感知方法。
技术实现思路
1、本公开提出了一种图像处理技术方案。
2、根据本公开的一方面，提供了一种图像处理方法，所述方法应用于神经网络，所述神经网络包括特征查询网络，以及与所述特征查询网络连接的至少两个并行的预测端，所述至少两个并行的预测端包括用于预测坐标检测类任务中任一感知任务的第一预测端，还包括除所述第一预测端以外，用于预测所述坐标检测类任务、稠密检测类任务、属性识别类任务中的至少一个预测端，所述方法包括：获取待处理图像；通过所述特征查询网络提取所述待处理图像中目标对象的查询向量组，所述查询向量组包括用于预测所述待处理图像中任意目标对象的任意感知任务所需的特征信息；通过任一预测端根据所述查询向量组，确定所述预测端所属感知任务的预测结果，每个预测端用于完成不同的感知任务预测。
3、在一种可能的实现方式中，所述查询向量组包括至少两个具有预设维数的查询向量，所述查询向量组中查询向量的数量表征所述待处理图像中潜在目标对象的数量
4、在一种可能的实现方式中，所述第一预测端包括用于检测目标对象对应位置的预测端。
5、在一种可能的实现方式中，所述特征查询网络包括主干网络块、编码网络块、解码网络块，通过所述特征查询网络提取所述待处理图像中目标对象的查询向量组，包括：将所述待处理图像输入所述主干网络块进行特征图组提取，得到具有不同分辨率的特征图组，所述特征图组包括具有最大分辨率的第一特征图和至少两个第二特征图；将所述至少两个第二特征图输入所述编码网络块进行编码处理，得到至少两个编码图；将至少两个编码图输入所述第一预测端，得到所述待处理图像中潜在目标对象的初始锚点位置；将所述潜在目标对象的初始锚点位置、至少两个第二特征图输入所述解码网络块进行解码处理，得到所述待处理图像中潜在目标对象的参考锚点位置和所述查询向量组，所述参考锚点位置由潜在目标对象的初始锚点位置更新所得。
6、在一种可能的实现方式中，通过任一预测端根据所述查询向量组，确定所述预测端所属感知任务的预测结果，包括：在任一预测端的感知任务为坐标检测类任务的情况下，所述预测端根据所述查询向量组确定相对于所述参考锚点位置的至少一个位置偏移量；根据所述至少一个位置偏移量和所述参考锚点位置，确定坐标检测类任务的预测结果。
7、在一种可能的实现方式中，通过任一预测端根据所述查询向量组，确定所述预测端所属感知任务的预测结果，包括：在任一预测端的感知任务为稠密检测类任务的情况下，所述预测端获取加强特征图，所述加强特征图是根据所述第一特征图、所述至少两个编码图的上采样结果得到的；根据所述加强特征图、所述查询向量组，确定稠密检测类任务的预测结果。
8、在一种可能的实现方式中，通过任一预测端根据所述查询向量组，确定所述预测端所属感知任务的预测结果，包括：在任一预测端的感知任务为属性识别类任务的情况下，所述预测端根据所述查询向量组，确定属性识别类任务的预测结果。
9、在一种可能的实现方式中，所述神经网络通过训练得到，所述神经网络的训练过程包括：将训练数据集中的样本图像输入初始神经网络，得到至少一个预测端输出的潜在预测结果；根据预设的第一损失函数、所述潜在预测结果、所述训练数据集的标注信息，确定损失矩阵，其中，所述损失矩阵用于指示初始神经网络对每个目标对象的标注信息与每个潜在预测结果的误差，所述损失矩阵的行数代表所述样本图像中目标对象的数量，所述损失矩阵的列数代表潜在预测结果的组数；根据所述损失矩阵进行匈牙利匹配处理的匹配结果，确定每个预测端输出的匹配预测结果；根据每个预测端对应的第二损失函数、每个预测端输出的匹配预测结果、所述训练数据集的标注信息，得到目标损失；根据所述目标损失，对初始神经网络进行训练，得到目标神经网络。
10、在一种可能的实现方式中，所述将训练数据集中的样本图像输入初始神经网络，得到至少一个预测端输出的潜在预测结果，包括：将训练数据集中的样本图像输入初始神经网络的初始特征查询网络，得到查询向量组，所述查询向量组包括至少两个具有预设维数的查询向量，所述查询向量组中查询向量的数量表征所述待处理图像中潜在目标对象的数量，每个查询向量对应一个不同的潜在目标对象，每个查询向量包括用于预测对应的潜在目标对象的任意感知任务所需的特征信息，所述预设维数的设置与所述预测端的数量无关；至少一个预测端根据所述查询向量组，得到至少两组潜在预测结果，所述潜在预测结果的组数与所述查询向量组中查询向量的数量相同。
11、在一种可能的实现方式中，根据所述损失矩阵进行匈牙利匹配处理的匹配结果，确定每个预测端输出的匹配预测结果，包括：对所述损失矩阵进行匈牙利匹配处理，得到匹配结果，所述匹配结果用于指示从至少两组潜在预测结果中选出的目标预测结果组和所述目标对象的匹配关系；根据所述匹配关系，从查询向量组中确定出每个目标对象对应的查询向量；根据每个目标对象对应的查询向量，得到每个预测端对每个目标对象的匹配预测结果。
12、根据本公开的一方面，提供了一种图像处理装置，所述装置应用于神经网络，所述神经网络包括特征查询网络，以及与所述特征查询网络连接的至少两个并行的预测端，所述至少两个并行的预测端包括用于预测坐标检测类任务中任一感知任务的第一预测端，还包括除所述第一预测端以外，用于预测所述坐标检测类任务、稠密检测类任务、属性识别类任务中的至少一个预测端，所述装置包括：获取模块，用于获取待处理图像；提取模块，用于通过所述特征查询网络提取所述待处理图像中目标对象的查询向量组，所述查询向量组包括用于预测所述待处理图像中任意目标对象的任意感知任务所需的特征信息；确定模块，用于通过任一预测端根据所述查询向量组，确定所述预测端所属感知任务的预测结果，每个预测端用于完成不同的感知任务预测。
13、在一种可能的实现方式中，所述查询向量组包括至少两个具有预设维数的查询向量，所述查询向量组中查询向量的数量表征所述待处理图像中潜在目标对象的数量，每个查询向量对应一个不同的潜在目标对象，每个查询向量包括用于预测对应的潜在目标对象的任意感知任务所需的特征信息，所述预设维数的设置与所述预测端的数量无关。
14、在一种可能的实现方式中，所述第一预测端包括用于检测目标对象对应位置的预测端。
15、本文档来自技高网...
【技术保护点】
1.一种图像处理方法，其特征在于，所述方法应用于神经网络，所述神经网络包括特征查询网络，以及与所述特征查询网络连接的至少两个并行的预测端，所述至少两个并行的预测端包括用于预测坐标检测类任务中任一感知任务的第一预测端，还包括除所述第一预测端以外，用于预测所述坐标检测类任务、稠密检测类任务、属性识别类任务中的至少一个预测端，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述查询向量组包括至少两个具有预设维数的查询向量，所述查询向量组中查询向量的数量表征所述待处理图像中潜在目标对象的数量，每个查询向量对应一个不同的潜在目标对象，每个查询向量包括用于预测对应的潜在目标对象的任意感知任务所需的特征信息，所述预设维数的设置与所述预测端的数量无关。
3.根据权利要求1或2所述的方法，其特征在于，所述第一预测端包括用于检测目标对象对应位置的预测端。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述特征查询网络包括主干网络块、编码网络块、解码网络块，通过所述特征查询网络提取所述待处理图像中目标对象的查询向量组，包括：
5.根据权
6.根据权利要求4所述的方法，其特征在于，通过任一预测端根据所述查询向量组，确定所述预测端所属感知任务的预测结果，包括：
7.根据权利要求4所述的方法，其特征在于，通过任一预测端根据所述查询向量组，确定所述预测端所属感知任务的预测结果，包括：
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述神经网络通过训练得到，所述神经网络的训练过程包括：
9.根据权利要求8所述的方法，其特征在于，所述将训练数据集中的样本图像输入初始神经网络，得到至少一个预测端输出的潜在预测结果，包括：
10.根据权利要求8或9所述的方法，其特征在于，根据所述损失矩阵进行匈牙利匹配处理的匹配结果，确定每个预测端输出的匹配预测结果，包括：
11.一种图像处理装置，其特征在于，所述装置应用于神经网络，所述神经网络包括特征查询网络，以及与所述特征查询网络连接的至少两个并行的预测端，所述至少两个并行的预测端包括用于预测坐标检测类任务中任一感知任务的第一预测端，还包括除所述第一预测端以外，用于预测所述坐标检测类任务、稠密检测类任务、属性识别类任务中的至少一个预测端，所述装置包括：
12.一种电子设备，其特征在于，包括：
13.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至10中任意一项所述的方法。
...【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法应用于神经网络，所述神经网络包括特征查询网络，以及与所述特征查询网络连接的至少两个并行的预测端，所述至少两个并行的预测端包括用于预测坐标检测类任务中任一感知任务的第一预测端，还包括除所述第一预测端以外，用于预测所述坐标检测类任务、稠密检测类任务、属性识别类任务中的至少一个预测端，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述查询向量组包括至少两个具有预设维数的查询向量，所述查询向量组中查询向量的数量表征所述待处理图像中潜在目标对象的数量，每个查询向量对应一个不同的潜在目标对象，每个查询向量包括用于预测对应的潜在目标对象的任意感知任务所需的特征信息，所述预设维数的设置与所述预测端的数量无关。
3.根据权利要求1或2所述的方法，其特征在于，所述第一预测端包括用于检测目标对象对应位置的预测端。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述特征查询网络包括主干网络块、编码网络块、解码网络块，通过所述特征查询网络提取所述待处理图像中目标对象的查询向量组，包括：
5.根据权利要求4所述的方法，其特征在于，通过任一预测端根据所述查询向量组，确定所述预测端所属感知任务的预测结果，包括：
6.根据权利要求4所述的方法，其特征在于，通过任一预测端...
【专利技术属性】
技术研发人员：李树槐，金晟，刘文韬，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。