本发明专利技术提供一种图像分析方法、装置及电子设备，涉及计算机视觉技术领域，该图像分析方法包括：获取目标视觉任务的待分析图像；将待分析图像输入视觉分析模型，获得视觉分析模型输出的待分析图像中针对目标视觉任务的每一个目标物体特征的属性序列；该视觉分析模型用于基于目标视觉任务对待分析图像进行图像特征中目标物体特征的提取，并生成描述目标物体特征的属性序列；该视觉分析模型是基于目标视觉任务对应的样本图像和样本图像对应的标签数据训练得到的。本发明专利技术提供的技术方案能够将不同视觉任务统一成对待分析图像中物体的序列描述问题，视觉分析模型在多种视觉任务上具有通用性，提高了视觉任务处理的效率并降低了开发成本。开发成本。开发成本。
【技术实现步骤摘要】
图像分析方法、装置及电子设备
[0001]本专利技术涉及计算机视觉
，尤其涉及一种图像分析方法、装置及电子设备。
技术介绍
[0002]计算机视觉是使用计算机模仿人类视觉系统的科学，能够使计算机拥有类似人类提取、处理、理解和分析图像及图像序列的能力，在安防、制造、政务、医疗等领域中发挥着越来越重要的作用。
[0003]在计算机视觉任务中，不同于自然语言可以被建模成序列至序列的特点，视觉任务的定义通常有着巨大的差异，不同的视觉任务需要设计不同的模型结构分别处理。虽然目前有提出用统一的视觉分析模型处理多个视觉任务，比如多任务学习，但这种方式主要是将多个任务的专用模型结构和一个共享的主干模型网络进行共同训练，只能处理有限且固定的任务组合，一旦有新的任务出现，又需要额外设计新的模型结构并重新训练，任务处理效率低且开发成本较高。
技术实现思路
[0004]本专利技术提供一种图像分析方法、装置及电子设备，用以解决现有技术中不同的视觉任务需要使用不同结构的模型进行处理而导致处理效率低且开发成本高的缺陷，实现多种视觉任务输出结果的统一序列化表示。
[0005]本专利技术提供一种图像分析方法，包括：获取目标视觉任务的待分析图像；将所述待分析图像输入视觉分析模型，获得所述视觉分析模型输出的所述待分析图像中针对所述目标视觉任务的每一个目标物体特征的属性序列；其中，所述视觉分析模型用于基于所述目标视觉任务对所述待分析图像进行图像特征中目标物体特征的提取，并生成描述所述目标物体特征的属性序列；所述视觉分析模型是基于所述目标视觉任务对应的样本图像和所述样本图像对应的标签数据训练得到的。
[0006]根据本专利技术提供的一种图像分析方法，所述将所述待分析图像输入视觉分析模型，获得所述视觉分析模型输出的所述待分析图像中针对目标视觉任务的每一个目标物体特征的属性序列，包括：将所述待分析图像输入所述视觉分析模型的图像特征编码层，获得所述图像特征编码层输出的所述待分析图像的图像特征；将所述图像特征输入所述视觉分析模型的自注意力解码层，获得所述自注意力解码层输出的所述图像特征中针对所述目标视觉任务的目标物体特征；将所述目标物体特征输入所述视觉分析模型的序列生成层，获得所述序列生成层输出的所述目标物体特征的属性序列。
[0007]根据本专利技术提供的一种图像分析方法，所述序列生成层按照时序输出所述目标物
体特征的属性序列；所述序列生成层包括序列自注意力层、图像互注意力层和线性层；所述序列自注意力层，用于以当前时刻的输入特征为查询、当前时刻的输入特征及之前所有的输入特征为键值对进行自注意力计算；所述图像互注意力层，用于以所述图像特征为键值对所述序列自注意力层的输出进行互注意力计算；所述线性层，用于对所述图像互注意力层的输出进行数值化处理，得到所述属性序列。
[0008]根据本专利技术提供的一种图像分析方法，所述将所述目标物体特征输入所述视觉分析模型的序列生成层，获得所述序列生成层输出的所述目标物体特征的属性序列，包括：将所述图像互注意力层前一时刻的输出特征作为当前时刻的输入特征输入所述序列自注意力层，获得所述序列自注意力层输出的当前时刻的自注意力值，所述序列自注意力层初始时刻的输入特征为所述目标物体特征；将所述当前时刻的自注意力值输入所述图像互注意力层，获得所述图像互注意力层输出的当前时刻的输出特征；将所述当前时刻的输出特征输入所述线性层，获得所述线性层输出的当前时刻的属性元素，所述属性元素构成所述属性序列。
[0009]根据本专利技术提供的一种图像分析方法，所述将所述待分析图像输入所述视觉分析模型的图像特征编码层，获得所述图像特征编码层输出的所述待分析图像的图像特征，包括：将所述待分析图像输入所述视觉分析模型的图像特征编码层的残差网络层，获得所述残差网络层输出的所述待分析图像的初始图像特征，所述残差网络层用于将所述待分析图像映射至图像特征空间；将所述初始图像特征输入所述图像特征编码层的自注意力编码层，获得所述自注意力编码层输出的所述待分析图像的图像特征，所述自注意力编码层用于进行自注意力编码。
[0010]根据本专利技术提供的一种图像分析方法，所述属性序列的长度基于所述目标视觉任务确定。
[0011]本专利技术还提供一种图像分析装置，包括：获取模块，用于获取目标视觉任务的待分析图像；分析模块，用于将所述待分析图像输入视觉分析模型，获得所述视觉分析模型输出的所述待分析图像中针对所述目标视觉任务的每一个目标物体特征的属性序列；其中，所述视觉分析模型用于基于所述目标视觉任务对所述待分析图像进行图像特征中目标物体特征的提取，并生成描述所述目标物体特征的属性序列；所述视觉分析模型是基于所述目标视觉任务对应的样本图像和所述样本图像对应的标签数据训练得到的。
[0012]根据本专利技术提供的一种图像分析装置，所述分析模块包括：第一分析单元，用于将所述待分析图像输入所述视觉分析模型的图像特征编码层，获得所述图像特征编码层输出的所述待分析图像的图像特征；第二分析单元，用于将所述图像特征输入所述视觉分析模型的自注意力解码层，获得所述自注意力解码层输出的所述图像特征中针对所述目标视觉任务的目标物体特征；
第三分析单元，用于将所述目标物体特征输入所述视觉分析模型的序列生成层，获得所述序列生成层输出的所述目标物体特征的属性序列。
[0013]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述图像分析方法。
[0014]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像分析方法。
[0015]本专利技术提供的图像分析方法、装置及电子设备，通过获取待分析图像，并将待分析图像输入视觉分析模型，可以获得视觉分析模型输出的待分析图像中针对目标视觉任务的每一个目标物体特征的属性序列。其中的视觉分析模型是基于目标视觉任务对应的样本图像和样本图像对应的标签数据训练得到的，可以基于目标视觉任务对待分析图像进行图像特征中目标物体特征的提取，并生成描述该目标物体特征的属性序列，这样，对于任一目标视觉任务，都可以以待分析图像中该视觉任务对应的目标物体特征为基本单元，获得描述该目标物体特征的属性序列，该属性序列提供了一种通用的视觉任务目标的表现形式，能够将不同视觉任务统一成对待分析图像中物体的序列描述问题，可以使用同样结构的视觉分析模型实现多种不同视觉任务的处理，提高了视觉分析模型在多种视觉任务上的通用性，进而提高了视觉任务处理的效率，降低了开发成本。
附图说明
[0016]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本专利技术提供的图像分析方法的流程示意图之本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像分析方法，其特征在于，包括：获取目标视觉任务的待分析图像；将所述待分析图像输入视觉分析模型，获得所述视觉分析模型输出的所述待分析图像中针对所述目标视觉任务的每一个目标物体特征的属性序列；其中，所述视觉分析模型用于基于所述目标视觉任务对所述待分析图像进行图像特征中目标物体特征的提取，并生成描述所述目标物体特征的属性序列；所述视觉分析模型是基于所述目标视觉任务对应的样本图像和所述样本图像对应的标签数据训练得到的。2.根据权利要求1所述的图像分析方法，其特征在于，所述将所述待分析图像输入视觉分析模型，获得所述视觉分析模型输出的所述待分析图像中针对目标视觉任务的每一个目标物体特征的属性序列，包括：将所述待分析图像输入所述视觉分析模型的图像特征编码层，获得所述图像特征编码层输出的所述待分析图像的图像特征；将所述图像特征输入所述视觉分析模型的自注意力解码层，获得所述自注意力解码层输出的所述图像特征中针对所述目标视觉任务的目标物体特征；将所述目标物体特征输入所述视觉分析模型的序列生成层，获得所述序列生成层输出的所述目标物体特征的属性序列。3.根据权利要求2所述的图像分析方法，其特征在于，所述序列生成层按照时序输出所述目标物体特征的属性序列；所述序列生成层包括序列自注意力层、图像互注意力层和线性层；所述序列自注意力层，用于以当前时刻的输入特征为查询、当前时刻的输入特征及之前所有的输入特征为键值对，进行自注意力计算；所述图像互注意力层，用于以所述图像特征为键值，对所述序列自注意力层的输出进行互注意力计算；所述线性层，用于对所述图像互注意力层的输出进行数值化处理，得到所述属性序列。4.根据权利要求3所述的图像分析方法，其特征在于，所述将所述目标物体特征输入所述视觉分析模型的序列生成层，获得所述序列生成层输出的所述目标物体特征的属性序列，包括：将所述图像互注意力层前一时刻的输出特征作为当前时刻的输入特征输入所述序列自注意力层，获得所述序列自注意力层输出的当前时刻的自注意力值，所述序列自注意力层初始时刻的输入特征为所述目标物体特征；将所述当前时刻的自注意力值输入所述图像互注意力层，获得所述图像互注意力层输出的当前时刻的输出特征；将所述当前时刻的输出特征输入所述线性层，获得所述线性层输出的当...
【专利技术属性】
技术研发人员：朱优松，陈志扬，赵朝阳，李朝闻，王金桥，唐明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。