目标计数方法及装置、电子设备、存储介质制造方法及图纸

本申请提供一种目标计数方法及装置、电子设备、计算机可读存储介质，该方法包括：将待处理图像输入已训练的基于U

【技术实现步骤摘要】
目标计数方法及装置、电子设备、存储介质


[0001]本申请涉及图像处理
，特别涉及一种目标计数方法及装置、电子设备、计算机可读存储介质。

技术介绍

[0002]大部分合金材料在熔铸过程中，都会经历凝固过程。在凝固过程中，液态合金逐步析出固相晶粒，随着温度的下降，晶粒不断形核、生长并按照不同形式粗化，逐步形成具有复杂形貌和复杂空间结构的枝晶组织结构。与此同时，金属凝固过程中会形成复杂的金属间化合物、二次析出相、裂痕、缩孔等结构性缺陷。金属在凝固过程中成形的微观结构对合金材料的最终性能具有决定性作用。目前，可以通过X射线成像技术对合金样品在凝固过程各个阶段采集同步辐射图像，从而依据图形对凝固过程中的微观结构进行研究。其中，晶粒计数是研究内容之一。

技术实现思路

[0003]本申请实施例的目的在于提供一种目标计数方法及装置、电子设备、计算机可读存储介质，用于基于生成对抗机制下训练得到的目标计数网络对图像编解码处理后得到密度图，并以密度图确定图像中目标总数。
[0004]一方面，本申请提供了一种目标计数方法，包括：
[0005]将待处理图像输入已训练的基于U
‑
Net构建的目标计数网络，通过所述目标计数网络的编码器编码处理，通过所述目标计数网络的解码器对编码得到的多个图像特征进行解码处理，获得所述待处理图像的密度图；其中，所述目标计数网络作为生成器在生成对抗机制中训练得到；
[0006]对所述密度图进行积分求和，获得所述待处理图像中的目标总数。
[0007]在一实施例中，所述编码器包括若干多尺度下采样模块；
[0008]所述通过所述目标计数网络的编码器编码处理，包括：
[0009]通过所述编码器对所述待处理图像进行逐级编码处理，获得多个级别的图像特征；其中，在编码处理过程中，通过所述多尺度下采样模块将上一级的图像特征进行多尺度卷积计算并聚合，得到用于编码出下一级的图像特征的过渡图像特征。
[0010]在一实施例中，所述多尺度下采样模块包括第一支路、第二支路和第三支路，所述第一支路包括最大池化层和1*1的卷积层，所述第二支路包括1*1的卷积层、3*3的可形变卷积层、3*3的卷积层，所述第三支路包括1*1卷积层、3*3的可形变卷积层、两个连续的3*3的卷积层；
[0011]所述通过所述多尺度下采样模块将上一级的图像特征进行多尺度卷积计算并聚合，得到用于编码出下一级的图像特征的过渡图像特征，包括：
[0012]通过所述第一支路从所述上一级的图像特征计算出第一子过渡图像特征；
[0013]通过所述第二支路从所述上一级的图像特征计算出第二子过渡图像特征；
[0014]通过所述第三支路从所述上一级的图像特征计算出第三子过渡图像特征；
[0015]将所述第一子过渡图像特征、所述第二子过渡图像特征和所述第三子过渡图像特征融合为所述过渡图像特征。
[0016]在一实施例中，所述目标计数网络通过如下方式训练得到：
[0017]将样本数据集中的样本图像输入生成对抗网络的生成器，获得所述生成器输出的假想密度图；
[0018]基于所述样本图像、所述样本图像对应的假想密度图和所述样本图像携带的标签密度图，对所述生成对抗网络的判别器进行训练；
[0019]在训练所述判别器后，基于所述样本图像和所述假想密度图对所述生成器进行训练；
[0020]重复上述过程，直至所述生成对抗网络收敛，将所述生成对抗网络的生成器作为目标计数网络。
[0021]在一实施例中，所述判别器包括第一子判别器和第二子判别器；
[0022]所述基于所述样本图像、所述样本图像对应的假想密度图和所述样本图像携带的标签密度图，对所述生成对抗网络的判别器进行训练，包括：
[0023]基于所述样本图像、所述样本图像对应的假想密度图和所述样本图像携带的标签密度图，构建样本图像
‑
假想密度图对、样本图像
‑
标签密度图对；
[0024]基于所述样本图像携带的局部位置信息、所述样本图像、所述样本图像对应的假想密度图和所述样本图像携带的标签密度图，构建局部图像
‑
局部假想密度图对、局部图像
‑
局部标签密度图对；
[0025]基于所述样本图像
‑
假想密度图对、所述样本图像
‑
标签密度图对，对所述第一子判别器进行训练；
[0026]基于所述局部图像
‑
局部假想密度图对、所述局部图像
‑
局部标签密度图对，对所述第二子判别器进行训练。
[0027]在一实施例中，所述在训练所述判别器后，基于所述样本图像和所述假想密度图对所述生成器进行训练，包括：
[0028]在训练所述第一子判别器和所述第二子判别器之后，基于所述样本图像
‑
假想密度图对和所述局部图像
‑
局部假想密度图对训练所述生成器。
[0029]在一实施例中，在训练所述目标计数网络之前，所述方法还包括：
[0030]获取多个样本图像和每一样本图像标注的目标位置信息；其中，所述目标位置信息包括目标中心位置和目标半径信息；
[0031]针对每一样本图像，通过基于所述目标半径信息而自适应的高斯核函数对所述样本图像内的目标位置信息进行计算，获得所述样本图像的标签密度图；
[0032]基于多个携带标签密度图的样本图像构建所述样本数据集。
[0033]另一方面，本申请还提供了一种目标计数装置，包括：
[0034]第一计算模块，用于将待处理图像输入已训练的基于U
‑
Net构建的目标计数网络，通过所述目标计数网络的编码器编码处理，通过所述目标计数网络的解码器对编码得到的多个图像特征进行解码处理，获得所述待处理图像的密度图；其中，所述目标计数网络作为生成器在生成对抗机制中训练得到；
[0035]第二计算模块，用于对所述密度图进行积分求和，获得所述待处理图像中的目标总数。
[0036]进一步的，本申请还提供了一种电子设备，所述电子设备包括：
[0037]处理器；
[0038]用于存储处理器可执行指令的存储器；
[0039]其中，所述处理器被配置为执行上述目标计数方法。
[0040]另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述目标计数方法。
[0041]本申请方案，将基于U
‑
Net的目标计数网络引入目标计数任务中，通过生成对抗机制训练目标计数网络，使得目标计数网络可以精准地实现对待处理图像的密度图计算，从而可以依据密度图积分求和，得到待处理图像中的目标总数。
附图说明
[0042]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标计数方法，其特征在于，包括：将待处理图像输入已训练的基于U
‑
Net构建的目标计数网络，通过所述目标计数网络的编码器编码处理，通过所述目标计数网络的解码器对编码得到的多个图像特征进行解码处理，获得所述待处理图像的密度图；其中，所述目标计数网络作为生成器在生成对抗机制中训练得到；对所述密度图进行积分求和，获得所述待处理图像中的目标总数。2.根据权利要求1所述的方法，其特征在于，所述编码器包括若干多尺度下采样模块；所述通过所述目标计数网络的编码器编码处理，包括：通过所述编码器对所述待处理图像进行逐级编码处理，获得多个级别的图像特征；其中，在编码处理过程中，通过所述多尺度下采样模块将上一级的图像特征进行多尺度卷积计算并聚合，得到用于编码出下一级的图像特征的过渡图像特征。3.根据权利要求2所述的方法，其特征在于，所述多尺度下采样模块包括第一支路、第二支路和第三支路，所述第一支路包括最大池化层和1*1的卷积层，所述第二支路包括1*1的卷积层、3*3的可形变卷积层、3*3的卷积层，所述第三支路包括1*1卷积层、3*3的可形变卷积层、两个连续的3*3的卷积层；所述通过所述多尺度下采样模块将上一级的图像特征进行多尺度卷积计算并聚合，得到用于编码出下一级的图像特征的过渡图像特征，包括：通过所述第一支路从所述上一级的图像特征计算出第一子过渡图像特征；通过所述第二支路从所述上一级的图像特征计算出第二子过渡图像特征；通过所述第三支路从所述上一级的图像特征计算出第三子过渡图像特征；将所述第一子过渡图像特征、所述第二子过渡图像特征和所述第三子过渡图像特征融合为所述过渡图像特征。4.根据权利要求1所述的方法，其特征在于，所述目标计数网络通过如下方式训练得到：将样本数据集中的样本图像输入生成对抗网络的生成器，获得所述生成器输出的假想密度图；基于所述样本图像、所述样本图像对应的假想密度图和所述样本图像携带的标签密度图，对所述生成对抗网络的判别器进行训练；在训练所述判别器后，基于所述样本图像和所述假想密度图对所述生成器进行训练；重复上述过程，直至所述生成对抗网络收敛，将所述生成对抗网络的生成器作为目标计数网络。5.根据权利要求4所述的方法，其特征在于，所述判别器包括第一子判别器和第二子判别器；所述基于所述样本图像、所述样本图像对应的假想密度图和所述样本图像携带的标签密度图，对所述生成对抗网络的判别器进行训练，包括：基于所述样本图像、所述样本图像对应的假想密度图和所述样本图像携带的标...

【专利技术属性】
技术研发人员：徐奕，李一鸣，王楠，王明达，张佼，唐洋，孙宝德，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：