图像处理方法、装置、设备及存储介质制造方法及图纸

本说明书实施例提供一种图像处理方法、装置、设备及存储介质。在训练用于预测图像对应的定位概率图和/或密度图的神经网络时，可以基于神经网络预测的样本图像的样本定位概率图确定样本图像对应的样本定位密度图，在构建目标损失时，可以结合基于样本定位概率图确定的样本定位密度图与基于标注信息确定的真实密度之间的差异确定目标损失，用于训练神经网络，从而可以将神经网络预测的定位结果和计数结果耦合，增加用于训练神经网络的监督信息，使得训练的神经网络的预测结果更加准确。

【技术实现步骤摘要】
图像处理方法、装置、设备及存储介质
本公开涉及人工智能
，尤其涉及图像处理方法、装置、设备及存储介质。
技术介绍
在安防、监控等领域，通常需要对视频或图像中的目标对象进行定位、计数或其他处理。在对视频或图像中的目标对象进行定位、计数等处理时，通常可以采用预先训练的神经网络输出图像的定位概率图或者密度图，定位概率图可以用于指示图像中各像素点为目标对象的概率，基于定位概率图可以确定目标对象在图像中的位置，密度图用于指示目标对象在图像中的分布情况，基于密度图可以对图像中的目标对象进行计数。目前，在训练神经网络时，用于获得定位概率图和/或密度图的神经网络是单独训练的，训练的神经网络精度较低。因此，有必要提高训练的神经网络的精度。
技术实现思路
本公开提供一种图像处理方法、装置、设备及存储介质。根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：获取待处理的目标图像；根据预先训练的神经网络确定所述目标图像对应的预测定位概率图和/或预测密度图，其中，所述预测定位概率图用于指示所述目标图像中的像素点为所述目标对象的关键点的概率，所述预测密度图用于指示所述关键点在所述目标图像中的分布情况，所述关键点用于定位所述目标对象；其中，所述神经网络基于样本图像对应的样本定位概率图、样本密度图、样本定位密度图以及所述样本图像的标注信息确定的目标损失训练得到，所述样本定位密度图基于所述样本定位概率图得到，所述样本定位概率图用于指示所述样本图像中的像素点为所述关键点的概率，所述样本密度图和所述样本定位密度图均用于指示所述关键点在所述样本图像中的分布情况，所述标注信息用于指示所述样本图像中的像素点是否为所述关键点。在一些实施例中，所述方法还包括：根据所述预测定位概率图确定所述目标对象在所述目标图像中位置，和/或根据所述预测密度图确定所述目标图像中所述目标对象的数量。在一些实施例中，所述神经网络基于样本图像对应的样本定位概率图、样本密度图、样本定位密度图、所述样本图像的标注信息确定的目标损失训练得到，包括：根据所述标注信息确定所述样本图像对应的真实定位概率图以及真实密度图；根据所述样本图像对应的样本定位概率图和所述真实定位概率图确定第一损失；根据所述样本图像对应的样本密度图和所述真实密度图确定第二损失；根据所述样本定位密度图和所述真实密度图确定第三损失；基于所述第一损失、所述第二损失以及所述第三损失确定所述目标损失，以所述目标损失作为优化目标训练得到所述神经网络。在一些实施例中，基于所述样本定位概率图确定所述样本定位密度图，包括：根据所述样本定位概率图确定所述关键点在所述样本图像中的位置；基于所确定的所述关键点在所述样本图像中的位置确定样本预测定位图，所述样本预测定位图中目标像素位置的像素值均为第一数值，除所述目标像素位置以外的其他像素位置的像素值均为第二数值，所述目标像素位置为所述关键点所在的像素位置；对所述样本预测定位图进行滤波处理，以得到所述样本定位密度图。在一些实施例中，根据所述样本定位密度图和所述真实密度图确定第三损失，包括：根据所述样本定位密度图和所述真实密度图的均方误差确定所述第三损失。在一些实施例中，根据所述样本密度图和所述真实密度图确定第二损失，包括：根据所述样本密度图和所述真实密度图的均方误差确定所述第二损失。在一些实施例中，根据所述样本图像对应的样本定位概率图和所述真实定位概率图确定第一损失，包括：基于所述真实定位概率图以及所述样本定位概率图确定所述样本图像中的各像素点对应的第一交叉熵损失；对所述样本图像中的各像素点对应的所述第一交叉熵损失取平均，得到所述第一损失。在一些实施例中，根据所述预测定位概率图确定所述目标对象在所述目标图像中的位置，包括：对所述预测定位概率图进行均值池化处理，得到第一概率图；对所述第一概率图进行最大池化处理，得到第二概率图；将所述第一概率图和所述第二概率图中概率相同且大于预设阈值的像素点确定为所述关键点，以基于所述关键点确定所述目标对象在所述目标图像中的位置。在一些实施例中，所述预测密度图用于指示所述目标图像中各像素位置分布的所述关键点的数量，根据所述预测密度图确定所述目标图像中所述目标对象的数量，包括：对所述预测密度图中的各像素位置分布的所述关键点的数量进行求和处理，得到所述目标对象的数量。根据本公开实施例的第二方面，提供一种图像处理装置，所述装置包括：获取模块，用于获取待处理的目标图像；处理模块，用于根据预先训练的神经网络确定所述目标图像对应的预测定位概率图和/或预测密度图，其中，所述预测定位概率图用于指示所述目标图像中的像素点为所述目标对象的关键点的概率，所述预测密度图用于指示所述关键点在所述目标图像中的分布情况，所述关键点用于定位所述目标对象；其中，所述神经网络基于样本图像对应的样本定位概率图、样本密度图、样本定位密度图以及所述样本图像的标注信息确定的目标损失训练得到，所述样本定位密度图基于所述样本定位概率图得到，所述样本定位概率图用于指示所述样本图像中的像素点为所述关键点的概率，所述样本密度图和所述样本定位密度图均用于指示所述关键点在所述样本图像中的分布情况，所述标注信息用于指示所述样本图像中的像素点是否为所述关键点。本公开实施例的第三方面，提供一种电子设备，所述电子设备包括处理器、存储器、存储于所述存储器可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时，实现上述第一方面提及的方法。根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被执行时可实现上述第一方面提及的方法。本公开实施例中，在训练用于预测图像对应的定位概率图和/或密度图的神经网络时，可以基于神经网络预测的样本图像的样本定位概率图确定样本图像对应的样本定位密度图，在构建目标损失时，可以结合基于样本定位概率图确定的样本定位密度图与基于标注信息确定的真实密度之间的差异确定目标损失，从而可以将神经网络预测的定位结果和计数结果耦合，增加用于训练神经网络的监督信息，使得神经网络的预测结果更加准确。在训练得到神经网络后，即可以使用训练得到神经网络输出待处理的目标图像的预测定位概率图和/或预测密度图，使得神经网络输出的预测定位概率图和/或预测密度图更加准确。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。图1是本公开实施例的一种通过神经网络预测人头中心点位置的示意图。图2是本公开实施例的一种图像处理方法的流程图。图3是本公开实施例的一种神经网络的结构示意图。图4是本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取待处理的目标图像；/n根据预先训练的神经网络确定所述目标图像对应的预测定位概率图和/或预测密度图，其中，所述预测定位概率图用于指示所述目标图像中的像素点为所述目标对象的关键点的概率，所述预测密度图用于指示所述关键点在所述目标图像中的分布情况，所述关键点用于定位所述目标对象；/n其中，所述神经网络基于样本图像对应的样本定位概率图、样本密度图、样本定位密度图以及所述样本图像的标注信息确定的目标损失训练得到，所述样本定位密度图基于所述样本定位概率图得到，所述样本定位概率图用于指示所述样本图像中的像素点为所述关键点的概率，所述样本密度图和所述样本定位密度图均用于指示所述关键点在所述样本图像中的分布情况，所述标注信息用于指示所述样本图像中的像素点是否为所述关键点。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的目标图像；
根据预先训练的神经网络确定所述目标图像对应的预测定位概率图和/或预测密度图，其中，所述预测定位概率图用于指示所述目标图像中的像素点为所述目标对象的关键点的概率，所述预测密度图用于指示所述关键点在所述目标图像中的分布情况，所述关键点用于定位所述目标对象；
其中，所述神经网络基于样本图像对应的样本定位概率图、样本密度图、样本定位密度图以及所述样本图像的标注信息确定的目标损失训练得到，所述样本定位密度图基于所述样本定位概率图得到，所述样本定位概率图用于指示所述样本图像中的像素点为所述关键点的概率，所述样本密度图和所述样本定位密度图均用于指示所述关键点在所述样本图像中的分布情况，所述标注信息用于指示所述样本图像中的像素点是否为所述关键点。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述预测定位概率图确定所述目标对象在所述目标图像中位置，和/或根据所述预测密度图确定所述目标图像中所述目标对象的数量。


3.根据权利要求1或2所述的方法，其特征在于，所述神经网络基于样本图像对应的样本定位概率图、样本密度图、样本定位密度图、所述样本图像的标注信息确定的目标损失训练得到，包括：
根据所述标注信息确定所述样本图像对应的真实定位概率图以及真实密度图；
根据所述样本图像对应的样本定位概率图和所述真实定位概率图确定第一损失；
根据所述样本图像对应的样本密度图和所述真实密度图确定第二损失；
根据所述样本定位密度图和所述真实密度图确定第三损失；
基于所述第一损失、所述第二损失以及所述第三损失确定所述目标损失，以所述目标损失作为优化目标训练得到所述神经网络。


4.根据权利要求1-3任一项所述的方法，其特征在于，基于所述样本定位概率图确定所述样本定位密度图，包括：
根据所述样本定位概率图确定所述关键点在所述样本图像中的位置；
基于所确定的所述关键点在所述样本图像中的位置确定样本预测定位图，所述样本预测定位图中目标像素位置的像素值均为第一数值，除所述目标像素位置以外的其他像素位置的像素值均为第二数值，所述目标像素位置为所述关键点所在的像素位置；
对所述样本预测定位图进行滤波处理，以得到所述样本定位密度图。


5.根据权利要求4所述的方法，其特征在于，根据所述样本定位密度图和所述真实密度图确定第三损失，包括：
根据所述样本定位密度图和所述真实密度图的均方误差确定所述第三损失。


6.根据权利要求4或5所述的方法，其特征在于，根据所述样本...

【专利技术属性】
技术研发人员：杨昆霖，李昊鹏，侯军，伊帅，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31