图像预测方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像预测方法及装置、电子设备和存储介质，所述方法包括：通过第一预测网络对待预测图像中的目标进行预测，得到第一预测结果，所述第一预测结果用于指示所述待预测图像中目标的预测数量；通过第二预测网络对所述第一预测结果与真实结果之间的残差进行预测，得到预测残差，所述真实结果用于指示所述待预测图像中目标的真实数量；根据所述第一预测结果和所述预测残差，确定所述待预测图像的第二预测结果。本公开实施例可通过预测残差实现对第一预测网络得到的第一预测结果的修正，得到的第二预测结果相比第一预测结果更加准确，可以减小预测结果在局部区域的误差，提高预测结果的准确率。

Image prediction method and device, electronic equipment and storage medium

【技术实现步骤摘要】
图像预测方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像预测方法及装置、电子设备和存储介质。
技术介绍
从图像中估计目标的数量对于实际生产生活具有重要价值，以图像中的目标是人为例，人群计数对于景区人流控制、交通规划和紧急情况监测等多个方面都有着重要的意义。另外，图像中的目标也可以是其它目标物，例如车辆，动物等。相关技术中，在对图像中目标的数量进行预测时，预测结果准确度较低。
技术实现思路
本公开提出了一种图像预测技术方案。根据本公开的一方面，提供了一种图像预测方法，包括：通过第一预测网络对待预测图像中的目标进行预测，得到第一预测结果，所述第一预测结果用于指示所述待预测图像中目标的预测数量；通过第二预测网络对所述第一预测结果与真实结果之间的残差进行预测，得到预测残差，所述真实结果用于指示所述待预测图像中目标的真实数量；根据所述第一预测结果和所述预测残差，确定所述待预测图像的第二预测结果。在一种可能的实现方式中，所述第一预测网络包括第一特征提取子网络及第一卷积子网络，所述通过第一预测网络对待预测图像中的目标进行预测，得到第一预测结果，包括：通过所述第一特征提取子网络对所述待预测图像进行特征提取，得到所述待预测图像的第一特征图；通过所述第一卷积子网络对所述第一特征图进行卷积处理，得到所述待预测图像的第一预测密度图，所述第一预测结果包括所述第一预测密度图。在本公开实施例中，分别通过第一特征提取子网络对待预测图像进行特征提取，通过第一卷积子网络对第一特征图进行卷积处理，得到第一预测密度图，可以提高预测结果的准确度，通过第一预测密度图的形式表征第一预测结果，可更形象地展现第一预测结果。在一种可能的实现方式中，所述第二预测网络包括第二特征提取子网络及第二卷积子网络，所述通过第二预测网络对所述第一预测结果与真实结果之间的残差进行预测，得到预测残差，包括：通过所述第二特征提取子网络对所述待预测图像进行特征提取，得到所述待预测图像的第二特征图；通过所述第二卷积子网络对所述第二特征图进行卷积处理，得到所述待预测图像的预测残差图，所述预测残差包括所述预测残差图。在本公开实施例中，通过第二特征提取子网络对待预测图像进行特征提取，通过第二卷积子网络对所述第二特征图进行卷积，得到所述待预测图像的预测残差图，可以提高预测残差图的准确度。在一种可能的实现方式中，所述第二预测网络包括第一特征提取子网络及第二卷积子网络，所述通过第二预测网络对所述第一预测结果与真实结果之间的残差进行预测，得到预测残差，包括：通过所述第二卷积子网络对所述第一特征图进行卷积处理，得到所述待预测图像的预测残差图，所述预测残差包括所述预测残差图。在本公开实施例中，第二卷积子网络可以直接使用第一特征提取子网络输出的第一特征图，这样在生成预测残差图时，无需再对待预测图像进行特征图的提取操作，可以减少计算量以及运行时的内存占用，提高响应速度。在一种可能的实现方式中，所述第一卷积子网络包括第一卷积层，所述第一卷积层的卷积核尺寸为1×1；所述第二卷积子网络包括第二卷积层，所述第二卷积层的卷积核尺寸为1×1。在本公开实施例中，通过1×1的卷积核，可以对特征图进行卷积操作，得到输出结果，提高预测结果的准确率。在一种可能的实现方式中，所述根据所述第一预测结果和所述预测残差，确定所述待预测图像的第二预测结果，包括：将所述第一预测结果与所述预测残差之和，确定为所述待预测图像的第二预测结果。在本公开实施例中，残差表示真实结果和第一预测结果之间的差，那么，用第一预测结果与残差相加得到的结果则可以更接近真实结果，提高预测结果的准确率。在一种可能的实现方式中，所述方法还包括：将所述样本图像输入所述第一预测网络中处理，得到第一训练预测结果；根据所述第一训练预测结果以及所述样本图像的标注结果，训练所述第一预测网络；将所述样本图像输入已训练的第一预测网络，得到第二训练预测结果；将所述样本图像输入所述第二预测网络，得到训练预测残差；根据所述第二训练预测结果与所述样本图像的标注结果之间的残差，以及所述训练预测残差，训练所述第二预测网络。在本公开实施例中，在训练时，根据第一预测网络的预测残差对第二预测网络进行训练，以使第二预测网络可以对第一预测网络的残差进行预测，通过预测残差实现对第一预测网络得到的第一预测结果的修正，得到的第二预测结果相比第一预测结果更加准确，可以减小预测结果在局部区域的误差，提高预测结果的准确率。在一种可能的实现方式中，所述方法还包括：将所述样本图像输入所述第一预测网络中处理，得到第一训练预测结果；根据所述第一训练预测结果以及所述样本图像的标注结果，训练所述第一预测网络；将所述样本图像输入所述第二预测网络，得到训练预测残差；根据所述第一训练预测结果与所述样本图像的标注结果之间的残差，以及所述训练预测残差，训练所述第二预测网络。在本公开实施例中，在训练时，根据第一预测网络的预测残差对第二预测网络进行训练，以使第二预测网络可以对第一预测网络的残差进行预测，通过预测残差实现对第一预测网络得到的第一预测结果的修正，得到的第二预测结果相比第一预测结果更加准确，可以减小预测结果在局部区域的误差，提高预测结果的准确率。在一种可能的实现方式中，所述待预测图像中的目标包括人、动物、物品及车辆中的至少一种。在本公开实施例中，可以对图像中的人、动物、物品及车辆等目标的数量进行预测，具备较高的应用价值。根据本公开的一方面，提供了一种图像预测装置，包括：第一预测模块，用于通过第一预测网络对待预测图像中的目标进行预测，得到第一预测结果，所述第一预测结果用于指示所述待预测图像中目标的预测数量；残差预测模块，用于通过第二预测网络对所述第一预测结果与真实结果之间的残差进行预测，得到预测残差，所述真实结果用于指示所述待预测图像中目标的真实数量；第二预测模块，用于根据所述第一预测结果和所述预测残差，确定所述待预测图像的第二预测结果。在一种可能的实现方式中，所述第一预测网络包括第一特征提取子网络及第一卷积子网络，所述第一预测模块，包括：第一特征提取子模块，用于通过所述第一特征提取子网络对所述待预测图像进行特征提取，得到所述待预测图像的第一特征图；第一预测子模块，用于通过所述第一卷积子网络对所述第一特征图进行卷积处理，得到所述待预测图像的第一预测密度图，所述第一预测结果包括所述第一预测密度图。在本公开实施例中，分别通过第一特征提取子网络对待预测图像进行特征提取，通过第一卷积子网络对第一特征图进行卷积处理，得到第一预测密度图，可以提高预测结果的准确度，通过第一预测密度图的形式表征第一预测结果，可更形象地展现第一预测结果。在一种可能的实现方式中，所述第二预测网络包括第二特征提取子网络及第二卷积子网络，所述残差预测模块，包括：第二特征提取子模块，用于通过所述第二特征提取子网络对所述待预测图像进行特征提取，得到所述待预测图像的第二特征图；第二预测子模块，本文档来自技高网...

【技术保护点】
1.一种图像预测方法，其特征在于，包括：/n通过第一预测网络对待预测图像中的目标进行预测，得到第一预测结果，所述第一预测结果用于指示所述待预测图像中目标的预测数量；/n通过第二预测网络对所述第一预测结果与真实结果之间的残差进行预测，得到预测残差，所述真实结果用于指示所述待预测图像中目标的真实数量；/n根据所述第一预测结果和所述预测残差，确定所述待预测图像的第二预测结果。/n

【技术特征摘要】
1.一种图像预测方法，其特征在于，包括：
通过第一预测网络对待预测图像中的目标进行预测，得到第一预测结果，所述第一预测结果用于指示所述待预测图像中目标的预测数量；
通过第二预测网络对所述第一预测结果与真实结果之间的残差进行预测，得到预测残差，所述真实结果用于指示所述待预测图像中目标的真实数量；
根据所述第一预测结果和所述预测残差，确定所述待预测图像的第二预测结果。


2.根据权利要求1所述方法，其特征在于，所述第一预测网络包括第一特征提取子网络及第一卷积子网络，
所述通过第一预测网络对待预测图像中的目标进行预测，得到第一预测结果，包括：
通过所述第一特征提取子网络对所述待预测图像进行特征提取，得到所述待预测图像的第一特征图；
通过所述第一卷积子网络对所述第一特征图进行卷积处理，得到所述待预测图像的第一预测密度图，所述第一预测结果包括所述第一预测密度图。


3.根据权利要求1或2所述方法，其特征在于，所述第二预测网络包括第二特征提取子网络及第二卷积子网络，
所述通过第二预测网络对所述第一预测结果与真实结果之间的残差进行预测，得到预测残差，包括：
通过所述第二特征提取子网络对所述待预测图像进行特征提取，得到所述待预测图像的第二特征图；
通过所述第二卷积子网络对所述第二特征图进行卷积处理，得到所述待预测图像的预测残差图，所述预测残差包括所述预测残差图。


4.根据权利要求2所述方法，其特征在于，所述第二预测网络包括第一特征提取子网络及第二卷积子网络，
所述通过第二预测网络对所述第一预测结果与真实结果之间的残差进行预测，得到预测残差，包括：
通过所述第二卷积子网络对所述第一特征图进行卷积处理，得到所述待预测图像的预测残差图，所述预测残差包括所述预测残差图。


5.根据权利要求3或4所述方法，其特征在于，所述第一卷积子网络包括第一卷积层，所述第一卷积层的卷积核尺寸为1×1；
所述第二卷积子网络包括第二卷积层，所述第二卷积层的卷积核尺寸为1×1。


6.根据权利要求1-5中任意一项所述方法，所述根据所述第一预测结果和所述预测残差，确定所述待预测图像的第二预测结果，包括：
将...

【专利技术属性】
技术研发人员：杨昆霖，侯军，伊帅，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31