目标处理方法、目标处理模型的训练方法及其装置制造方法及图纸

本申请提出了目标处理方法、目标处理模型的训练方法及其装置，涉及人工智能技术领域，具体涉及计算机视觉、深度学习技术领域，可应用于智能交通场景下。具体实现方案为：获取当前图像帧以及参考实例分割图；根据当前图像帧和参考实例分割图，生成当前图像帧对应的特征图；根据特征图，生成当前图像帧对应的实例中心图、以及至少一种处理方式的偏移图；根据实例中心图以及至少一种处理方式的偏移图，生成当前图像帧在至少一种处理方式下的目标处理结果。由此，实现了目标的实时处理，并生成了至少一种处理方式下的目标处理结果，提升了目标处理效果。处理效果。处理效果。

【技术实现步骤摘要】
目标处理方法、目标处理模型的训练方法及其装置


[0001]本申请涉及人工智能
，具体涉及计算机视觉、深度学习
，可应用于智能交通场景下，尤其涉及目标处理方法、目标处理模型的训练方法及其装置。

技术介绍

[0002]目前，对目标进行处理(比如，目标跟踪)是计算机视觉领域中重要的研究方向和应用方法。目标处理是在给定视频中同时可对多个感兴趣的目标进行定位，维持对应ID、以及记录对应轨迹等。目前，目标处理技术已经广泛运用于生活以及军事等多个方面。
[0003]相关技术中，通过简单预测前后图像帧间实例之间的像素偏移，即可完成目标处理，但是，上述目标处理方法无法达到目标实时处理，并且处理方式单一，目标处理效果较差。

技术实现思路

[0004]本申请提供了一种用于目标处理方法、目标处理模型的训练方法及其装置。
[0005]根据本申请的一方面，提供了一种目标处理方法，包括：获取当前图像帧以及参考实例分割图；根据所述当前图像帧和所述参考实例分割图，生成所述当前图像帧对应的特征图；根据所述特征图，生成所述当前图像帧对应的实例中心图、以及至少一种处理方式的偏移图；根据所述实例中心图以及所述至少一种处理方式的偏移图，生成所述当前图像帧在所述至少一种处理方式下的目标处理结果。
[0006]根据本申请的另一方面，提供了一种目标处理模型的训练方法，包括：获取初始的目标处理模型，其中，所述目标处理模型包括：用于对当前图像帧以及参考实例分割图进行编码生成特征图的编码模块、用于对特征图进行解码生成实例中心图的语义解码模块、用于对特征图进行解码生成偏移图并结合所述实例中心图生成目标处理结果的偏移解码模块；获取训练数据，其中，所述训练数据包括：样本图像帧、样本参考实例分割图以及样本目标处理结果；以所述样本图像帧和所述样本参考实例分割图为输入数据，结合所述目标处理模型输出的预测目标处理结果以及所述样本目标处理结果构建损失函数，对所述初始的目标处理模型进行训练。
[0007]根据本申请的另一方面，提供了一种目标处理装置，包括：获取模块，用于获取当前图像帧以及参考实例分割图；第一生成模块，用于根据所述当前图像帧和所述参考实例分割图，生成所述当前图像帧对应的特征图；第二生成模块，用于根据所述特征图，生成所述当前图像帧对应的实例中心图、以及至少一种处理方式的偏移图；第三生成模块，用于根据所述实例中心图以及所述至少一种处理方式的偏移图，生成所述当前图像帧在所述至少一种处理方式下的目标处理结果。
[0008]根据本申请的另一方面，提供了一种目标处理模型的训练装置，包括：第一获取模块，用于获取初始的目标处理模型，其中，所述目标处理模型包括：用于对当前图像帧以及参考实例分割图进行编码生成特征图的编码模块、用于对特征图进行解码生成实例中心图
的语义解码模块、用于对特征图进行解码生成偏移图并结合所述实例中心图生成目标处理结果的偏移解码模块；第二获取模块，用于获取训练数据，其中，所述训练数据包括：样本图像帧、样本参考实例分割图以及样本目标处理结果；训练模块，用于以所述样本图像帧和所述样本参考实例分割图为输入数据，结合所述目标处理模型输出的预测目标处理结果以及所述样本目标处理结果构建损失函数，对所述初始的目标处理模型进行训练。
[0009]根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的目标处理方法，或者，执行上述所述的目标处理模型的训练方法。
[0010]根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述所述的目标处理方法，或者，执行上述所述的目标处理模型的训练方法。
[0011]根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时，执行上述所述的目标处理方法，或者，执行上述所述的目标处理模型的训练方法。
[0012]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0014]图1是根据本申请第一实施例的示意图；
[0015]图2是根据本申请第二实施例的示意图；
[0016]图3是根据本申请第三实施例的示意图；
[0017]图4是根据本申请第四实施例的示意图；
[0018]图5是根据本申请第五实施例的示意图；
[0019]图6是根据本申请第六实施例的示意图；
[0020]图7是根据本申请第七实施例的示意图；
[0021]图8是根据本申请第八实施例的示意图；
[0022]图9为根据本申请一个实施例的初始的目标处理模型结构示意图；
[0023]图10是根据本申请第九实施例的示意图；
[0024]图11是根据本申请第十实施例的示意图；
[0025]图12是用来实现本申请实施例的目标处理方法与目标处理模型的训练方法的电子设备的框图。
具体实施方式
[0026]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0027]图1是根据本申请第一实施例的示意图。需要说明的是，本申请实施例的目标处理方法可应用于本申请实施例的目标处理装置，该装置可被配置于电子设备中。其中，该电子设备可以是移动终端，例如，手机、平板电脑、个人数字助理等具有各种操作系统的硬件设备。
[0028]如图1所示，该目标处理方法可包括如下步骤：
[0029]步骤101，获取当前图像帧以及参考实例分割图。
[0030]在本申请实施例中，可通过网络下载或者用户上传获取视频，将该视频进行解帧，可将视频中的某一图像帧作为当前图像帧。
[0031]为了便于当前图像帧中的实例分割，可选地，可获取当前图像帧对应的参考实例分割图，比如，可选取与当前图像帧相关性较高的图像帧进行实例分割，获取对应的实例分割图，将该实例分割图作为参考实例分割图。
[0032]步骤102，根据当前图像帧和参考实例分割图，生成当前图像帧对应的特征图。
[0033]为了便于目标处理，在获取到当前图像帧以及参考实例分割图之后，可根据当前图像帧和参考实例分割图，生成当前图像帧对应的特征图。比如，可根据参考实例分割图获取当前图像帧中的特征，进而生成当前图像帧对应的特征图。
[0034]步骤103，根据特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标处理方法，包括：获取当前图像帧以及参考实例分割图；根据所述当前图像帧和所述参考实例分割图，生成所述当前图像帧对应的特征图；根据所述特征图，生成所述当前图像帧对应的实例中心图、以及至少一种处理方式的偏移图；根据所述实例中心图以及所述至少一种处理方式的偏移图，生成所述当前图像帧在所述至少一种处理方式下的目标处理结果。2.根据权利要求1所述的方法，其中，所述获取当前图像帧以及参考实例分割图，包括：获取图像序列中的所述当前图像帧；获取所述图像序列中位于所述当前图像帧之前的历史图像帧；将所述历史图像帧的实例分割图，确定为所述参考实例分割图。3.根据权利要求1所述的方法，其中，所述根据所述当前图像帧和所述参考实例分割图，生成所述当前图像帧对应的特征图，包括：根据所述参考实例分割图，确定所述参考实例分割图对应的参考图像帧中各个像素属于相应实例的概率，并生成参考语义热力图；获取所述参考图像帧的全局上下文向量；根据所述全局上下文向量、所述当前图像帧和所述参考语义热力图，生成所述特征图。4.根据权利要求1所述的方法，其中，根据所述特征图，生成所述当前图像帧对应的实例中心图，包括：根据所述特征图，生成所述当前图像帧对应的语义种子图，其中，所述语义种子图包括：所述当前图像帧中各个实例的边界信息以及中心信息；提取所述语义种子图中的中心信息，生成所述实例中心图。5.根据权利要求1所述的方法，其中，所述处理方式包括：实例分割方式，所述实例分割方式的偏移图包括：所述当前图像帧中各个像素相对于相应实例中心的偏移信息；所述根据所述实例中心图以及所述至少一种处理方式的偏移图，生成所述当前图像帧在所述至少一种处理方式下的目标处理结果，包括：根据所述实例中心图中各个实例中心的位置信息，以及所述当前图像帧中各个像素相对于相应实例中心的偏移信息，确定所述当前图像帧中各个实例的位置信息；根据所述当前图像帧中各个实例的位置信息，确定所述当前图像帧在实例分割方式下的实例分割结果。6.根据权利要求1或5所述的方法，其中，所述处理方式包括：边框检测方式，所述边框检测方式的偏移图包括：所述当前图像帧中各个实例的边框顶点相对于相应实例中心的偏移信息；所述根据所述实例中心图以及所述至少一种处理方式的偏移图，生成所述当前图像帧在所述至少一种处理方式下的目标处理结果，包括：根据所述实例中心图中各个实例中心的位置信息，以及所述当前图像帧中各个实例的边框顶点相对于相应实例中心的偏移信息，确定所述当前图像帧中各个实例的边框信息；根据所述当前图像帧中各个实例的边框信息，确定所述当前图像帧在边框检测方式下的边框检测结果。
7.根据权利要求6所述的方法，其中，所述处理方式包括：目标跟踪方式，所述目标跟踪方式的偏移图包括：所述当前图像帧中各个实例的中心相对于所述参考实例分割图中相应实例的中心的偏移信息；所述根据所述实例中心图以及所述至少一种处理方式的偏移图，生成所述当前图像帧在所述至少一种处理方式下的目标处理结果，包括：根据所述实例中心图中各个实例中心的位置信息，以及所述当前图像帧中各个实例的中心相对于所述参考实例分割图中相应实例的中心的偏移信息，确定所述当前图像帧中各个实例的位置信息；根据所述当前图像帧中各个实例的位置信息，确定所述当前图像帧在所述目标跟踪方式下的目标跟踪结果。8.一种目标处理模型的训练方法，包括：获取初始的目标处理模型，其中，所述目标处理模型包括：用于对当前图像帧以及参考实例分割图进行编码生成特征图的编码模块、用于对特征图进行解码生成实例中心图的语义解码模块、用于对特征图进行解码生成偏移图并结合所述实例中心图生成目标处理结果的偏移解码模块；获取训练数据，其中，所述训练数据包括：样本图像帧、样本参考实例分割图以及样本目标处理结果；以所述样本图像帧和所述样本参考实例分割图为输入数据，结合所述目标处理模型输出的预测目标处理结果以及所述样本目标处理结果构建损失函数，对所述初始的目标处理模型进行训练。9.根据权利要求8所述的方法，其中，所述损失函数由以下子损失函数中的至少一种组成：实例损失函数、边框损失函数、跟踪损失函数、语义损失函数以及偏移损失函数。10.一种目标处理装置，包括：获取模块，用于获取当前图像帧以及参考实例分割图；第一生成模块，用于根据所述当前图像帧和所述参考实例分割图，生成所述当前图像帧对应的特征图；第二生成模块，用于根据所述特征图，生成所述当前图像帧对应的实例中心图、以及至少一种处理方式的偏移图；第三生成模块，用于根据所述实例中心图以及所述至少一种处理方式...

【专利技术属性】
技术研发人员：张伟，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：