一种目标检测方法、设备和存储介质技术

本申请公开了一种目标检测方法、设备和存储介质，该方法包括：获取视频数据中的待检测帧；从待检测帧中，提取与目标相关的至少一个感兴趣区域的第一区域特征；从待检测帧的参考帧中，提取分别与至少一个感兴趣区域对应的至少一个第二区域特征；基于第一区域特征和第二区域特征的融合特征，得到待检测帧的目标检测结果。通过上述方式，本申请能够提高目标检测结果的准确性。结果的准确性。结果的准确性。

【技术实现步骤摘要】
一种目标检测方法、设备和存储介质


[0001]本申请涉及计算机视觉
，特别是涉及一种目标检测方法、设备和存储介质。

技术介绍

[0002]视频目标检测技术就是在视频的每一帧上做目标检测，例如是进行目标定位和目标分类。由于在视频中会出现质量较差的帧，比如可能会出现模糊、散焦、部分遮挡、罕见姿势等，这些场景容易导致视频数据中的部分帧检测结果不准确。
[0003]因此，如何提高视频数据中目标检测结果的准确度，意义重大。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种目标检测方法、设备和存储介质，能够提高目标检测的准确性。
[0005]为解决上述技术问题，本申请采用的一个技术方案是：提供一种目标检测方法，该方法包括：获取视频数据中的待检测帧；从待检测帧中，提取与目标相关的至少一个感兴趣区域的第一区域特征；从待检测帧的参考帧中，提取分别与至少一个感兴趣区域对应的至少一个第二区域特征；基于第一区域特征和第二区域特征的融合特征，得到待检测帧的目标检测结果。
[0006]其中，从待检测帧的参考帧中，提取分别与至少一个感兴趣区域对应的至少一个第二区域特征，包括：对参考帧进行特征提取，得到参考图像特征；对于各感兴趣区域，获取感兴趣区域的第一区域特征和参考图像特征之间的相似度结果；基于感兴趣区域的相似度结果，从参考图像特征中提取感兴趣区域对应的第二区域特征。
[0007]其中，第一区域特征包括若干第一空间位置特征，若干第一空间位置特征为感兴趣区域对应的若干目标空间位置在待检测帧中的特征；获取感兴趣区域的第一区域特征和参考图像特征之间的相似度结果，包括：对于各目标空间位置，将目标空间位置对应的第一空间位置特征与参考图像特征进行相似度计算，得到目标空间位置对应的特征相似度，感兴趣区域的相似度结果包括感兴趣区域中各目标空间位置的感兴趣区域对应的特征相似度；基于感兴趣区域的相似度结果，从参考图像特征中提取感兴趣区域对应的第二区域特征，包括：基于各目标空间位置对应的特征相似度，分别从参考图像特征中确定各目标空间位置对应的第二空间位置特征；利用各目标空间位置对应的第二空间位置特征，得到感兴趣区域对应的第二区域特征。
[0008]其中，参考图像特征包括参考帧中各参考像素点的像素特征，目标空间位置对应的特征相似度包括目标空间位置的第一空间位置特征与各像素点的像素特征之间的相似度；基于各目标空间位置对应的特征相似度，分别从参考图像特征中确定各目标空间位置对应的第二空间位置特征：对于各目标空间位置，获取相似度满足预设相似度要求的若干参考像素点，作为目标空间位置的关联像素点；对目标空间位置的各关联像素点的像素特
征进行融合，得到目标空间位置对应的第二空间位置特征。
[0009]其中，相似度满足预设相似度要求的若干参考像素点为参考帧中相似度最高的第一数量个参考像素点；和/或，对目标空间位置的各关联像素点的像素特征进行融合，得到目标空间位置对应的第二空间位置特征，包括：分别将各关联像素点对应的相似度映射为各关联像素点的权重，其中，关联像素点的权重与关联像素点的相似度正相关；利用目标空间位置的各关联像素点的权重，对目标空间位置的各关联像素点的像素特征进行加权运算，得到目标空间位置对应的第二空间位置特征。
[0010]其中，第一空间位置特征包括第二数量通道的一维特征，参考图像特征包括第二数量通道的二维特征；将目标空间位置对应的第一空间位置特征与参考图像特征进行相似度计算，得到目标空间位置对应的特征相似度，包括：将第一空间位置特征与参考图像特征的矩阵转置进行矩阵相乘，得到目标空间位置对应的特征相似度；和/或，在将目标空间位置对应的第一空间位置特征与参考图像特征进行相似度计算，得到目标空间位置对应的特征相似度之前，还包括：分别将各第一空间位置特征与参考图像特征沿着通道维度进行归一化处理。
[0011]其中，每个感兴趣区域对应一个目标，待检测帧的参考帧的数量为至少一个；基于第一区域特征和第二区域特征的融合特征，得到待检测帧的目标检测结果，包括：对于各目标对应的感兴趣区域，将感兴趣区域的第一区域特征和各参考帧关于感兴趣区域的第二区域特征进行特征融合，得到目标对应的感兴趣区域的融合特征；利用检测模型对各目标对应的融合特征进行处理，得到待检测图像中关于各目标的检测结果。
[0012]其中，将感兴趣区域的第一区域特征和各参考帧关于感兴趣区域的第二区域特征进行特征融合，得到目标对应的感兴趣区域的融合特征，包括：按照通道维度分别将第一区域特征和各第二区域特征进行拆分，得到若干组特征组，每组特征组包括第一区域特征拆分得到的一第一子特征和各第二区域特征分别拆分得到的一第二子特征；对于各组特征组，利用注意力网络获取特征组中各第二子特征对特征组中的第一子特征的影响权重，并利用影响权重对特征组中各第二子特征进行加权计算，得到特征组中的第一子特征的辅助特征；融合各特征组中的第一子特征和对应的辅助特征，得到融合特征。
[0013]其中，从待检测帧中，提取与目标相关的至少一个感兴趣区域的第一区域特征，包括：利用特征提取网络提取待检测帧的检测图像特征；对待检测帧进行目标检测，得到待检测帧中的至少一个感兴趣区域，每个感兴趣区域表示一目标所在的区域；从检测图像特征中提取各感兴趣区域的第一区域特征。
[0014]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，包括相互耦接的存储器和处理器，存储器存储有程序指令；处理器用于执行存储器中存储的程序指令，以实现上述方法。
[0015]为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述方法。
[0016]上述方案，在从视频数据中的待检测帧中提取到与目标相关的至少一个感兴趣区域的第一区域特征后，从待检测帧的参考帧中，提取分别与至少一个感兴趣区域对应的至少一个第二区域特征，然后基于第一区域特征和第二区域特征的融合特征，得到待检测帧的目标检测结果。相比于融合待检测帧和参考帧整个图像区域特征的方式进行目标检测，
本申请方案利用待检测帧和参考帧与目标相关的感兴趣区域的融合特征进行目标检测，可减少图像中非感兴趣区域对目标检测的影响，故能够提高目标检测结果的准确性。
附图说明
[0017]图1是本申请提供的目标检测方法一实施例的流程示意图；
[0018]图2是本申请提供的目标检测方法一实施例的流程示意图；
[0019]图3是图1所示步骤S13一实施例的流程示意图；
[0020]图4是本申请提供的利用感兴趣区域的第一区域特征得到对应的第二区域特征的部分流程示意图；
[0021]图5为图3所示步骤S33一实施例的流程示意图；
[0022]图6是图5所示步骤S51一实施例的部分流程示意图；
[0023]图7是图1所示步骤S14一实施例的部分流程示意图；
[0024]图8是本申请提供的目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，其特征在于，所述方法包括：获取视频数据中的待检测帧；从所述待检测帧中，提取与目标相关的至少一个感兴趣区域的第一区域特征；从所述待检测帧的参考帧中，提取分别与所述至少一个感兴趣区域对应的至少一个第二区域特征；基于所述第一区域特征和所述第二区域特征的融合特征，得到所述待检测帧的目标检测结果。2.根据权利要求1所述的方法，其特征在于，所述从所述待检测帧的参考帧中，提取分别与所述至少一个感兴趣区域对应的至少一个第二区域特征，包括：对所述参考帧进行特征提取，得到参考图像特征；对于各所述感兴趣区域，获取所述感兴趣区域的所述第一区域特征和所述参考图像特征之间的相似度结果；基于所述感兴趣区域的所述相似度结果，从所述参考图像特征中提取所述感兴趣区域对应的所述第二区域特征。3.根据权利要求2所述的方法，其特征在于，所述第一区域特征包括若干第一空间位置特征，所述若干第一空间位置特征为所述感兴趣区域对应的若干目标空间位置在所述待检测帧中的特征；所述获取所述感兴趣区域的所述第一区域特征和所述参考图像特征之间的相似度结果，包括：对于各所述目标空间位置，将所述目标空间位置对应的第一空间位置特征与所述参考图像特征进行相似度计算，得到所述目标空间位置对应的特征相似度，所述感兴趣区域的所述相似度结果包括所述感兴趣区域中各所述目标空间位置对应的特征相似度；所述基于所述感兴趣区域的所述相似度结果，从所述参考图像特征中提取所述感兴趣区域对应的所述第二区域特征，包括：基于各所述目标空间位置对应的特征相似度，分别从所述参考图像特征中确定各所述目标空间位置对应的第二空间位置特征；利用各所述目标空间位置对应的第二空间位置特征，得到所述感兴趣区域对应的所述第二区域特征。4.根据权利要求3所述的方法，其特征在于，所述参考图像特征包括所述参考帧中各参考像素点的像素特征，所述目标空间位置对应的特征相似度包括所述目标空间位置的第一空间位置特征与各所述像素点的像素特征之间的相似度；所述基于各所述目标空间位置对应的特征相似度，分别从所述参考图像特征中确定各所述目标空间位置对应的第二空间位置特征，包括：对于各所述目标空间位置，获取所述相似度满足预设相似度要求的若干参考像素点，作为所述目标空间位置的关联像素点；对所述目标空间位置的各所述关联像素点的像素特征进行融合，得到所述目标空间位置对应的第二空间位置特征。5.根据权利要求4所述的方法，其特征在于，所述相似度满足预设相似度要求的若干参考像素点为所述参考帧中相似度最高的第一数量个所述参考像素点；
和/或，所述对所述目标空间位置的各所述关联像素点的像素特征进行融合，得到所述目标空间位置对应的第二空间位置特征，包括：分别将各所述关联像素点对应的所述相似度映射为各所述关联像素点的权重，其中，所述关联像素点的权重与所述关联像素点的相似度正相关；利用所述目标空间位置的各关联像素点的权重，对所述目标空间位置的各关联像素点的...

【专利技术属性】
技术研发人员：赵长双，
申请(专利权)人：浙江零跑科技股份有限公司，
类型：发明
国别省市：