一种多目标跟踪方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种多目标跟踪方法、装置、电子设备及存储介质。本申请实施例提供的技术方案，通过目标检测模型检测出目标及对应的位置，对每一个目标均分配一个目标追踪器，通过目标追踪器预测每个目标在下一帧图像的位置，再通过匈牙利匹配每个目标的检测位置及下一帧图像的预测位置，得到对应每个目标的跟踪片段，通过合并对应每一组相邻帧图像的跟踪片段得到每个目标的跟踪链，最终根据跟踪链以目标的位置超出或返回目标追踪区域作为对应商品的结算或退款依据，完成多个目标的动态跟踪识别，避免漏检、误检的情况，提高目标识别精度，进一步简化用户的结算流程。

A Multi-target Tracking Method, Device, Electronic Equipment and Storage Media

【技术实现步骤摘要】
一种多目标跟踪方法、装置、电子设备及存储介质
本申请实施例涉及图像识别处理
，尤其涉及一种多目标跟踪方法、装置、电子设备及存储介质。
技术介绍
目前，在智能零售、无人零售应用领域中，无人货柜、智能货柜是该领域下的主要应用产品。无人货柜的使用简化了商品的结算流程，通过商品的快速识别可节省用户的等待时长，同时极大的节约人力成本。并且，无人、快速地识别能提高客户的体验感。传统的无人货柜的主要识别技术是基于静态的商品检测，在对商品进行识别时，需要将商品送入一个固定的摄像头拍摄区域，或者是固定检测拍摄区域下货柜的商品，当触发摄像头拍摄图片之后，对拍摄的图片进行目标检测识别，以确定用户购买了那些商品。但是，此类商品静态检测算法只局限于当前识别的图片质量和目标的相对位置，在商品靠得太近或互相遮挡的情况下，可能会出现漏检和误检的情况，导致商品识别错误，影响用户的结算流程。
技术实现思路
本申请实施例提供一种多目标跟踪方法、装置、电子设备及存储介质，能够实现多目标动态跟踪识别，提高目标识别进度。在第一方面，本申请实施例提供了一种多目标跟踪方法，包括：获取对应目标拍摄的视频流，将所述视频流中的任意相邻两帧的图像组成一个帧组；根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置；对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置；将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段；将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置；将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应的位置，当前帧组的目标跟踪结束；对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。优选的，所述目标检测模型基于YOLOv3目标检测算法建立。优选的，在所述将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置中，将所述第一帧图像输入YOLOv3目标检测模型，得到所述第一帧图像中对应每个目标的矩形框的宽、高及中心点坐标信息。优选的，所述目标追踪器为Siamese_fc单目标追踪器。优选的，所述对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置，包括：提取第一帧图像截取到的目标图像及对应的位置信息；将所述截取到的目标图像进行预设比例的扩展；将所述截取到的目标图像、对应的位置信息及扩展后的目标图像输入目标追踪器，得到对应目标在第二帧图像的预测位置。优选的，在所述基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置中，对应一个目标，若第二帧图像在目标检测时检测到相应的目标，则将这一目标的位置替换所述跟踪片段中这一目标的预测位置；若第二帧图像在目标检测时未检测到相应的目标，则保留所述跟踪片段中这一目标的预测位置。优选的，在所述对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链之后，还包括：划定目标追踪区域，基于所述跟踪链以目标的位置超出或返回所述目标追踪区域作为对应商品的结算或退款依据。在第二方面，本申请实施例提供了一种多目标跟踪装置，包括：获取模块，用于获取对应目标拍摄的视频流，以所述视频流中的任意两帧相邻的图像组成一个帧组；目标检测模块，用于根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置；目标跟踪模块，用于对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置；将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段；将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置；将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应的位置，当前帧组的目标跟踪结束；跟踪链生成模块，用于对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。优选的，还包括判定模块，用于划定目标追踪区域，基于所述跟踪链以目标的位置超出或返回所述目标追踪区域作为对应商品的结算或退款依据。优选的，所述目标跟踪模块包括预测单元，所述预测单元用于提取第一帧图像截取到的目标图像及对应的位置信息；将所述截取到的目标图像进行预设比例的扩展；将所述截取到的目标图像、对应的位置信息及扩展后的目标图像输入目标追踪器，得到对应目标在第二帧图像的预测位置。在第三方面，本申请实施例提供了一种电子设备，包括：存储器以及一个或多个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的多目标跟踪方法。在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的多目标跟踪方法。本申请实施例基于视频流的每一组相邻帧图像，通过目标检测模型检测出目标及对应的位置，对每一个目标均分配一个目标追踪器，通过目标追踪器预测每个目标在下一帧图像的位置，再通过匈牙利匹配每个目标的检测位置及下一帧图像的预测位置，得到对应每个目标的跟踪片段，通过合并对应每一组相邻帧图像的跟踪片段得到每个目标的跟踪链，最终根据跟踪链以目标的位置超出或返回目标追踪区域作为对应商品的结算或退款依据，完成多个目标的动态跟踪识别，避免漏检、误检的情况，提高目标识别精度，进一步简化用户的结算流程。附图说明图1是本申请实施例一提供的一种多目标跟踪方法的流程图；图2是本申请实施例一中用户选购商品的结构示意图；图3是本申请实施例一中的目标检测示意图；图4是本申请实施例一中的目标检测具体流程图；图5是本申请实施例一中的目标预测流程图；图6是本申请实施例一中的目标预测示意图；图7是本申请实施例一中的多跟踪示意图；图8是本申请实施例一中的商品跟踪结算示意图；图9是本申请实施例二提供的一种多目标跟踪装置的结构示意图。具体实施方式为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成本文档来自技高网...

【技术保护点】
1.一种多目标跟踪方法，其特征在于，包括：获取对应目标拍摄的视频流，将所述视频流中的任意相邻两帧的图像组成一个帧组；根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置；对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置；将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段；将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置；将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应的位置，当前帧组的目标跟踪结束；对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，包括：获取对应目标拍摄的视频流，将所述视频流中的任意相邻两帧的图像组成一个帧组；根据视频流的顺序取一个帧组，将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置；对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置；将所述第一帧图像中检测到的每个目标的位置与第二帧图像中每个目标的预测位置进行匈牙利匹配，得到对应帧组中每个目标的跟踪片段；将第二帧图像输入预设的目标检测模型，输出第二帧图像中的目标及对应的位置，基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像的每个目标的位置；将当前帧组中的第二帧图像检测到的每个目标及对应的位置，作为后一个帧组中的第一帧图像检测到的每个目标及对应的位置，当前帧组的目标跟踪结束；对应每个帧组得到的各个目标的跟踪片段，根据视频流顺序将相邻的跟踪片段合并，覆盖对应同一目标相同的位置信息，得到对应各个目标的跟踪链。2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述目标检测模型基于YOLOv3目标检测算法建立。3.根据权利要求2所述的多目标跟踪方法，其特征在于，在所述将当前取得的帧组的第一帧图像输入预设的目标检测模型，输出所述第一帧图像中的目标及对应的位置中，将所述第一帧图像输入YOLOv3目标检测模型，得到所述第一帧图像中对应每个目标的矩形框的宽、高及中心点坐标信息。4.根据权利要求1所述的多目标跟踪方法，其特征在于，所述目标追踪器为Siamese_fc单目标追踪器。5.根据权利要求4所述的多目标跟踪方法，其特征在于，所述对所述第一帧图像检测到的每个目标均分配一个目标追踪器，得到第二帧图像中每个目标的预测位置，包括：提取第一帧图像截取到的目标图像及对应的位置信息；将所述截取到的目标图像进行预设比例的扩展；将所述截取到的目标图像、对应的位置信息及扩展后的目标图像输入目标追踪器，得到对应目标在第二帧图像的预测位置。6.根据权利要求1所述的多目标跟踪方法，其特征在于，在所述基于所述第二帧图像检测到的目标及对应的位置，修正所述跟踪片段中对应第二帧图像...

【专利技术属性】
技术研发人员：文介华，
申请(专利权)人：广州织点智能科技有限公司，
类型：发明
国别省市：广东,44