基于实例分割的目标Re-ID方法、系统、终端和存储介质技术方案

本发明专利技术提供一种基于实例分割的目标Re‑ID方法、系统、终端和存储介质，在目标跟踪过程中，同时对每个跟踪目标进行实例分割，根据前后帧的实例分割结果进行以尺度、轮廓、纹理、位置等信息为要素进行相似性匹配，当重新启动检测时，可以根据实例分割的匹配信息来找到前一帧的匹配目标，给予相同的目标ID。同时，利用前面多帧相同实例ID的特征，对当前实例进行修正，使得实例分割与跟踪的过程更加平滑。

Target Re-ID Method, System, Terminal and Storage Media Based on Case Segmentation

The invention provides a target Re_ID method, system, terminal and storage medium based on instance segmentation. In the process of target tracking, each tracking target is segmented by instance at the same time, and similarity matching is carried out according to the result of instance segmentation in front and back frames with information of scale, contour, texture, location and other elements. When restarting the detection, the matching can be segmented according to the instance. The matching information is used to find the matching target of the previous frame, and the same target ID is given. At the same time, the current instance is modified by using the same instance ID of the previous multiple frames, which makes the process of instance segmentation and tracking smoother.

【技术实现步骤摘要】
基于实例分割的目标Re-ID方法、系统、终端和存储介质
本专利技术涉及汽车电子
，特别是涉及一种基于实例分割的目标Re-ID方法、系统、终端和存储介质。
技术介绍
ADAS即先进驾驶辅助系统又称主动安全系统，主要通过获取图像、雷达数据并处理。得到目标物体的距离、位置、形状等信息。目标物体的跟踪中，每个跟踪物体都有一个实时的ID，在目标跟踪的过程中，每隔K帧启动检测，每次启动检测时，跟踪物体的ID就会被打乱，无法确认跟踪目标。
技术实现思路
为了解决上述的以及其他潜在的技术问题，本专利技术提供了一种基于实例分割的目标Re-ID方法、系统、终端和存储介质，为了解决随时间连续顺序采集的图像组或视频中，同一目标物体在不同帧的图像中被误认为两个物体的问题，本专利技术提出了以下技术方案：在目标跟踪过程中，同时对每个跟踪目标进行实例分割，根据前后帧的实例分割结果进行相似性匹配(包括尺度、轮廓、纹理、位置等信息)，当重新启动检测时，可以根据实例分割的匹配信息来找到前一帧的匹配目标，给予相同的目标ID。同时，利用前面多帧相同实例ID的特征，对当前实例进行修正，使得实例分割与跟踪的过程更加平滑。一种基于实例分割的目标Re-ID方法，包括以下步骤：S01：输入一组连续的捕获图像，在目标跟踪过程中，同时对每个跟踪目标进行实例分割，获取捕获图像或视频中相同类别中不同的实例；S02：根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配，匹配成功的目标则根据实例分割的匹配信息来找到帧数在前的一个或多个捕获图像，给予目标相同的目标ID。进一步地，所述步骤S02：开始于当系统重新启动目标检测时。在目标跟踪的过程中，每间隔K帧重新启动检测，前次跟踪的目标ID与后次启动目标检测的目标ID无法匹配的问题更严重。进一步地，所述步骤S01中对每个跟踪目标进行实例分割的网络架构包括但不限于MASK-RCNN，FCIS，PANET。进一步地，所述步骤S01中实例分割的方法为：输入图像通过卷积神经网络主干结构处理，提取特征图和预选框，通过无量化层处理的区域候选网络，得到目标增强后的预选区域，再由第一二分类层输出追踪目标的类别概率分布和回归坐标，第二二分类层输出掩膜处理后得到的目标轮廓格点，再将目标轮廓格点映射回原图。优选地，所述第一二分类层通过第一后卷积层完成，所属苏第二二分类层通过第二后卷积层完成。优选地，所述第一二分类层为卷积神经网络CNN，第二二分类层为全卷积神经网络FCN。优选地，所述预选框是对捕获图像进行目标检测处理得到所有的预选框，以目标编号分类所有的预选框得到同一目标编号的一组预选框为预选框组，以预选框组输入区域候选网络得到候选区域。优选地，所述目标增强是对预选框组中每一个追踪目标所在的预选框组中每一个预选框进行上、下、左、右偏移得到一组高于预选框组数量若干倍的一组目标增强后的一组预选框组。例如原预选框组中的预选框为10～20个，每一个预选框进行上、下、左、右偏移时，会产生3-5个新的预选框，进而预选框组中的预选框数量上升为30～100个，使语义分割中每个类别中实例分割小类别中某一实例(追踪目标)的预选框组得到增强。优选地，所述步骤S01中实例分割网络架构还包括获得预选区域后先做多层特征融合，再把候选区域映射到特征图像上做二分类语义分割，进行目标检测，这不仅利用了高层特征的语义信息，还考虑了低层特征的细节纹理信息，是的目标检测定位更精准。解决了FastR-CNN和FasterR-CNN都是利用了后卷积层的特征进行目标检测，而由于高层的卷积层特征已经损失了很多细节信息，所以在定位时并不是很精准的问题。优选地，所述第二后卷积层输出掩膜处理得到目标轮廓格点的过程具体为：所述第二后卷积层为FCN全卷积网络，所述FCN全卷积网络用于对每一个由区域候选网络输出的候选区域进行语义分割；语义分割输出按照通道数序列区分的特征图，再根据分类器输出的类别概率分布选择概率最大值对应的类别标签作为最终的预测类别，选出与预测类别对应的通道；用与预测类别对应的通道的特征图计算出需要掩膜处理的特征图，经过sigmoid函数将输出映射到[0,1]之间的概率值，再采用阈值法，进行二值化，进而得到二值化掩膜图。优选地，所述掩膜处理的主要作用是大致定位出目标实例的基本轮廓，有利于进一步准确进行实例分割。优选地，所述损失函数是使用数据分布和模型分布间的交叉熵函数，具体为平均二进制交叉熵损失函数。进一步地，所述步骤S01中实例分割的网络架构为：输入图像通过卷积神经网络主干结构处理，提取特征图和候选框，通过无量化层处理，得到预选框组合，再由第一再分类层输出追踪目标的类别概率分布和回归坐标，第二再分类层输出掩膜处理后得到的目标轮廓格点，再将目标轮廓格点映射回原图。进一步地，所述步骤S01中实例分割的网络架构中无量化层处理具体为通过双线性插值方法避免量化操作。优选地，所述双线性插值过程中对于每个网格插值的位置与抽样点数均不敏感，在实现过程中对每个网格只插值一个抽样点。进一步地，所述无量化层相比与量化层操作，减小了第一量化操作和第二量化操作。所述第一量化操作为：自输入图像原坐标系输出的区域候选的若干组坐标映射到特征图时的池化操作，由于特征图的空间尺寸被缩放，而缩放尺寸时对不能整除的结果进行的第一步量化操作。所述第二量化操作为：区域候选框划分网格时，如遇不能整除的像素点在量化过程中致使无法对候选区域框均匀划分网格，输入和输出特征严重失准。进一步地，所述步骤S02中，根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的方式为：从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息，各个要素的权重按照追踪目标的类别配比要素的权重，再根据各个要素的权重综合打分之后，将综合打分的分值与预设阈值进行比较，大于阈值则认为匹配成功，小于预设阈值则认为匹配失败。进一步地，所述步骤S02中，根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的具体方式为：S021：从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息；S022：将前帧图像与后帧图像中对于相同追踪目标的相同要素之间做差、平方、求和、归一化处理，得到该要素的匹配分数；S023：把匹配分数高于某一值的预选框提取出，归类为同一ID目标物体。进一步地，还包括步骤S03：在一组图像中出现后又消失的追踪目标，对于特定的追踪目标类别，将该追踪目标类别中的各个实例保留固定帧数的记忆；对于除特定的追踪目标类别之外的追踪目标，将该追踪目标类别中的各个实例作为消失处理。消失的示例一般会在内存中被删除，保留就是在内存中保留一段时间，如果间隔一段时间之后还是没有出现再删除。进一步地，还包括步骤S04：利用相似性匹配后前面多帧图像中相同实例ID的特征，对当前帧图像的该实例进行修正，用前面多帧图像相同实例ID特征融合结果结合当前帧图像实例特征的结果，使得实例分割与跟踪的过程更加平滑，生成更加通用和鲁棒的特征。一种基于实例分割的目标Re-ID的系统，包括图像采集模块、实例分割模块、相似性匹配模块、赋值模块；所述图像采集模块用于采集待分析的图像，图像采集模块采集的捕获图像须是随本文档来自技高网...

【技术保护点】
1.一种基于实例分割的目标Re‑ID方法，其特征在于，包括以下步骤：S01：输入一组连续的捕获图像，在目标跟踪过程中，同时对每个跟踪目标进行实例分割，获取捕获图像或视频中相同类别中不同的实例；S02：根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配，匹配成功的目标则根据实例分割的匹配信息来找到帧数在前的一个或多个捕获图像，给予目标相同的目标ID。

【技术特征摘要】
1.一种基于实例分割的目标Re-ID方法，其特征在于，包括以下步骤：S01：输入一组连续的捕获图像，在目标跟踪过程中，同时对每个跟踪目标进行实例分割，获取捕获图像或视频中相同类别中不同的实例；S02：根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配，匹配成功的目标则根据实例分割的匹配信息来找到帧数在前的一个或多个捕获图像，给予目标相同的目标ID。2.根据权利要求1所述的基于实例分割的目标Re-ID方法，其特征在于，所述步骤S02：开始于当系统重新启动目标检测时。3.根据权利要求2所述的基于实例分割的目标Re-ID方法，其特征在于，所述步骤S01中对每个跟踪目标进行实例分割的网络架构包括但不限于MASK-RCNN，FCIS，PANET。4.根据权利要求3所述的基于实例分割的目标Re-ID方法，其特征在于，所述第一二分类层通过第一后卷积层完成，所述第二二分类层通过第二后卷积层完成；所述第一二分类层为卷积神经网络CNN，第二二分类层为全卷积神经网络FCN。5.根据权利要求4所述的基于实例分割的目标Re-ID方法，其特征在于，所述步骤S01中实例分割网络架构还包括获得预选区域后先做多层特征融合，再把候选区域映射到特征图像上做二分类语义分割。6.根据权利要求5所述的基于实例分割的目标Re-ID方法，其特征在于，所述步骤S02中，根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的方式为：从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息，各个要素的权重按照追踪目标的类别配比要素的权重，再根据各个要素的权重综合打分之后，将综合打分的分值与预设阈值进行比较，大于阈值则认为匹配成功，小于预设阈值则认为匹配失败。7.根据权利要求1所述的基于实例分割的目标Re-ID方法，其特征在于，还包括步骤S03：在一组图像中出现后又消失的追踪目标，对于特定的追踪目标类别，将该追踪目标类别...

【专利技术属性】
技术研发人员：李坤仑，吴子章，王凡，唐锐，丁丽珠，
申请(专利权)人：北京纵目安驰智能科技有限公司，
类型：发明
国别省市：北京,11