视频目标的数据关联方法、装置及存储介质制造方法及图纸

一种视频目标的数据关联方法、装置及存储介质。其中，该视频目标的数据关联方法包括：获取分别目标对象的第一图像特征和观测对象的第二图像特征；对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算；基于粗糙集的特征相似度对N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果；根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联；若否，则对所述目标对象进行目标轨迹管理，统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集；根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联。

Data Association Method, Device and Storage Medium for Video Target

A data association method, device and storage medium for video target. Among them, the data association method of the video object includes: acquiring the first image feature of the target object and the second image feature of the observed object respectively; calculating the feature similarity of N feature categories for the first image feature and the second image feature; filtering the result of the feature similarity of N groups based on the feature similarity of rough set, and then filtering the result after filtering. Based on the maximum entropy intuitionistic fuzzy clustering, the correlation cost matrix is calculated according to the result of the feature fusion, and the calculation result of the correlation cost matrix is obtained. According to the calculation result of the correlation cost matrix, the correlation between the object and the observed object is judged. If not, the target trajectory is managed and the video is counted. The set of final trajectories and the set of new trajectories are obtained from the new start trajectories and the end trajectories of the target object. The fuzzy trajectories are correlated according to the set of final trajectories and the set of new trajectories.

【技术实现步骤摘要】
视频目标的数据关联方法、装置及存储介质
本申请涉及电子
，尤其涉及一种视频目标的数据关联方法、装置及存储介质。
技术介绍
视频多目标跟踪是机器视觉的重要研究内容之一，主要获取视频中运动目标的位置、姿态、轨迹等基本运动信息。随着数字计算技术的发展，视频多目标跟踪已经打开多个研究领域及应用领域，涉及到智能视频监控、虚拟现实、人机交互、自动驾驶、交通管制、海洋学、智能机器人、遥控传感、生物医学等领域，吸引了越来越多的学者和研究人员的积极参与，取得了大量的研究成果。但在复杂背景和目标密集遮挡的环境下，多目标跟踪过程中存在很多不确定不完备的信息，如行人的形变、光照变化、虚假观测、目标之间的相互遮挡等，导致难以用传统的概率统计方法准确描述目标与观测的关系。目前，由于检测技术的发展，基于目标检测的视频目标跟踪算法得到了快速的发展和广泛的应用。这类方法根据检测的目标的位置、大小，标签、特征等估计目标的当前状态，不需要人工标记，并且在跟踪过程中可根据检测结果实时更新目标的状态。近年来，随着深度学习方法在视频目标检测上的应用，目标检测技术不断进步，视频多目标检测技术已经非常成熟，即使在杂波环境下，仍可获得较准确的检测结果，数据关联的准确性成为影响跟踪发正确性的主要因素，所以基于检测的多目标数据关联方法得到了广泛的研究。基于检测的多目标跟踪方法的关键问题是检测器接收的在线检测结果和已有目标之间的数据关联。为解决数据关联问题，近三十年来，国内外的学者和研究人员提出了很多类型的数据关联方法。根据数据关联方式不同，大多数跟踪算法可以分为以下两类：生成式方法和判别式方法。基于生成式方法下的跟踪算法利用目标的外观、运动等多个特征构建目标模型，在跟踪过程中考虑目标与观测之间的相似性进行跟踪关联。Ross等人通过逐步学习目标的低维子空间特征表示，可以有效适应目标外观的变化，Babu等人提出根据目标可靠的特征点进行跟踪，Azab等人利用模糊积分融合多个特征在粒子滤波框架中进行跟踪，Zhang等人利用基于粒子滤波器的稀疏表示目标模型，选择与目标模型重建误差最小的候选模板关联，Zhang和Liu等人利用双层卷积神经网络训练鲁棒的特征进行关联。但基于生成式的关联方法，它们有时不能很好地将目标和背景区分开，因为在目标的边界框内的背景像素和其他目标像素不可避免地被认为是目标的一部分，从而使目标外观模型存在不准确信息，使其无法正确区分对象和背景，导致跟踪可能失败。判别式方法旨在更好地将目标从背景中分离出来，如Jang等人提出融合粒子滤波观测模型的误差最小的投影网络模型，Mei等人提出利用最小二乘法和贝叶斯状态估计对目标和观测关联。但判别方法不能适应目标的外观变化，故Babenko等人提出使用多实例学习训练目标模型，Kalal等人提出基于光流和动态外观模型的监督编码规则，Tuzel等人解决多个目标的遮挡跟踪问题，并将其作为二元模式分类问题，Wu等人提出了一个区域深度学习跟踪器，通过多个子区域观察目标，并通过深度学习模型观察每个区域，与大多数仅利用二维彩色或灰色图像来在线学习被跟踪对象的外观模型的现有跟踪器相比，取得了更好的效果。另外，基于相关滤波器的方法和基于深度学习的方法已经取得了优异的表现并引起了更多的关注。近年，随着模糊集理论在多目标跟踪的应用越来越广泛，指出利用模糊数学对跟踪系统中的不确定信息进行建模有助于提高跟踪性能，基于直觉模糊集理论的关联算法成果也越来愈多。如模糊正交粒子滤波，直觉模糊联合概率数据关联滤波，模糊卡尔曼滤波和模糊编码直方图。文献提出建模神经模糊网络基于主动轮廓的对象跟踪算法。基于轮廓的模型被用来提取对象的特征向量，为了训练和识别运动物体，利用自建的神经模糊推理网络，同时将水平和垂直投影中的人体轮廓直方图进行了离散傅里叶变换(DFT)变换。直觉模糊集理论处理不确定信息的优势愈加明显，Li等人提出了一种基于直觉模糊集的在线视频多目标跟踪算法，利用得到的直觉模糊隶属度代替目标与观测的关联度，实现目标与观测间的关联，Zhao等人提出基于直觉逻辑的推理算法，Revathi等人提出基于直方图模糊逻辑块匹配算法对视频多目标进行跟踪。
技术实现思路
本申请实施例提供一种视频目标的数据关联方法、装置及存储介质，用于视频多目标跟踪的数据关联。本申请实施例第一方面提供一种视频目标的数据关联方法，包括：获取分别目标对象的第一图像特征和观测对象的第二图像特征；对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算，得到N组特征相似度结果，所述N为大于1的整数；基于粗糙集的特征相似度对所述N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果；根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联，若否，则对所述目标对象进行目标轨迹管理，统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集；根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联，包括：S1获取视频中的终结轨迹集以及新轨迹集，并确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵；S2对于所述终结轨迹集中的终结轨迹i以及所述新轨迹集中第n时刻的新轨迹j*：根据所述模糊可信度矩阵确定所述终结轨迹i与所述新轨迹j*之间的最大相识度；若所述最大相识度大于或等于可信度阈值，则所述终结轨迹i与所述新轨迹j*关联，且所述新轨迹j*不与其它终结轨迹关联；S3当所述终结轨迹i与所述新轨迹j*关联时，若所述终结轨迹i与所述新轨迹j*之间的轨迹质量大于或等于轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j*为同一轨迹；若所述终结轨迹i与所述新轨迹j*之间的轨迹质量小于所述轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j*不是同一轨迹；重复步骤S2与S3，直至所述视频目标数据中所有的轨迹都完成关联。可选地，所述确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵，包括：在视频的第t帧，表示已终结轨迹集，表示新轨迹集，其中，和分别表示已终结轨迹数和新轨迹数，l0,i表示轨迹i终结的时刻，l1,j表示新轨迹j的起始时间，如果l1,j＝t，则新轨迹为一个新的为被关联的观测轨迹；则的可信度矩阵为：Ut＝{μij}；其中，μij表示轨迹i和新轨迹j的模糊综合相似度。可选地，所述根据所述模糊可信度矩阵确定所述终结轨迹i与所述新轨迹j*之间的最大相识度，包括：函数分别表示在第t时刻，终结轨迹i和新轨迹j的距离、颜色、边缘、文理、形状、运动方向和重叠面积等特征的平均相似度，具体分别为：其中f1m,n(i,j),f2m,n(i,j),f3m,n(i,j),f4m,n(i,j),f5m,n(i,j),f6m,n(i,j)和f7m,n(i,j)表示在第m时刻终结轨迹i和第n时刻新轨迹j之间的距离、颜色、边缘、文理、形状、运动方向和重叠面积等特征的相似度，κ＝t-l1,j+3；根据以下公式确定轨迹i和新轨迹j的模糊综合相似度μij；根据以下公式确定所述终结轨迹i与所述新轨迹j*之间的最大相识度：可选地，所述若所述终结轨迹i与所述新轨迹j*之间的轨迹质量大于或等于轨迹质量阈值，本文档来自技高网...

【技术保护点】
1.一种视频目标的数据关联方法，其特征在于，包括：获取分别目标对象的第一图像特征和观测对象的第二图像特征；对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算，得到N组特征相似度结果，所述N为大于1的整数；基于粗糙集的特征相似度对所述N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果；根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联，若否，则对所述目标对象进行目标轨迹管理，统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集；根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联，包括：S1获取视频中的终结轨迹集以及新轨迹集，并确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵；S2对于所述终结轨迹集中的终结轨迹i以及所述新轨迹集中第n时刻的新轨迹j

【技术特征摘要】
1.一种视频目标的数据关联方法，其特征在于，包括：获取分别目标对象的第一图像特征和观测对象的第二图像特征；对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算，得到N组特征相似度结果，所述N为大于1的整数；基于粗糙集的特征相似度对所述N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果；根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联，若否，则对所述目标对象进行目标轨迹管理，统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集；根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联，包括：S1获取视频中的终结轨迹集以及新轨迹集，并确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵；S2对于所述终结轨迹集中的终结轨迹i以及所述新轨迹集中第n时刻的新轨迹j*：根据所述模糊可信度矩阵确定所述终结轨迹i与所述新轨迹j*之间的最大相识度；若所述最大相识度大于或等于可信度阈值，则所述终结轨迹i与所述新轨迹j*关联，且所述新轨迹j*不与其它终结轨迹关联；S3当所述终结轨迹i与所述新轨迹j*关联时，若所述终结轨迹i与所述新轨迹j*之间的轨迹质量大于或等于轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j*为同一轨迹；若所述终结轨迹i与所述新轨迹j*之间的轨迹质量小于所述轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j*不是同一轨迹；重复步骤S2与S3，直至所述视频目标数据中所有的轨迹都完成关联。2.根据权利要求1所述的方法，其特征在于，所述确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵，包括：在视频的第t帧，表示已终结轨迹集，表示新轨迹集，其中，和分别表示已终结轨迹数和新轨迹数，l0,i表示轨迹i终结的时刻，l1,j表示新轨迹j的起始时间，如果l1,j＝t，则新轨迹为一个新的为被关联的观测轨迹；则的可信度矩阵为：Ut＝{μij}；其中，μij表示轨迹i和新轨迹j的模糊综合相似度。3.根据权利要求2所述的方法，其特征在于，所述根据所述模糊可信度矩阵确定所述终结轨迹i与所述新轨迹j*之间的最大相识度，包括：函数分别表示在第t时刻，终结轨迹i和新轨迹j的距离、颜色、边缘、文理、形状、运动方向和重叠面积等特征的平均相似度，具体分别为：其中和表示在第m时刻终结轨迹i和第n时刻新轨迹j之间的距离、颜色、边缘、文理、形状、运动方向和重叠面积等特征的相似度，κ＝t-l1,j+3；根据以下公式确定轨迹i和新轨迹j的模糊综合相似度μij；根据以下公式确定所述终结轨迹i与所述新轨迹j*之间的最大相识度：4.根据权利要求3所述的方法，其特征在于，所述若所述终结轨迹i与所述新轨迹j*之间的轨迹质量大于或等于轨迹质量阈值，则确定所述终结轨迹i与...

【专利技术属性】
技术研发人员：李良群，湛西羊，谢维信，刘宗香，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44