一种基于区块链的跨摄像机行人跟踪系统及方法技术方案

本发明专利技术涉及一种基于区块链的跨摄像机行人跟踪系统及方法，包括以下6大模块：入口模块、数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块。本发明专利技术主要完成跨摄像机场景下部署在摄像机端的行人跟踪任务和功能。用户可利用该系统，完成行人在跨摄像机监控场景下的跟踪，并保持跨摄像机监控场景下的行人标签的一致性。

【技术实现步骤摘要】
一种基于区块链的跨摄像机行人跟踪系统及方法
本专利技术涉及一种基于区块链的跨摄像机行人跟踪系统及方法，具体说是一种使用区块链技术完成跨摄像机跟踪行人信息共享的近实时行人跟踪系统，不依赖于中心服务器，可部署到摄像机端，提供行人在跨摄像机场景下的历史运动轨迹，属于监测安保领域。
技术介绍
目前，监控摄像机所采集的监控视频一般被上传到中心服务器，由服务器来进行视频分析任务，例如进行行人检测、行人跟踪等。然而实际应用中，由于网络的速度、服务器的容量、服务器的性能等多种因素的限制，在中心服务器上集中进行行人跟踪的任务是非常艰难的，无法满足近实时行人跟踪的需求。传统的行人跟踪方法，是将多个摄像机采集的监控视频集中传输到一个中心服务器上。在中心服务器上对这些监控视频进行集中处理，然后对多个监控视频的行人跟踪结果做进一步融合。主流框架是基于检测的跟踪，即首先获取行人的检测框，然后提取行人的外观特征，利用外观信息和边框位置进行边框的关联，最终形成完整的行人轨迹。如果需要处理跨摄像机的行人跟踪任务，则会对单个摄像机得到的行人轨迹进行进一步处理得到跨摄像机下的行人轨迹。目前，跨摄像机行人跟踪研究的主要问题是跟踪算法的处理速度以及跨摄像机行人跟踪信息的可信性。目前行人跟踪算法已经取得了很多研究成果，但是在速度以及资源消耗方面还存在一些困难，跨摄像机的行人跟踪仍然是一个非常具有挑战性的问题。其中不仅有计算机视觉领域共同的一些经典难题，也有着深度学习技术进行检测的固有缺陷。如何在诸如摄像机等边缘计算设备有限的计算资源环境下达到实时或近实时的行人跟踪，是安保领域非常有意义的问题。高效的行人跟踪方法以及可信地信息共享方式会极大的提升跨摄像机行人跟踪的效果，在时间监控场景中，复杂的遮挡对行人跟踪算法提出了非常严峻的要求，因此，抗遮挡的跨摄像机行人跟踪算法的研究依然是目前的研究重心之一。此外，目前对于行人跟踪的应用，大多都是使用集中化的处理框架去进行处理，这一框架虽然可以完成大多数行人跟踪任务，但是所需要的计算资源与时间消耗是非常大的，在很多延迟敏感的应用中是不可承受的。如何提升跟踪算法的速度，也是目前计算机视觉领域核心问题的发展方向之一。本专利技术着眼与高准确率的近实时行人跟踪需求，以提高监控系统对多中场景下对于人群的流向追踪、舆情控制的应对能力。利用区块链对于数据共享的能力，建立高效的数据关联方法，本专利技术可满足近实时的跨摄像机跟踪需求。科学研究方面，满足了多种跟踪视觉任务的研究需要，提供了一个准确率高、能耗低的近实时行人跟踪系统，为城市智能管理提供了实质性的帮助。
技术实现思路
本专利技术技术解决问题：克服现有技术的不足，提供了一种基于区块链的跨摄像机行人跟踪系统，使用区块链技术完成跨摄像机行人跟踪信息的交互，并设计了高效的高遮挡跟踪方法。本专利技术采用如下的技术方案：本专利技术的一种基于区块链的跨摄像机行人跟踪系统，包括：入口模块、数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块；其中：入口模块，提供一个管理接口，方便用户从图形化终端管理，用户根据自己的实际需求，选择进入数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块的操作；作为用户登录的界面，用户登录时输入用户名和密码，核检用户名和密码开放对应的权限；对于普通用户，仅提供在线查看权限，不可导出各项数据；对于管理员，提供全部权限，从入口模块提供的数据导出接口导出各项数据；数据收集模块，负责数据的收集，包括摄像机的实时视频数据(24fps)，获取当前摄像机的编号；通过摄像机拍摄监控场景的图像，从摄像机提供的导出接口获取24小时内监控空间内连续的视频图像帧；将摄像机编号传递到区块链模块，将视频图像帧传递到短轨迹生成模块；短轨迹生成模块：首先接收数据收集模块传入的视频图像帧，每接受8个视频图像帧，就使用YOLOV3检测网络处理这8个视频图像帧，得到8个视频图像帧中行人的检测框；根据得到的检测框，从8个视频帧中将对应的区域裁剪下来形成行人裁剪区域，将行人裁剪区域和对应的行人的检测框打包为行人的检测片图；使用聚类的方法对行人的检测片图进行聚类，生成最小长度为3帧，最大长度为8帧的短轨迹，使用完成训练的共现约束网络提取短轨迹的特征，最后将短轨迹以及提取出的短轨迹特征，传入跟踪模块；跟踪模块，基于区块链的跨摄像机行人跟踪方法，跟踪多个行人，并为每一个行人维护多种数据，并将部分数据保存到数据库中，所述多种数据包括保存行人外观特征的特征池、未命中次数、历史轨迹、行人当前状态、行人的序号、命中次数、行人当前位置，其中命中次数是指该行人成功获得短轨迹匹配的次数，未命中次数是指该行人上一次获得成功匹配距离当前的帧数；所述当前状态包括敏感、确认、删除三者之一(其中敏感是指该行人可能是误检造成的，确认表示该行人正在被跟踪，删除表示该行人已经从检测区域内丢失)；该模块实现时，首先接收短轨迹生成模块生成的短轨迹及短轨迹的特征，然后更新当前所跟踪的行人的状态，计算当前跟踪的行人和接收的短轨迹之间的相似度矩阵；再根据当前所跟踪的行人的位置和输入的短轨迹，对相似度矩阵进行过滤，得到过滤后的相似度矩阵；过滤后的相似度矩阵的最优化分配方案使用匈牙利算法解决，会得到多个成对的矩阵下标，即为成功匹配的行人和短轨迹，则未得到成功匹配的行人和短轨迹称为未成功匹配的行人；未成功匹配的行人的未命中次数加一，未成功得到匹配的短轨迹被初始化为新的行人；在所有未成功匹配的行人和短轨迹处理完毕后，使用基于时间模拟退火的特征修复算法对所有行人当前状态为确认的跟踪的行人外观特征的特征池进行更新；当所有跟踪的行人外观特征的特征池完成更新后，使用基于置信度的虚拟短轨迹算法对所有跟踪的行人增加，即不是由短轨迹生成模块产生的，而是根据行人历史轨迹估计的短轨迹；将虚拟短轨迹添加到跟踪的行人的历史轨迹中；如果入口模块结束跟踪的命令，则将所有跟踪的行人的历史轨迹保存到数据库中；区块链模块，负责不同摄像机之间跟踪的行人的数据的共享；该模块检测跟踪模块跟踪行人的状态变化，如果跟踪模块中某一个跟踪的行人状态变为删除，则将该行人的特征池和序号还有当前相机的编号打包到一个区块中，并将此区块发送到区块链中；该模块同时不断检测区块链是否有新的区块，当有新区块被上传到区块链中时，下载新区块中的数据，若新区块中保存的摄像机编号与当前摄像机不同，则将新区块中的特征池以及行人的序号下载下来，使用ReID(人重识别)网络对该特征池与当前跟踪模块跟踪的所有行人做人重识别，如果ReID网络判断该特征池和某个跟踪的行人是一致的，则向跟踪模块发送融合序号请求，该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的序号；输出模块，提供两个数据接口，一个仅提供对数据库中行人的历史轨迹的查看，另一个不但查看，而且还提供导出行人历史轨迹的接口；该模块提供了用户查看信息的接口，封装了其余各个模块，使得各个模块对用户透明。本专利技术的创新点是共现约束网络、基于区块链的行人跟踪方法、基于时间模拟退火的特本文档来自技高网...

【技术保护点】
1.一种基于区块链的跨摄像机行人跟踪系统，其特征在于，包括：入口模块、数据收集模块、短轨迹生成模块、跟踪模块、输出模块和区块链共享模块；其中：/n入口模块，提供一个管理接口，方便用户从图形化终端管理，用户根据自己的实际需求，选择进入数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块的操作；作为用户登录的界面，用户登录时输入用户名和密码，核检用户名和密码开放对应的权限；对于普通用户，仅提供在线查看权限，不可导出各项数据；对于管理员，提供全部权限，从入口模块提供的数据导出接口导出各项数据；/n数据收集模块，负责数据的收集，包括摄像机的实时视频数据，获取当前摄像机的编号；通过摄像机拍摄监控场景的图像，从摄像机提供的导出接口获取24小时内监控空间内连续的视频图像帧；将摄像机编号传递到区块链模块，将视频图像帧传递到短轨迹生成模块；/n短轨迹生成模块：首先接收数据收集模块传入的视频图像帧，每接受8个视频图像帧，就使用YOLOV3检测网络处理这8个视频图像帧，得到8个视频图像帧中行人的检测框；根据得到的检测框，从8个视频帧中将对应的区域裁剪下来形成行人裁剪区域，将行人裁剪区域和对应的行人的检测框打包为行人的检测片图；使用聚类的方法对行人的检测片图进行聚类，生成最小长度为3帧，最大长度为8帧的短轨迹，使用完成训练的共现约束网络提取短轨迹的特征，最后将短轨迹以及提取出的短轨迹特征，传入跟踪模块；/n跟踪模块，基于区块链的跨摄像机行人跟踪方法，跟踪多个行人，并为每一个行人维护多种数据，并将部分数据保存到数据库中，所述多种数据包括保存行人外观特征的特征池、未命中次数、历史轨迹、行人当前状态、行人的序号、命中次数、行人当前位置，其中命中次数是指该行人成功获得短轨迹匹配的次数，未命中次数是指该行人上一次获得成功匹配距离当前的帧数；所述当前状态包括敏感、确认、删除三者之一(其中敏感是指该行人可能是误检造成的，确认表示该行人正在被跟踪，删除表示该行人已经从检测区域内丢失)；该模块实现时，首先接收短轨迹生成模块生成的短轨迹及短轨迹的特征，然后更新当前所跟踪的行人的状态，计算当前跟踪的行人和接收的短轨迹之间的相似度矩阵；再根据当前所跟踪的行人的位置和输入的短轨迹，对相似度矩阵进行过滤，得到过滤后的相似度矩阵；过滤后的相似度矩阵的最优化分配方案使用匈牙利算法解决，会得到多个成对的矩阵下标，即为成功匹配的行人和短轨迹，则未得到成功匹配的行人和短轨迹称为未成功匹配的行人；未成功匹配的行人的未命中次数加一，未成功得到匹配的短轨迹被初始化为新的行人；在所有未成功匹配的行人和短轨迹处理完毕后，使用基于时间模拟退火的特征修复算法对所有行人当前状态为确认的跟踪的行人外观特征的特征池进行更新；当所有跟踪的行人外观特征的特征池完成更新后，使用基于置信度的虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹,即不是由短轨迹生成模块直接产生的，而是根据行人历史轨迹估计得到的短轨迹；将虚拟短轨迹添加到跟踪的行人的历史轨迹中；如果入口模块结束跟踪的命令，则将所有跟踪的行人的历史轨迹保存到数据库中；/n区块链模块，负责不同摄像机之间跟踪的行人的数据的共享；该模块检测跟踪模块跟踪行人的状态变化，如果跟踪模块中某一个跟踪的行人状态变为删除，则将该行人的特征池和序号还有当前相机的编号打包到一个区块中，并将此区块发送到区块链中；该模块同时不断检测区块链是否有新的区块，当有新区块被上传到区块链中时，下载新区块中的数据，若新区块中保存的摄像机编号与当前摄像机不同，则将新区块中的特征池以及行人的序号下载下来，使用ReID网络对该特征池与当前跟踪模块跟踪的所有行人做人重识别，如果ReID网络判断该特征池和某个跟踪的行人是一致的，则向跟踪模块发送融合序号请求，该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的序号；/n输出模块，提供两个数据接口，一个仅提供对数据库中行人的历史轨迹的查看，另一个不但查看，而且还提供导出行人历史轨迹的接口；该模块提供了用户查看信息的接口，封装了其余各个模块，使得各个模块对用户透明。/n...

【技术特征摘要】
1.一种基于区块链的跨摄像机行人跟踪系统，其特征在于，包括：入口模块、数据收集模块、短轨迹生成模块、跟踪模块、输出模块和区块链共享模块；其中：
入口模块，提供一个管理接口，方便用户从图形化终端管理，用户根据自己的实际需求，选择进入数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块的操作；作为用户登录的界面，用户登录时输入用户名和密码，核检用户名和密码开放对应的权限；对于普通用户，仅提供在线查看权限，不可导出各项数据；对于管理员，提供全部权限，从入口模块提供的数据导出接口导出各项数据；
数据收集模块，负责数据的收集，包括摄像机的实时视频数据，获取当前摄像机的编号；通过摄像机拍摄监控场景的图像，从摄像机提供的导出接口获取24小时内监控空间内连续的视频图像帧；将摄像机编号传递到区块链模块，将视频图像帧传递到短轨迹生成模块；
短轨迹生成模块：首先接收数据收集模块传入的视频图像帧，每接受8个视频图像帧，就使用YOLOV3检测网络处理这8个视频图像帧，得到8个视频图像帧中行人的检测框；根据得到的检测框，从8个视频帧中将对应的区域裁剪下来形成行人裁剪区域，将行人裁剪区域和对应的行人的检测框打包为行人的检测片图；使用聚类的方法对行人的检测片图进行聚类，生成最小长度为3帧，最大长度为8帧的短轨迹，使用完成训练的共现约束网络提取短轨迹的特征，最后将短轨迹以及提取出的短轨迹特征，传入跟踪模块；
跟踪模块，基于区块链的跨摄像机行人跟踪方法，跟踪多个行人，并为每一个行人维护多种数据，并将部分数据保存到数据库中，所述多种数据包括保存行人外观特征的特征池、未命中次数、历史轨迹、行人当前状态、行人的序号、命中次数、行人当前位置，其中命中次数是指该行人成功获得短轨迹匹配的次数，未命中次数是指该行人上一次获得成功匹配距离当前的帧数；所述当前状态包括敏感、确认、删除三者之一(其中敏感是指该行人可能是误检造成的，确认表示该行人正在被跟踪，删除表示该行人已经从检测区域内丢失)；该模块实现时，首先接收短轨迹生成模块生成的短轨迹及短轨迹的特征，然后更新当前所跟踪的行人的状态，计算当前跟踪的行人和接收的短轨迹之间的相似度矩阵；再根据当前所跟踪的行人的位置和输入的短轨迹，对相似度矩阵进行过滤，得到过滤后的相似度矩阵；过滤后的相似度矩阵的最优化分配方案使用匈牙利算法解决，会得到多个成对的矩阵下标，即为成功匹配的行人和短轨迹，则未得到成功匹配的行人和短轨迹称为未成功匹配的行人；未成功匹配的行人的未命中次数加一，未成功得到匹配的短轨迹被初始化为新的行人；在所有未成功匹配的行人和短轨迹处理完毕后，使用基于时间模拟退火的特征修复算法对所有行人当前状态为确认的跟踪的行人外观特征的特征池进行更新；当所有跟踪的行人外观特征的特征池完成更新后，使用基于置信度的虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹,即不是由短轨迹生成模块直接产生的，而是根据行人历史轨迹估计得到的短轨迹；将虚拟短轨迹添加到跟踪的行人的历史轨迹中；如果入口模块结束跟踪的命令，则将所有跟踪的行人的历史轨迹保存到数据库中；
区块链模块，负责不同摄像机之间跟踪的行人的数据的共享；该模块检测跟踪模块跟踪行人的状态变化，如果跟踪模块中某一个跟踪的行人状态变为删除，则将该行人的特征池和序号还有当前相机的编号打包到一个区块中，并将此区块发送到区块链中；该模块同时不断检测区块链是否有新的区块，当有新区块被上传到区块链中时，下载新区块中的数据，若新区块中保存的摄像机编号与当前摄像机不同，则将新区块中的特征池以及行人的序号下载下来，使用ReID网络对该特征池与当前跟踪模块跟踪的所有行人做人重识别，如果ReID网络判断该特征池和某个跟踪的行人是一致的，则向跟踪模块发送融合序号请求，该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的序号；
输出模块，提供两个数据接口，一个仅提供对数据库中行人的历史轨迹的查看，另一个不但查看，而且还提供导出行人历史轨迹的接口；该模块提供了用户查看信息的接口，封装了其余各个模块，使得各个模块对用户透明。


2.根据权利要求1所述的基于区块链的跨摄像机行人跟踪系统，其特征在于：所述短轨迹生成模块中，共现约束网络的结构和训练过程如下：
(1)共现约束网络接收长度为8的短轨迹作为输入，如果给定的短轨长度不足8，则用线性插值法插帧，使得短轨迹长度为8；
(2)建立共现约束网络，使用ResNet50全局平均池化层前的网络结构作为骨干网络，后面使用一个固定分割层对骨干网络输出的特征图进行均匀分割，共分割为6块，每一块称为共现局部特征；使用1*1的卷积核和平均池化层处理所有共现局部特征，降低共现局部特征的维度从而得到压缩特征；压缩特征被输入到多头注意力层以计算压缩特征间的空间共现约束；同时，多个压缩特征被拼接为个体特征；从骨干网络到完成压缩特征的拼接的结构是对短轨迹中所有帧共享的，即，短轨迹中的每一帧经过同样的结构处理，最终得到各自的个体特征和各自的空间共现约束；所有帧的空间共现约束被打包为一个序列，并被输入到一个256个隐藏单元的LSTM层中，LSTM层的输出经过一个随机丢弃层后，随机丢弃层的输出被输入到另一个256个隐藏单元的LSTM层中，该LSTM层的输出被输入到了另一个随机丢弃层，该随机丢弃层的输出被输入进一个全连接层，全连接的输出被sofmax层转化为一组权重，利用改组时间权重，所有帧的个体特征被组合为短轨迹特征；短轨迹特征被输入到一个全连接层以进行短轨迹分类，即，网络最后一个全连接层输出短轨迹对应的标签；
(3)共现约束网络在iLIDS-VID(互联网上的公开数据集)上完成训练，该数据集中的视频数据被切分为长度为8的短轨迹，同一视频生成的短轨迹拥有相同的标签；所有短轨迹被输入到共现约束网络中，对短轨迹进行分类，获得预测的标签；通过计算共现约束网络预测的标签和数据集中真实的标签的损失，使用梯度下降法更新共现约束网络骨干网络后所有层的权重参数；当损失收敛后，固定权重参数并保存，同时保存共现约束网络的网络结构；
(4)短轨迹生成模块加载完成预训练的共现约束网络的权重参数，并使用该网络对聚类生成的短轨迹进行特征提取，得到短轨迹的特征。


3.根据权利要求1所述的基于区块链的跨摄像机行人跟踪系统，其特征在于：所述跟踪模块中，基于区块链的跨摄像机行人跟踪方法如下：
(1)接受短轨迹生成模块传递的短轨迹和短轨迹的特征，该特征为一个1536维度的特征向量；
(2)如果当前跟踪的行人为空，则转入...

【专利技术属性】
技术研发人员：盛浩，王帅，张洋，刘洋，吕凯，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11