一种基于行人体态的跨域多摄像头跟踪方法和装置制造方法及图纸

本发明专利技术公开了一种基于行人体态的跨域多摄像头跟踪方法和装置。本发明专利技术包括多个位置关联摄像头；人体目标检测；单摄像头内行人跟踪；行人人体序列采集；行人人体序列分割；行人人体序列二值化；二值化行人序列特征提取；跨摄像头云计算中心服务系统检索各摄像头所获取的行人体态特征；根据时间关系和体态特征识别和标定行人轨迹。本发明专利技术通过采用行人体态为基础，通过提取序列人体体态的融合特征，实现监控跨域摄像头内行人的跟踪。该方法除避免现有方法受行人外观因素影响，如衣着颜色、款式、发型等，还不受光照、天气变化、穿着变化等因素影响，提高了在复杂条件和环境下的跟踪能力。

【技术实现步骤摘要】
一种基于行人体态的跨域多摄像头跟踪方法和装置
本专利技术属于图像处理领域，具体涉及一种基于行人体态的跨域多摄像头跟踪方法和装置。
技术介绍
当前摄像头被广泛的用于各类场景，由此产生了大量的视频数据，如何自动分析这些视频数据，成为迫切的需要。目标跟踪为自动视频处理提供了重要的数据基础，其在交通安全防卫、事故预警、监控等方面有广阔的应用前景。单个摄像头的视野范围有限，而外部环境中行人的活动范围较大，单个摄像头无法拍摄到行人在大范围内的整个活动过程。网络摄像头能将摄像头拍摄的视频实时的传输到视频监控中心，视频监控中心将相关的拍摄视频进行汇聚，可极大地扩展监控范围，实现对部分区域的全时段无死角的监控。然而，要获取目标行人在特定区域内的活动轨迹，采用人力方式观看监控视频，非常困难，尤其室外监控视频一般距离较远，行人目标较小，人眼查看效率低，工作量大。在面对海量视频资料时，要查找特定行人目标在此范围内的活动轨迹需要投入的人力物力成本非常巨大。因此，采用人工智能实现跨域跟踪技术实现多摄像头之间的行人目标跟踪，是有效解决海量视频下的行人目标检索与活动轨迹跟踪的方法。由于室外环境的复杂性、人员外形相似性、摄像头拍摄角度差异等因素，导致在不同摄像头和不同时间段所拍摄的同一行人的外貌特征差异性大，而行人中存在大量身高、衣着、发型等外貌特征相似的情况，在不同摄像头所拍摄的远景中，要进行有效地分辨很困难。因此，如何有效地实现跨域跟踪在视频监控领域是一个具有挑战性的问题。现有的跟踪方法包括单摄像头和多摄像头，主要提取行人的外观特征，其中衣着的颜色、款式等对跟踪效果有很大影响，这些方法主要通过提取目标行人的外观特征。行人的衣着颜色、款式、发型等外观变化直接影响特征结果，也直接影响行人跟踪效果。除了行人自身外观变化对跟踪效果有影响外，还受光照、雨雾等外部因素变化的影响，在复杂的室外环境中跟踪效果有待提高。
技术实现思路
本专利技术要解决的技术问题是提供一种基于行人体态的跨域多摄像头跟踪方法和装置，通过使用多种方法分别用于解决单个摄像头内部和跨摄像头之间的行人目标跟踪问题，本专利技术可以适用于不同天气条件和多种成像方式，如白天、夜晚以及可见光和红外等成像条件。为了达到上述目标，本专利技术采用了如下技术方案：本专利技术的一方面：提供了一种基于行人体态的跨域多摄像头跟踪方法，通过非接触的方式采集行人体态生物特征，实现基于行人体态的跨域多摄像头行人跟踪，该方法包括以下步骤：S1.设置多个摄像头，且保证摄像头能以一定的角度拍摄到行人的侧身；S2.各摄像头拍摄可视范围内的识别区域；S3.各摄像头对识别区域进行行人检测；S4.各摄像头对所检测到的行人进行跟踪；S5.各摄像头对所跟踪的行人人体序列进行分割；S6.各摄像头对分割的行人人体序列二值化；S7.各摄像头对二值化后的行人人体轮廓序列进行特征提取；S8.比对各摄像头获取的行人体态特征值并识别和标定行人；S9.重复S2～S8上述步骤完成跨域多摄像头的行人识别；其中s8具体是：将每个摄像头所提取的特征都传送到中心云服务器模块，中心云服务器模块中存储所有摄像头中所抓取的人体体态特征序列以及相应的时间轴；体态特征采用欧式距离算法求出距离，假如距离小于设定的阈值，则认定为同一个行人，并进行标定。进一步说，s3中采用基于深度学习端到端的目标检测，并采用TensorRT加速技术实现在监控视频中快速的检测人体位置，采用矩形框的方式标出行人。进一步说，s4中采用交并比、局部色彩信息相似、行人语义特征相似度以及行人前序轨迹方向实现行人在当前摄像头内部的跟踪，得到同一行人的矩形框图像序列。进一步说，S5～S6具体是：采用基于语义的深度学习人体分割方法，去除背景，并对人体图像二值化；为提高解决人体大小对识别的结果影响，分别对X和Y两个轴方向进行投影，并按照特征提取的尺寸对二值图进行宽高比例填充，使图像缩放对人体外形特征不影响；对二值化后的人体分割序列中的每张图像分别进行缩放，缩放完成后，分别对宽和高分别加两个像素为最终输入图像的尺寸，用于提取行人体态特征。进一步说，s7具体是：输入一组或多组固定数量连续人体二值化体态，采用并行卷积神经网络分别提取特征并进行融合生成；输入的体态图像序列被映射成指定长度的一维特征序列。本专利技术的另一方面：提供了一种基于行人体态的跨域多摄像头跟踪装置，包括：多个位置的关联摄像头，每个摄像头能以一定的角度拍摄到行人的侧身；识别区域获取模块，由各摄像头拍摄可视范围内的识别区域；行人检测模块，由各摄像头对识别区域进行行人检测；行人跟踪模块，由各摄像头对所检测到的行人进行跟踪；行人人体序列分割模块，由各摄像头对所跟踪的行人人体序列进行分割；行人人体序列二值化模块，由各摄像头对分割的行人人体序列二值化；行人人体轮廓序列特征提取模块，由各摄像头对二值化后的行人人体轮廓序列进行特征提取；行人体态特征值识别和标定模块，比对各摄像头获取的行人体态特征值并识别和标定行人；其中行人体态特征值识别和标定模块是将每个摄像头所提取的特征都传送到中心云服务器模块，中心云云服务器模块中存储所有摄像头中所抓取的人体体态特征序列以及相应的时间轴，体态特征采用欧式距离算法求出距离，假如距离小于设定的阈值，则认定为同一个行人，并进行标定。进一步说，所述行人检测模块采用基于深度学习端到端的目标检测，并采用TensorRT加速技术实现在监控视频中快速的检测人体位置，并采用矩形框的方式标出行人。进一步说，所述行人跟踪模块采用交并比、局部色彩信息相似、行人语义特征相似度以及行人前序轨迹方向实现行人在当前摄像头内部的跟踪，得到同一行人的矩形框图像序列。进一步说，所述行人人体序列分割模块，采用基于语义的深度学习进行人体分割。进一步说，所述行人人体轮廓序列特征提取模块，输入一组或多组固定数量连续人体二值化体态，采用并行卷积神经网络分别提取特征并进行融合生成；输入的体态图像序列被映射成指定长度的一维特征序列。本专利技术的有益效果：本专利技术通过采用行人体态为基础，通过提取序列人体体态的融合特征，实现监控跨域摄像头内行人的跟踪。该方法除避免现有方法受行人外观因素影响，如衣着颜色、款式、发型等，还不受光照、天气变化、穿着变化等因素影响，提高了在复杂条件和环境下的跟踪能力。附图说明图1为本专利技术的跨域多摄像头行人体态跟踪系统框架图；图2为本专利技术中的一种基于行人体态的跨域多摄像头跟踪处理流程图。具体实施方式为了使本专利技术解决的技术问题、实施方案、优点更加清晰，下面结合系统实例以及上述附图进行详细描述。一种基于行人体态的跨域多摄像头跟踪方法，涉及以下
技术实现思路
：多个位置关联摄像头；人体目标检测；单摄像头内行人跟踪；行人人体序列采集；行人人体序列分割；行人人体序列二值化；二值化行人序列特征本文档来自技高网...

【技术保护点】
1.一种基于行人体态的跨域多摄像头跟踪方法，通过非接触的方式采集行人体态生物特征，实现基于行人体态的跨域多摄像头行人跟踪，其特征在于该方法包括以下步骤：/nS1. 设置多个摄像头，且保证摄像头能以一定的角度拍摄到行人的侧身；/nS2. 各摄像头拍摄可视范围内的识别区域；/nS3. 各摄像头对识别区域进行行人检测；/nS4. 各摄像头对所检测到的行人进行跟踪；/nS5. 各摄像头对所跟踪的行人人体序列进行分割；/nS6. 各摄像头对分割的行人人体序列二值化；/nS7. 各摄像头对二值化后的行人人体轮廓序列进行特征提取；/nS8. 比对各摄像头获取的行人体态特征值并识别和标定行人；/nS9. 重复S2～S8上述步骤完成跨域多摄像头的行人识别；/n其中s8具体是：将每个摄像头所提取的特征都传送到中心云服务器模块，中心云服务器模块中存储所有摄像头中所抓取的人体体态特征序列以及相应的时间轴；体态特征采用欧式距离算法求出距离，假如距离小于设定的阈值，则认定为同一个行人，并进行标定。/n

【技术特征摘要】
1.一种基于行人体态的跨域多摄像头跟踪方法，通过非接触的方式采集行人体态生物特征，实现基于行人体态的跨域多摄像头行人跟踪，其特征在于该方法包括以下步骤：
S1.设置多个摄像头，且保证摄像头能以一定的角度拍摄到行人的侧身；
S2.各摄像头拍摄可视范围内的识别区域；
S3.各摄像头对识别区域进行行人检测；
S4.各摄像头对所检测到的行人进行跟踪；
S5.各摄像头对所跟踪的行人人体序列进行分割；
S6.各摄像头对分割的行人人体序列二值化；
S7.各摄像头对二值化后的行人人体轮廓序列进行特征提取；
S8.比对各摄像头获取的行人体态特征值并识别和标定行人；
S9.重复S2～S8上述步骤完成跨域多摄像头的行人识别；
其中s8具体是：将每个摄像头所提取的特征都传送到中心云服务器模块，中心云服务器模块中存储所有摄像头中所抓取的人体体态特征序列以及相应的时间轴；体态特征采用欧式距离算法求出距离，假如距离小于设定的阈值，则认定为同一个行人，并进行标定。


2.根据权利要求1所述的一种基于行人体态的跨域多摄像头跟踪方法，其特征在于：s3中采用基于深度学习端到端的目标检测，并采用TensorRT加速技术实现在监控视频中快速的检测人体位置，采用矩形框的方式标出行人。


3.根据权利要求1所述的一种基于行人体态的跨域多摄像头跟踪方法，其特征在于：s4中采用交并比、局部色彩信息相似、行人语义特征相似度以及行人前序轨迹方向实现行人在当前摄像头内部的跟踪，得到同一行人的矩形框图像序列。


4.根据权利要求1所述的一种基于行人体态的跨域多摄像头跟踪方法，其特征在于：S5~S6具体是：采用基于语义的深度学习人体分割方法，去除背景，并对人体图像二值化。


5.根据权利要求1所述的一种基于行人体态的跨域多摄像头跟踪方法，其特征在于：s7具体是：输入一组或多组固定数量连续人体二值化体态，采用并行卷积神经网络分别提取特征并进行融合生成，输入的体态图像序列被映射成指定长度的一维特征序列。

...

【专利技术属性】
技术研发人员：叶利华，谢东福，羊海丰，牟森，刘燕，
申请(专利权)人：杭州海宴科技有限公司，
类型：发明
国别省市：浙江;33