基于人口信息库与实名通话记录的团伙及其头目识别方法技术

本发明专利技术公开了一种基于人口信息库与实名通话记录的团伙及团伙头目的识别方法，该方法包括：(1)对监控中的人群场景分析，监控视频中移动的行人和静止人群进行小群体(团伙)分割，确定团伙群体目标；对团伙群体目标进行人脸检测；(2)分别通过确定团伙成员之间的跟随关系、确定人脸方向持续时间进行基于视频信息的团伙头目检测；(3)基于人口信息库，通过深度学习卷积神经网络算法实现人像比对，确定团伙成员身份信息；(4)结合通讯数据库，确定团伙内部实名通话时间及次数记录，以及团伙与外部异常通话时间、次数记录，实现基于通话记录的团伙头目检测；(5)综合分析视频信息及通话记录关系，实现犯罪团伙头目和成员的识别。

Identification method of gang and its head based on population information base and real name call record

The invention discloses a group and group head recognition method based on the population information base and the real name call record. The method includes: (1) the analysis of the crowd scene in the monitoring, the moving pedestrians and the stationary crowd in the video surveillance to divide the small group (Group), determine the group target of the group, and carry out the target of the group group. Face detection; (2) the group head detection based on video information by determining the following relationship among the members of the group and determining the duration of the face direction, and (3) based on the population information base, the image alignment is realized by the depth learning convolution neural network algorithm, and the membership information of the group is determined. (4) combining the communication database, To determine the time and frequency of the real name of the group, as well as the time and the record of the group and external abnormal calls, to realize the group head detection based on the call record; (5) the comprehensive analysis of the relationship between the video information and the call record, so as to realize the recognition of the criminal gang leaders and members.

【技术实现步骤摘要】
基于人口信息库与实名通话记录的团伙及其头目识别方法
本专利技术属于监控视频中人脸识别、移动通信数据挖掘、犯罪地理学
，具体设计是对监控视频人脸识别和实名通话记录数据分析对团伙及团伙头目精确识别的方法。
技术介绍
在当前城市犯罪的案情报告中，团伙性质作案的数目和比例呈现逐年递增趋势，犯罪形势严峻。团伙化犯罪其人数规模大、组织形式多样、危害程度高、团伙抓捕难度大等特点越来越多的构成了对社会公共安全、平安城市的较大威胁。对充分把握破案的主动权，完善犯罪团伙的分析需求不断上升。现阶段，随着监控视频系统的普及，移动通信技术的发展，深度学习卷积神经网络算法在人脸识别等图像处理领域优秀计算能力，大量的监控视频卡口数据、行人轨迹、人口信息数据库、实名通讯数据库等大数据为及时快速的判断犯罪团伙规模、定位和识别犯罪团伙提供了技术契机。
技术实现思路
针对现有技术中存在的(1)理论性强，缺少实际场景的应用；(2)容易造成团伙犯罪的部分团伙成员漏网；(3)未考虑团伙成员频繁联系的潜在犯罪分子；(4)未充分利用人口信息库以及实名通话记录数据库等问题，本专利技术提出了一种针对实际应用监控视频场景下，运用人口信息数据库和通讯数据库等大数据，对团伙及团伙头目进行人脸识别。和现有技术相比，本专利技术根据人口信息库与深度学习卷积神经网络算法识别出来的团伙个人信息，结合通讯数据库的实名通话记录分析，确定团伙关联活动网络，进而实现对犯罪团伙及团伙头目团伙和外部异常成员的精确识别和打击。基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征包括以下步骤：步骤1：对监控中的人群场景分析，监控视频中移动的行人和静止人群进行小群体(团伙)分割，确定团伙群体目标；针对以上两种情况对监控视频的群体进行人脸检测。步骤2：分别通过确定监控视频中移动团伙成员之间的跟随关系、监控视频中静止小群体团伙人脸方向持续时间，进行基于视频信息的团伙头目检测。步骤3：基于人口信息库，通过深度学习卷积神经网络算法实现人像比对，确定团伙成员身份信息。步骤4：结合通讯数据库，确定团伙内部实名通话时间及次数记录，以及团伙与外部异常通话时间、次数记录，实现基于通话记录的团伙头目检测。步骤5：综合分析视频信息及通话记录关系，实现犯罪团伙头目和成员和团伙外部异常成员的识别。进一步地，步骤1包括以下步骤：步骤：1.1：运动小群体KLT特征点：采用Kanade-Lucas-Tomasi(KLT)算法，获得运动小群体特征点的位置，小群体特征点跟踪得到运动轨迹；t时刻对应的某一帧图像F(x,y,t),t+τ时刻对应的图像为G(x,y,t+τ),灰度值平方差和(sumofsquareddifferences,SSD)最小化d:d＝∫∫w·[G(x+d)-F(x)]2dx(1-1)其中，F(x)、G(x+d)代表相邻两帧的关系，w为权值。位移量为每一帧的特征点在空间上的位移步骤1.2：小群体前景提取：使用M个混合高斯模型表征图像的像素点的特征，在下一帧中更新混合高斯模型。通过对比前后两帧像素点和混合高斯模型的匹配度，匹配背景像素点和前景像素点。前景像素点为二进制掩膜，连通区域为Uk，帧图像F由小群体前景块构成的集合UF＝{U1,U2,U3,…,Uk}，表示帧图像F包含的连通的小群体前景块。步骤1.3：按照空间位置对静止小群体划分：通过连通的小群体前景块的边界位置，由其坐标值划分矩形区域，同时获得边界坐标。根据特征点是否在小群体前景块划分特征点位置，在空间上相近的个体划分为同一个小群体。步骤1.4：按照时间顺序在运动小群体划分：特征点运动方向与x轴的夹角α其中，为特征点在x、y轴上的位移；将夹角12等分，确定12个方向，为Ddirc赋值：通过计算帧与帧图像之间特征点的运动关系Ddirc，将小群体块UF再次划分为特征点集UF＝{V}，其中V＝{C1,C2,C3,…,Ck}。此时运动方向一致的特征点被标记为一个群体即分割团伙目标。步骤1.5：使用已训练的基于Haar-like特征的Adaboost人脸检测器模型对小群体(团伙)分割后的行人进行人脸检测。进一步地，步骤2包括以下步骤：步骤2.1：确定运动团伙成员之间的跟随关系：其中，归一化因子dab为团伙成员轨迹上的欧氏距离。步骤2.2：确定静止团伙成员之间的头目-成员关系：其中，n个人中第i个团伙成员面朝目标团伙头目j的最大时间为ti,j。进一步地，上述步骤3包括以下步骤：步骤3.1：将检测到的小群体目标人脸图像和人口信息数据库中图像逐一输入到已训练好的GoogLenet卷积神经网络模型中，通过反向传播迭代产生更新后的卷积神经网络特征；步骤3.2：获取GoogLenet卷积神经网络模型提取的4096维特征，输入到softmax损失层，其中网络中有Loss1、Loss2、Loss3共三个softmax损失函数，假设函数：其中x(i)∈Rn+1,θ为训练好的模型参数，能够最小化代价函数：步骤3.3：采用余弦距离度量方式对特征进行匹配，逐一计算目标图像和人口信息数据库中图像特征之间的余弦距离，将距离从小到大排序，选择排序靠前的一组图像作为识别结果，得到包括小群体团伙头目及团伙成员的个人信息。进一步地，上述步骤4包括以下步骤：步骤4.1：团伙内部实名通话时间及通话次数：根据人口信息库和基于CNN的人像比对获得团伙内部成员身份信息，根据通讯数据库，统计团伙内部头目和成员之间通话时间表示：其中，ti,j为n个小群体团伙中第i个团伙成员和团伙头目j的通话时间，为所有团伙成员和团伙头目通话总时间；为团伙头目所有通话总时间。团伙内部头目和成员之间通话次数，公式如下：其中，n为群体团伙成员总人数；ci,j为第i个团伙成员和团伙头目j的通话次数，为团伙成员和团伙头目通话总次数；为团伙头目所有通话总次数。综合分析团伙内部通话时间、通话次数记录：gi＝max[mt+μ·mc](4-3)其中，μ为团伙内部通话次数的阈值。步骤4.2：团伙同外部成员通话时间及通话次数：对于团伙中每一个成员n，其联系人列表为n1,…,nq，在τ时间节点上的通话时间：其中，n为团伙内部成员总人数,p为团伙外部成员人数；tτ,e,n为第e个团伙外部成员和团伙成员n在τ时间节点上的通话时间；为团伙成员与团伙外部成员在τ时间节点上的通话总时间；为团伙成员和其所有联系人在τ时间节点上的通话总时间。团伙内部成员和团伙外部成员之间在τ时间节点上的通话次数：其中，cτ,e,n为第n个团伙成员和第e个团伙外部成员在τ时间节点上的通话次数，为团伙成员n和总数为p的团伙外部成员在τ时间节点上的通话总次数；为团伙成员n在τ时间节点上所有通话总次数。综合分析团伙内部成员和团伙外部成员通话时间、通话次数记录：eo＝max[et+ω·ec](4-6)其中，ω为团伙内部成员和团伙外部成员在τ时间节点上通话次数的阈值；结合人口信息库和通讯数据库确定团伙外部异常成员名单和个人信息。进一步地，上述步骤5所述包括以下步骤：结合视频信息的团伙头目检测和基于通话时间、通话次数的团伙及团伙头目和外部成员检测分析，确定团伙头目、团伙成员及团伙外部异常成员名单和个人信息，实现对整个团伙的精确识别:p＝α(gi+eo)+β(f+dt)(4-7)。本文档来自技高网...

【技术保护点】
基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征包括以下步骤：步骤1：对监控中的人群场景分析，监控视频中移动的行人和静止人群进行小群体团伙分割，确定团伙群体目标；针对以上两种情况对监控视频的群体进行人脸检测；步骤2：分别通过确定监控视频中移动团伙成员之间的跟随关系、监控视频中静止小群体团伙人脸方向持续时间，进行基于视频信息的团伙头目检测；步骤3：基于人口信息库，通过深度学习卷积神经网络算法实现人像比对，确定团伙成员身份信息；步骤4：结合通讯数据库，确定团伙内部实名通话时间及次数记录，以及团伙与外部异常通话时间、次数记录，实现基于通话记录的团伙头目检测；步骤5：综合分析视频信息及通话记录关系，实现犯罪团伙头目和成员和团伙外部异常成员的识别。

【技术特征摘要】
1.基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征包括以下步骤：步骤1：对监控中的人群场景分析，监控视频中移动的行人和静止人群进行小群体团伙分割，确定团伙群体目标；针对以上两种情况对监控视频的群体进行人脸检测；步骤2：分别通过确定监控视频中移动团伙成员之间的跟随关系、监控视频中静止小群体团伙人脸方向持续时间，进行基于视频信息的团伙头目检测；步骤3：基于人口信息库，通过深度学习卷积神经网络算法实现人像比对，确定团伙成员身份信息；步骤4：结合通讯数据库，确定团伙内部实名通话时间及次数记录，以及团伙与外部异常通话时间、次数记录，实现基于通话记录的团伙头目检测；步骤5：综合分析视频信息及通话记录关系，实现犯罪团伙头目和成员和团伙外部异常成员的识别。2.根据权利要求1所述的基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征在于：上述步骤1中具体步骤如下：步骤：1.1：运动小群体KLT特征点：采用Kanade-Lucas-Tomasi(KLT)算法，获得运动小群体特征点的位置，小群体特征点跟踪得到运动轨迹；t时刻对应的某一帧图像F(x,y,t),t+τ时刻对应的图像为G(x,y,t+τ),灰度值平方差和(sumofsquareddifferences,SSD)最小化d:d＝∫∫w·[G(x+d)-F(x)]2dx(1-1)其中，F(x)、G(x+d)代表相邻两帧的关系，w为权值。位移量为每一帧的特征点在空间上的位移；步骤1.2：小群体前景提取：使用M个混合高斯模型表征图像的像素点的特征，在下一帧中更新混合高斯模型；通过对比前后两帧像素点和混合高斯模型的匹配度，匹配背景像素点和前景像素点；前景像素点为二进制掩膜，连通区域为Uk，帧图像F由小群体前景块构成的集合UF＝{U1,U2,U3,…,Uk}，表示帧图像F包含的连通的小群体前景块；步骤1.3：按照空间位置对静止小群体划分：通过连通的小群体前景块的边界位置，由其坐标值划分矩形区域，同时获得边界坐标；根据特征点是否在小群体前景块划分特征点位置，在空间上相近的个体划分为同一个小群体；步骤1.4：按照时间顺序在运动小群体划分：特征点运动方向与x轴的夹角α其中，为特征点在x、y轴上的位移；将夹角12等分，确定12个方向，为Ddirc赋值：通过计算帧与帧图像之间特征点的运动关系Ddirc，将小群体块UF再次划分为特征点集UF＝{V}，其中V＝{C1,C2,C3,…,Ck}。此时运动方向一致的特征点被标记为一个群体即分割团伙目标；步骤1.5：使用已训练的基于Haar-like特征的Adaboost人脸检测器模型对小群体(团伙)分割后的行人进行人脸检测。3.根据权利要求1所述的基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征在于：上述步骤2中具体步骤如下：步骤2.1：确定运动团伙成员之间的跟随关系：其中，归一化因子dab为团伙成员轨迹上的欧氏距离；步骤2.2：确定静止团伙成员之间的头目-成员关系：其中，n个人中第i个团伙成员面朝目标团伙头目j的最大时间为ti,j。4.根据权利要求1所述的基于人口信息库与实名通话记录的团伙及团伙头目的识别，其特征在于：上述步骤3中具体步骤如下：步骤3.1：将检测到的小群体目标人脸图像和人口信息数据库中图像逐一输入...

【专利技术属性】
技术研发人员：章东平，井长兴，倪佩青，杨力，肖刚，
申请(专利权)人：江西高创保安服务技术有限公司，
类型：发明
国别省市：江西,36