一种智能视频识别系统及其应用技术方案

本发明专利技术公开了一种智能视频识别系统，包括前端接入设备、视频图像智能分析系统、视频大数据分析系统、视频云平台和综合应用系统。本发明专利技术实现了已建摄像机联网，资源整合统一应用，覆盖面广阔，功能丰富，可监控的特征数量多，监控要素全面；同时基于互联网建设视频监控前端，速度快、成本低；选择高价值点位，部署智能前端，实现人、车抓拍与布控报警。

【技术实现步骤摘要】
一种智能视频识别系统及其应用
本专利技术涉及视频监控与处理
，特别涉及一种智能视频识别系统及其应用。
技术介绍
通过建设“平安城市”，公安自建视频监控资源超一百万路，形成对城市主要道路、重点区域、重要场所等重点公共区域的覆盖，在打击犯罪、治安防范、社会管理、服务群众等方面发挥了不可替代的重要作用。但是，总体来看，视频图像建设和联网应用工作还存在许多突出问题：视频图像智能应用服务体系还不健全，新技术跟踪引进和普及应用水平低，视频图像信息汇聚整合和智能分析能力弱，价值挖掘不充分，事中事后传统应用多，事前应用、智能应用少；社会面视频资源百倍于公安自建视频，未联网、应用率低；背街店铺、小街小巷和区楼栋等侵财性案件多发域视频监控覆盖率低。另外，视频图像的识别也是城市视频监控体系建设中的关键一环，目前绝大部分视频内容分析以及人行为的分析任务是由人工进行的，对各类监控视频的监督也主要依赖于人力持续观察。对于海量的视频数据量，通过人力分析所有的视频内容将是不可能完成的任务。同时，人力标记与整合视频数据也难免有疏漏的发生。因此，使用计算机管理技术对视频内容进行自动识别与管理的需求越来越迫切。例如专利CN108182218A公开了一种基于地理信息系统的视频人物识别方法、系统及电子设备。所述方法包括：建立三维空间地理信息大数据服务系统，所述三维空间地理信息大数据服务系统包括目标对象的三维坐标；提取包含可疑目标的图像或/和视频数据，并根据地理信息系统空间分析技术对提取的图像或/和视频数据进行分析，获取可疑目标的地点与分布区域；提取所述可疑目标的三维信息，将提取的三维信息与所述三维空间地理信息大数据服务系统中的三维坐标进行匹配，并将匹配后的三维信息展示在所述可疑目标的地点与分布区域中；获取可疑目标在不同时间段内的地点与分布区域，得到可疑目标的移动轨迹，根据移动轨迹对可疑目标进行识别与跟踪。又如专利CN104751639A公开了一种基于大数据的视频结构化车牌识别系统及方法，该系统包括：网络摄像机模组，包括多个接入网络的网络摄像机，各网络摄像机将拍摄的图像编码成视频流，并将视频流通过网络传输至向大数据处理平台；大数据处理平台，利用分布式资源调度对视频流进行视频解码和分析，并将处理好的车牌信息写入到分布式数据库；分布式数据库，接收大数据处理平台存入的车牌信息，利用分布式数据库存储视频结构化后的车牌信息，本专利技术通过获取视频特征如车牌信息作为结构化数据存入分布式数据库中作为索引可以快速查询到用户需要的数据，可获得更高的用户体验性能。现有的视频识别系统大多功能单一，没有将各种识别要素(例如人脸、车牌、异常行为、行动轨迹等)很好的结合起来，在实际刑案侦查过程中还是需要通过人工在海量的视频数据中提取近视要素进行比对、拼接，工作量十分巨大，应用前景不理想。
技术实现思路
为解决上述技术问题，本专利技术提供了一种智能视频识别系统，包括前端接入设备、视频图像智能分析系统、视频大数据分析系统、视频云平台和综合应用系统，所述前端接入设备包括各类摄像机和视频网关，所述摄像机通过所述视频网关接入所述视频云平台，所述视频云平台包括数据传输模块、数据存储模块、运维模块和权限管理模块，所述数据传输模块用于前端接入设备、视频云平台和移动客户终端之间的视频流数据传输，数据传输模块对视频数据进行信道编码，并通过混合流媒体分发系统多路径同时传输视频数据；所述数据存储模块用于流媒体数据的持续存储；所述运维模块用于中心端服务器的状态监测、前端接入设备的状态监测、日志收集和查询、业务监控；所述权限管理模块用于存储登陆账户及密码，管理各账户的视频查看权限；所述视频图像智能分析系统包括：GIS模块，用于形成监控覆盖区域的电子地图，在所述电子地图上叠加监控点位信息，通过电子地图上的控制点位可实时显示监控的视频信息；人脸结构化数据图像检索模块：用于按照人脸结构化特征以及图像获取信息来检索所需要的视频帧图片；人脸图片搜索模块：用于分析提交给人脸图片搜索模块的人脸图片，查找监控范围内所有时段拍摄到的包含类似人脸的视频，也可以设定搜索范围和时间段进行精确搜索；布控模块：用于存储布控人员照片以及布控车牌号，如果布控人员或车辆再次出现在拍摄范围时，布控模块自动报警；人脸比对模块：用于将拍摄到的人脸或者上传的人脸照片与布控人员照片或存储的照片进行比对，相似度比到达设定阀值时则作为相似照片输出，或者报警处理；人体结构化数据图像检索模块：用于按照人体结构化特征以及图像获取信息来检索所需要的视频帧图片；人体图片搜索模块：用于分析提交给人体图片搜索模块的人体图片，查找监控范围内所有时段拍摄到的包含类似人体的视频，也可以设定搜索范围和时间段进行精确搜索；车辆结构化数据图像检索模块：用于按照车辆的结构化特征以及图像获取信息来检索所需要的视频帧图片；车辆图片搜索模块：用于分析提交给车辆图片搜索模块的车辆图片，查找监控范围内所有时段拍摄到的包含类似车辆的视频，也可以设定搜索范围和时间段进行精确搜索；所述视频大数据分析系统包括人脸识别模组，人体识别模组和车辆识别模组：所述人脸识别模组包括：检测模块，所述检测模块用于在视频流图像中寻找待搜索的人脸，然后返回出相应的结果；预处理模块，所述预处理模块用于对人脸面部关键特征点进行定位，同时基于特征点位置信息进行几何校正，校正样本或图像的姿态，均衡人脸区域的亮度，将人脸中最具区别度的核心部分提取出来；识别模块，基于主成分析法提取人脸的结构化特征，对人脸的结构化特征进行对比；训练模块，将确认身份的几组样本图像投射到特征向量组成的低纬度空间进行训练，对所述主成分析法进行离线训练；所述人体识别模组包括：图像预处理模块，所述图像预处理模块用于图像增强，使得图像具有人类视觉能够感知的相似性或者一致性的颜色模型，具有更加鲜明的颜色信息；特征提取模块，所述特征提取模块采用HSV颜色直方图特征来提取图像中的人体结构化特征；人体再识别模块，所述人体再识别模块用于根据当前识别的已存储的人体图像判断监控摄像头当前采集的视频中人体图像是否匹配；所述车辆识别模组包括：车牌号提取模块，所述车牌号提取模块用于提取车牌的LBP特征，通过低秩纹理变换不变性的牌号倾斜矫正算法以及针对中文牌号的字符分割方法进行车牌号识别；车辆类型识别模块，所述车辆类型识别模块用于识别存储的视频图像或者摄像头实时采集的视频图像中的车辆的颜色和类型；所述综合应用系统包括移动客户终端和情报信息管理系统，所述移动客户终端通过互联网与所述数据传输模块连接，用于群众在一定的权限内访问视频云平台了解视频信息，移动客户终端内内置有一键报警模块，用于上传实时拍摄的照片或视频，并进行报警，用于接收推送的关于社区治安的信息；所述情报信息管理系统的使用权限人群为情报管理人员和社区工作人员，用于统计用户账户数据，用于对通告信息的发布与管理，所述通告信息包括警情信息、社区模范、公安工作信息、案件详情，用于群众上传情报线索的管理，包括分类管理、时间管理、地址管理或者批量删除线索，用于群众信息的管理。进一步地，所述人脸结构化数据图像检索方法为：S11：输入储存的视频或者实时拍摄的视频，对视频进行间隔1～1.5s提取帧，得到n帧图像；S12：按照n帧图本文档来自技高网...

【技术保护点】
1.一种智能视频识别系统，其特征在于，包括前端接入设备、视频图像智能分析系统、视频大数据分析系统、视频云平台和综合应用系统，所述前端接入设备包括各类摄像机和视频网关，所述摄像机通过所述视频网关接入所述视频云平台，所述视频云平台包括数据传输模块、数据存储模块、运维模块和权限管理模块，所述数据传输模块用于前端接入设备、视频云平台和移动客户终端之间的视频流数据传输，数据传输模块对视频数据进行信道编码，并通过混合流媒体分发系统多路径同时传输视频数据；所述数据存储模块用于流媒体数据的持续存储；所述运维模块用于中心端服务器的状态监测、前端接入设备的状态监测、日志收集和查询、业务监控；所述权限管理模块用于存储登陆账户及密码，管理各账户的视频查看权限；所述视频图像智能分析系统包括：GIS模块，用于形成监控覆盖区域的电子地图，在所述电子地图上叠加监控点位信息，通过电子地图上的控制点位可实时显示监控的视频信息；人脸结构化数据图像检索模块：用于按照人脸结构化特征以及图像获取信息来检索所需要的视频帧图片；人脸图片搜索模块：用于分析提交给人脸图片搜索模块的人脸图片，查找监控范围内所有时段拍摄到的包含类似人脸的视频，也可以设定搜索范围和时间段进行精确搜索；布控模块：用于存储布控人员照片以及布控车牌号，如果布控人员或车辆再次出现在拍摄范围时，布控模块自动报警；人脸比对模块：用于将拍摄到的人脸或者上传的人脸照片与布控人员照片或存储的照片进行比对，相似度比到达设定阀值时则作为相似照片输出，或者报警处理；人体结构化数据图像检索模块：用于按照人体结构化特征以及图像获取信息来检索所需要的视频帧图片；人体图片搜索模块：用于分析提交给人体图片搜索模块的人体图片，查找监控范围内所有时段拍摄到的包含类似人体的视频，也可以设定搜索范围和时间段进行精确搜索；车辆结构化数据图像检索模块：用于按照车辆的结构化特征以及图像获取信息来检索所需要的视频帧图片；车辆图片搜索模块：用于分析提交给车辆图片搜索模块的车辆图片，查找监控范围内所有时段拍摄到的包含类似车辆的视频，也可以设定搜索范围和时间段进行精确搜索；所述视频大数据分析系统包括人脸识别模组，人体识别模组和车辆识别模组：所述人脸识别模组包括：检测模块，所述检测模块用于在视频流图像中寻找待搜索的人脸，然后返回出相应的结果；预处理模块，所述预处理模块用于对人脸面部关键特征点进行定位，同时基于特征点位置信息进行几何校正，校正样本或图像的姿态，均衡人脸区域的亮度，将人脸中最具区别度的核心部分提取出来；识别模块，基于主成分析法提取人脸的结构化特征，对人脸的结构化特征进行对比；训练模块，将确认身份的几组样本图像投射到特征向量组成的低纬度空间进行训练，对所述主成分析法进行离线训练；所述人体识别模组包括：图像预处理模块，所述图像预处理模块用于图像增强，使得图像具有人类视觉能够感知的相似性或者一致性的颜色模型，具有更加鲜明的颜色信息；特征提取模块，所述特征提取模块采用HSV颜色直方图特征来提取图像中的人体结构化特征；人体再识别模块，所述人体再识别模块用于根据当前识别的已存储的人体图像判断监控摄像头当前采集的视频中人体图像是否匹配；所述车辆识别模组包括：车牌号提取模块，所述车牌号提取模块用于提取车牌的LBP特征，通过低秩纹理变换不变性的牌号倾斜矫正算法以及针对中文牌号的字符分割方法进行车牌号识别；车辆类型识别模块，所述车辆类型识别模块用于识别存储的视频图像或者摄像头实时采集的视频图像中的车辆的颜色和类型；所述综合应用系统包括移动客户终端和情报信息管理系统，所述移动客户终端通过互联网与所述数据传输模块连接，用于群众在一定的权限内访问视频云平台了解视频信息，移动客户终端内内置有一键报警模块，用于上传实时拍摄的照片或视频，并进行报警，用于接收推送的关于社区治安的信息；所述情报信息管理系统的使用权限人群为情报管理人员和社区工作人员，用于统计用户账户数据，用于对通告信息的发布与管理，所述通告信息包括警情信息、社区模范、公安工作信息、案件详情，用于群众上传情报线索的管理，包括分类管理、时间管理、地址管理或者批量删除线索，用于群众信息的管理。...

【技术特征摘要】
1.一种智能视频识别系统，其特征在于，包括前端接入设备、视频图像智能分析系统、视频大数据分析系统、视频云平台和综合应用系统，所述前端接入设备包括各类摄像机和视频网关，所述摄像机通过所述视频网关接入所述视频云平台，所述视频云平台包括数据传输模块、数据存储模块、运维模块和权限管理模块，所述数据传输模块用于前端接入设备、视频云平台和移动客户终端之间的视频流数据传输，数据传输模块对视频数据进行信道编码，并通过混合流媒体分发系统多路径同时传输视频数据；所述数据存储模块用于流媒体数据的持续存储；所述运维模块用于中心端服务器的状态监测、前端接入设备的状态监测、日志收集和查询、业务监控；所述权限管理模块用于存储登陆账户及密码，管理各账户的视频查看权限；所述视频图像智能分析系统包括：GIS模块，用于形成监控覆盖区域的电子地图，在所述电子地图上叠加监控点位信息，通过电子地图上的控制点位可实时显示监控的视频信息；人脸结构化数据图像检索模块：用于按照人脸结构化特征以及图像获取信息来检索所需要的视频帧图片；人脸图片搜索模块：用于分析提交给人脸图片搜索模块的人脸图片，查找监控范围内所有时段拍摄到的包含类似人脸的视频，也可以设定搜索范围和时间段进行精确搜索；布控模块：用于存储布控人员照片以及布控车牌号，如果布控人员或车辆再次出现在拍摄范围时，布控模块自动报警；人脸比对模块：用于将拍摄到的人脸或者上传的人脸照片与布控人员照片或存储的照片进行比对，相似度比到达设定阀值时则作为相似照片输出，或者报警处理；人体结构化数据图像检索模块：用于按照人体结构化特征以及图像获取信息来检索所需要的视频帧图片；人体图片搜索模块：用于分析提交给人体图片搜索模块的人体图片，查找监控范围内所有时段拍摄到的包含类似人体的视频，也可以设定搜索范围和时间段进行精确搜索；车辆结构化数据图像检索模块：用于按照车辆的结构化特征以及图像获取信息来检索所需要的视频帧图片；车辆图片搜索模块：用于分析提交给车辆图片搜索模块的车辆图片，查找监控范围内所有时段拍摄到的包含类似车辆的视频，也可以设定搜索范围和时间段进行精确搜索；所述视频大数据分析系统包括人脸识别模组，人体识别模组和车辆识别模组：所述人脸识别模组包括：检测模块，所述检测模块用于在视频流图像中寻找待搜索的人脸，然后返回出相应的结果；预处理模块，所述预处理模块用于对人脸面部关键特征点进行定位，同时基于特征点位置信息进行几何校正，校正样本或图像的姿态，均衡人脸区域的亮度，将人脸中最具区别度的核心部分提取出来；识别模块，基于主成分析法提取人脸的结构化特征，对人脸的结构化特征进行对比；训练模块，将确认身份的几组样本图像投射到特征向量组成的低纬度空间进行训练，对所述主成分析法进行离线训练；所述人体识别模组包括：图像预处理模块，所述图像预处理模块用于图像增强，使得图像具有人类视觉能够感知的相似性或者一致性的颜色模型，具有更加鲜明的颜色信息；特征提取模块，所述特征提取模块采用HSV颜色直方图特征来提取图像中的人体结构化特征；人体再识别模块，所述人体再识别模块用于根据当前识别的已存储的人体图像判断监控摄像头当前采集的视频中人体图像是否匹配；所述车辆识别模组包括：车牌号提取模块，所述车牌号提取模块用于提取车牌的LBP特征，通过低秩纹理变换不变性的牌号倾斜矫正算法以及针对中文牌号的字符分割方法进行车牌号识别；车辆类型识别模块，所述车辆类型识别模块用于识别存储的视频图像或者摄像头实时采集的视频图像中的车辆的颜色和类型；所述综合应用系统包括移动客户终端和情报信息管理系统，所述移动客户终端通过互联网与所述数据传输模块连接，用于群众在一定的权限内访问视频云平台了解视频信息，移动客户终端内内置有一键报警模块，用于上传实时拍摄的照片或视频，并进行报警，用于接收推送的关于社区治安的信息；所述情报信息管理系统的使用权限人群为情报管理人员和社区工作人员，用于统计用户账户数据，用于对通告信息的发布与管理，所述通告信息包括警情信息、社区模范、公安工作信息、案件详情，用于...

【专利技术属性】
技术研发人员：朱杰，
申请(专利权)人：江西省云眼大视界科技有限公司，
类型：发明
国别省市：江西,36