一种基于多目标库图像识别的视频共享系统技术方案

本发明专利技术公开了一种基于多目标库图像识别的视频共享系统，其中系统包括图像识别应用模块、图像识别管理平台模块、消息中间件模块、数据库模块、内存数据库模块、终端视频分析仪模块。系统支持多目标库设置，支持同一个目标对象在多个目标库中同时存在，每个图像识别应用可单独设置自己的目标库，所述目标库是目标对象组成的集合，目标对象即特定的摄像机要监控的对象；所述系统不限制图像识别应用的数量，可以实现动态的图像识别应用注册，按需共享视频资源，并且支持图像识别匹配命中和未匹配命中的统一结果格式以及每个图像识别应用的图像识别结果数据的隔离存储。

A video sharing system based on Multi-target Image Recognition

【技术实现步骤摘要】
一种基于多目标库图像识别的视频共享系统
本专利技术涉及一种基于多目标库图像识别的视频共享系统。
技术介绍
图像识别是计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。识别过程包括图像预处理、图像分割、特征提取和判断匹配。简单来说，图像识别就是计算机如何像人一样读懂图片的内容。借助图像识别技术，不仅可以通过图片搜索更快的获取信息，还可以产生一种新的与外部世界交互的方式，甚至会让外部世界更加智能的运行。图像识别中，应用比较广泛的是人脸识别，人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸识别采用深度学习技术，依据多层神经网络模型，对千万张人脸图片进行样本训练，最终学习出人脸检测、特征计算等人脸识别相关的模型，用于人脸图像的智能身份识别。人脸识别广泛应用于实时视频流的智能分析中，用于对人进行无感知抓拍、自动识别身份，进而应用于门禁、考勤、签到、身份核验、轨迹分析等各种各样业务场景。因此，人脸识别系统通常是指通过摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，包括人脸图像采集、人脸定位、人脸特征点提取、人脸聚类、人脸比对等达到识别不同人身份的目的，是一种非接触式、非配合式，具有友好性的动态人脸识别系统。目前主流的图像识别系统架构图如图1所示，图像识别管理平台用于根据图像识别应用的需求管理识别目标对象、目标库，以及目标库与终端视频分析仪的对应关系，同时借助消息中间件进行数据的缓存，借助数据库进行数据的持久化存储；终端视频分析仪用于获取摄像机的视频流进行图像识别，并将识别的结果上报图像识别管理平台；摄像机用于实时采集监控视频流，可以是网络摄像机，也可以是集成在终端设备中的摄像头；图像识别应用从图像识别管理平台获取识别结果数据进行分析、统计、可视化展示等。以下描述现有技术的缺点：(1)图像识别进行目标匹配时，不支持多目标库由于图像识别管理平台仅承担管理的职责，不参与图像识别相关的任何计算，因此它需要将目标对象的照片下发到终端视频分析仪中进行处理，尽管图像识别管理平台具备管理多目标库的能力，但是最终下发给终端视频分析仪的全部是目标对象照片，如果有多个目标库对应同一个终端视频分析仪，那么最终这些目标库中的目标对象会合并到一起，这也就意味着，终端视频分析仪始终只有一个目标库，而图像识别管理平台中的白名单库和黑名单库，最终将以对象标签的形式转移到目标对象上，因此尽管支持白名单和黑名单识别，但本质上，它们仍处于一个目标库中，只能匹配一次，无法支持多目标库的个性化识别需求；(2)图像识别进行目标匹配时，同一时间只能为其中一个应用服务由于不同的图像识别应用要监控的目标对象不一样，因此它们需要各自独立的与终端视频分析仪进行关联，但由于现在终端视频分析仪只支持一个目标库，当多个应用下发目标对象时，这些对象会汇总到一起，导致所有的应用无法正常工作，因此同一时刻只能为其中一个应用服务，如果要切换为其它应用服务，必须先清空上一个应用下发的目标对象，然后下发当前应用的目标对象，无法实现同一路视频的多应用共享，只能通过为每个应用单独分配一个终端视频分析仪来解决，十分浪费资源；(3)图像识别的结果与应用孤立由于图像管理平台收到识别结果后，进行持久化存储，需要图像识别应用主动取数据进行处理，一方面，应用的配置可能发生变化，取到的数据并非完全是历史数据，另一方面，存储的是基础公共数据，未与应用的业务建立关联，因此应用每次分析数据时都要进行相应的数据转化和扩展，影响性能；除此以外，应用若未及时取走数据，则可能发生数据丢失，而且应用无法按需订阅自己的数据。
技术实现思路
专利技术目的：为解决
技术介绍
中存在的技术问题，本专利技术提出一种基于多目标库图像识别的视频共享系统，所述系统能实现单路视频在进行图像识别分析时，同时支持多个目标库的图像匹配；进一步的通过为每个图像识别应用单独配置目标库，实现多个应用同时共享同一路视频，并且每个应用的图像识别结果可以由应用本身按需订阅和存储。所述目标库是目标对象组成的集合，目标对象即特定的摄像机要监控的对象。技术方案：本专利技术提供了一种基于多目标库图像识别的视频共享系统，包括数据库模块、消息中间件模块、图像识别应用模块、图像识别管理平台模块、内存数据库模块和终端视频分析仪模块；所述数据库模块，用于持久化存储图像识别的结果；所述消息中间件模块，用于临时缓存实时的图像识别结果；所述图像识别应用模块，用于调用图像识别管理平台模块的接口配置目标库列表、每个目标库中的目标对象、每个目标库对应的监控摄像机，以及通过图像识别管理平台模块，从消息中间件模块获取实时图像识别结果，从数据库模块获取历史图像识别结果；所述图像识别管理平台模块，用于管理所有的识别对象(包括计算识别对象的照片的特征值)、目标库、目标对象、目标库与摄像机的对应关系信息，并将这些信息同步到内存数据库模块，同时从数据库模块和消息中间件模块获取图像识别结果为上层应用提供数据查询服务；所述识别对象是所有要通过图像识别进行身份识别的对象，目标库是目标对象组成的集合，目标对象即特定的摄像机要监控的识别对象；所述内存数据库模块用于缓存图像识别管理平台对于终端视频分析仪模块的配置，所述配置包括识别对象、目标库、目标对象和摄像机布控，摄像机布控即目标库与摄像机的对应关系；所述终端视频分析仪模块包括终端视频分析仪，用于处理视频流，提取视频中的图像后，与目标库中的目标图像进行比对，并将比对的结果分别存入数据库模块和消息中间件模块。所述图像识别管理平台模块还用于上传图像，具体包括如下步骤：步骤a1，用户上传识别对象信息；步骤a2，创建识别对象信息表；步骤a3，用户上传识别对象照片，照片名称与识别对象编号对应，更新识别对象信息表照片url列；步骤a4，根据国际标准UUID算法计算识别对象照片的唯一标识码，更新识别对象信息表对象唯一标识码列；步骤a5，将照片送入国际开源的mxnet图像识别模型，由模型计算出特征值，更新识别对象信息表特征值列。所述终端视频分析仪模块采用定时更新配置的方式，即定时检查内存数据库中的配置更新，如果有更新，则加载到本地的内存中，所有的图像搜索匹配操作都是在本地内存中进行，具体包括如下步骤：步骤b1，获取摄像机抓拍图片、摄像机id；步骤b2，判断内存中的配置是否到期，如果到期，转步骤b3，否则转步骤b5；步骤b3，检查内存数据库中的配置是否有更新，如果有，转步骤b4，否则转步骤b5；步骤b4，更新本地内存中的配置，使其与内存数据库中的配置信息一致；步骤b5，更新配置结束。所述图像识别应用模块只有向所述图像识别管理平台模块注册以后，才能有权限访问图像识别管理平台模块；注册以后，图像识别管理平台模块会给图像识别应用模块分配一个应用id，后续图像识别应用模块访问图像识别管理平本文档来自技高网...

【技术保护点】
1.一种基于多目标库图像识别的视频共享系统，其特征在于，包括数据库模块、消息中间件模块、图像识别应用模块、图像识别管理平台模块、内存数据库模块和终端视频分析仪模块；/n所述数据库模块，用于持久化存储图像识别的结果；/n所述消息中间件模块，用于临时缓存实时的图像识别结果；/n所述图像识别应用模块，用于调用图像识别管理平台模块的接口配置目标库列表、每个目标库中的目标对象、每个目标库对应的监控摄像机，以及通过图像识别管理平台模块，从消息中间件模块获取实时图像识别结果，从数据库模块获取历史图像识别结果；/n所述图像识别管理平台模块，用于管理所有的识别对象、目标库、目标对象、目标库与摄像机的对应关系信息，并将这些信息同步到内存数据库模块，同时从数据库模块和消息中间件模块获取图像识别结果为上层应用提供数据查询服务；所述识别对象是所有要通过图像识别进行身份识别的对象，目标库是目标对象组成的集合，目标对象即特定的摄像机要监控的识别对象；/n所述内存数据库模块用于缓存图像识别管理平台对于终端视频分析仪模块的配置，所述配置包括识别对象、目标库、目标对象和摄像机布控，摄像机布控即目标库与摄像机的对应关系；/n所述终端视频分析仪模块包括终端视频分析仪，用于处理视频流，提取视频中的图像后，与目标库中的目标图像进行比对，并将比对的结果分别存入数据库模块和消息中间件模块。/n...

【技术特征摘要】
1.一种基于多目标库图像识别的视频共享系统，其特征在于，包括数据库模块、消息中间件模块、图像识别应用模块、图像识别管理平台模块、内存数据库模块和终端视频分析仪模块；
所述数据库模块，用于持久化存储图像识别的结果；
所述消息中间件模块，用于临时缓存实时的图像识别结果；
所述图像识别应用模块，用于调用图像识别管理平台模块的接口配置目标库列表、每个目标库中的目标对象、每个目标库对应的监控摄像机，以及通过图像识别管理平台模块，从消息中间件模块获取实时图像识别结果，从数据库模块获取历史图像识别结果；
所述图像识别管理平台模块，用于管理所有的识别对象、目标库、目标对象、目标库与摄像机的对应关系信息，并将这些信息同步到内存数据库模块，同时从数据库模块和消息中间件模块获取图像识别结果为上层应用提供数据查询服务；所述识别对象是所有要通过图像识别进行身份识别的对象，目标库是目标对象组成的集合，目标对象即特定的摄像机要监控的识别对象；
所述内存数据库模块用于缓存图像识别管理平台对于终端视频分析仪模块的配置，所述配置包括识别对象、目标库、目标对象和摄像机布控，摄像机布控即目标库与摄像机的对应关系；
所述终端视频分析仪模块包括终端视频分析仪，用于处理视频流，提取视频中的图像后，与目标库中的目标图像进行比对，并将比对的结果分别存入数据库模块和消息中间件模块。


2.根据权利要求1所述的系统，其特征在于，所述图像识别管理平台模块还用于上传图像，具体包括如下步骤：
步骤a1，用户上传识别对象信息；
步骤a2，创建识别对象信息表；
步骤a3，用户上传识别对象照片，照片名称与识别对象编号对应，更新识别对象信息表照片url列；
步骤a4，根据国际标准UUID算法计算识别对象照片的唯一标识码，更新识别对象信息表对象唯一标识码列；
步骤a5，将照片送入图像识别模型，由模型计算出特征值，更新识别对象信息表特征值列。


3.根据权利要求2所述的系统，其特征在于，所述终端视频分析仪模块采用定时更新配置的方式，即定时检查内存数据库中的配置更新，如果有更新，则加载到本地的内存中，所有的图像搜索匹配操作都是在本地内存中进行，具体包括如下步骤：
步骤b1，获取摄像机抓拍图片、摄像机id；
步骤b2，判断内存中的配置是否到期，如果到期，转步骤b3，否则转步骤b5；
步骤b3，检查内存数据库中的配置是否有更新，如果有，转步骤b4，否则转步骤b5；
步骤b4，更新本地内存中的配置，使其与内存数据库中的配置信息一致；
步骤b5，更新配置结束。


4.根据权利要...

【专利技术属性】
技术研发人员：朱晨鸣，周斌，张家健，万修远，王佳晓，沈火林，周卫东，且昂，
申请(专利权)人：中通服咨询设计研究院有限公司，
类型：发明
国别省市：江苏;32