监控视频人脸识别OSD的显示方法及装置制造方法及图纸

本发明专利技术实施例提供一种监控视频人脸识别OSD的显示方法及装置，所述方法包括：通过flash插件与流媒体服务器建立数据通道，通过数据通道从流媒体服务器获取监控视频流数据和人脸识别OSD数据；将监控视频流数据实时转码成flv格式的视频数据后缓存至视频缓冲池中，将人脸识别OSD数据存储至OSD缓冲池中；当视频缓冲池满时，对视频数据进行解码和渲染，同时从OSD缓冲池中获取与当前渲染的视频帧图像相匹配的人脸识别OSD数据，并将与当前渲染的视频帧图像相匹配的人脸识别OSD数据绘制成图像后叠加在当前渲染的视频帧图像上。本发明专利技术实施例实现了监控视频播放时同步叠加显示人脸识别OSD，可跨浏览器运行。

OSD Display Method and Device for Face Recognition in Monitoring Video

The embodiment of the present invention provides a display method and device for OSD of surveillance video face recognition. The method includes: establishing data channel between flash plug-in and streaming media server, obtaining surveillance video stream data and face recognition OSD data from streaming media server through data channel, and converting surveillance video stream data into FLV format video data in real time and caching them into video buffer pool. Face recognition OSD data is stored in the OSD buffer pool. When the video buffer pool is full, the video data is decoded and rendered. At the same time, the OSD data matching the current rendered video frame image is obtained from the OSD buffer pool, and the OSD data matching the current rendered video frame image is drawn into an image and superimposed on the current rendered video frame image. Like above. The embodiment of the invention realizes the synchronous superimposition display of face recognition OSD for monitoring video playback, and can run across browsers.

【技术实现步骤摘要】
监控视频人脸识别OSD的显示方法及装置
本专利技术实施例涉及视频监控
，更具体地，涉及一种监控视频人脸识别OSD的显示方法及装置。
技术介绍
在传统的视频监控环境下，监控管理人员往往要对监控视频画面中搜索出的人脸进行仔细观察并与嫌疑犯人的图片进行比对，一旦需要关注的前端视频画面或嫌疑人过多，将十分耗费人的精力。随着人工智能和计算机图像技术的飞速发展，实时人脸检测和识别技术不断取得新的发展，这些技术在一定程度上能够替代管理人员对监控画面中出现的人脸自动进行检测、识别。视频监控的应用中通常会在视频监控画面中嵌入OSD(OnScreenDisplay，在屏显示)信息，通过OSD数据，可以使该视频的观看者直观地了解视频序列中记录的事件发生的时间和地点信息，记录这些信息极大的方便了对图像序列的辨识和图像内容的分析。当然OSD数据不局限于事件发生的时间和地点信息，还可以是业务场景需要的信息，例如，人脸识别OSD数据，包含视频帧图像中的人脸出现的位置信息和时间戳信息。目前在浏览器里显示监控视频以及人脸识别OSD数据的方法是在网页中安装OCX插件(OLEControleXtension，对象类别扩充组件)，通过OCX插件播放视频流并显示人脸识别OSD数据。但是，OCX插件推广度低，在播放时，用户需要下载OCX插件，然后在浏览器中安装，而且在安装过程中需要进行验证，容易被安全软件拦截，甚至由于兼容性问题，可能引起注册模块调用失败等错误，导致安装失败，操作十分繁琐，而且只支持IE浏览器，chrome、firefox等浏览器均不能支持，限制了监控视频人脸识别OSD显示的应用。
技术实现思路
本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的一种监控视频人脸识别OSD的显示方法及装置。第一方面，本专利技术实施例提供一种监控视频人脸识别OSD的显示方法，包括：通过flash插件与流媒体服务器建立数据通道，通过所述数据通道从所述流媒体服务器获取监控视频流数据和人脸识别OSD数据；通过flash插件将所述监控视频流数据实时转码成flv格式的视频数据后缓存至视频缓冲池中，将所述人脸识别OSD数据存储至OSD缓冲池中；当所述视频缓冲池满时，通过flash插件对所述视频数据进行解码和渲染，同时从所述OSD缓冲池中筛选出与当前渲染的视频帧图像相匹配的人脸识别OSD数据，并将所述与当前渲染的视频帧图像相匹配的人脸识别OSD数据绘制成图像后叠加在所述当前渲染的视频帧图像上；其中，所述人脸识别OSD数据携带有人脸相关的坐标信息和时间戳。第二方面，本专利技术实施例提供一种监控视频人脸识别OSD的显示装置，包括：数据获取模块，用于通过flash插件与流媒体服务器建立数据通道，通过所述数据通道从所述流媒体服务器获取监控视频流数据和人脸识别OSD数据；数据缓冲模块，用于通过flash插件将所述监控视频流数据实时转码成flv格式的视频数据后缓存至视频缓冲池中，将所述人脸识别OSD数据存储至OSD缓冲池中；OSD显示模块，用于当所述视频缓冲池满时，通过flash插件对所述视频数据进行解码和渲染，同时从所述OSD缓冲池中筛选出与当前渲染的视频帧图像相匹配的人脸识别OSD数据，并将所述与当前渲染的视频帧图像相匹配的人脸识别OSD数据绘制成图像后叠加在所述当前渲染的视频帧图像上；其中，所述人脸识别OSD数据携带有人脸相关的坐标信息和时间戳。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的监控视频人脸识别OSD的显示方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的监控视频人脸识别OSD的显示方法的步骤。本专利技术实施例提供的监控视频人脸识别OSD的显示方法及装置，使用flash插件实现了监控视频播放以及人脸识别OSD叠加，客户端无须安装OCX插件，且由于flash插件兼容性高，可跨浏览器运行，有益于监控视频人脸识别OSD显示的应用和推广。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的监控视频人脸识别OSD的显示方法的流程示意图；图2为本专利技术实施例提供的监控视频人脸识别OSD的显示装置的结构示意图；图3为本专利技术实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了克服现有使用OCX插件进行监控视频播放和人脸识别OSD数据显示所存在的问题，本专利技术实施例提供了一种监控视频人脸识别OSD的显示方法，其专利技术构思为：为了将对监控视频进行实时人脸检测和识别的结果至视频播放端实时显示，现有技术采用在客户端浏览器中安装OCX插件，通过OCX插件播放视频流并显示人脸识别的OSD数据。但是OCX插件安装过程繁琐，后期维护成本高，只支持部分浏览器，考虑到flash插件是在大多数的用户终端的浏览器中已安装，且可兼容各种类型的浏览器，故本专利技术实施例利用flash插件代替OCX插件实现监控视频播放以及人脸识别OSD数据的显示。图1为本专利技术实施例提供的监控视频人脸识别OSD的显示方法的流程示意图，如图1所示，该方法的执行主体为安装了flash插件的用户终端，包括浏览器中安装了flash插件的移动终端或计算机等，该方法包括：步骤10、通过flash插件与流媒体服务器建立数据通道，通过所述数据通道从所述流媒体服务器获取监控视频流数据和人脸识别OSD数据。具体地，流媒体服务器是指存储有监控视频的后台服务器，flash插件采用flashsocket方式与流媒体服务器建立通信，flash插件与流媒体服务器建立数据通道后，通过该数据通道向流媒体服务器发送视频数据请求以获取监控视频流数据，与现有技术不同的是，本专利技术实施例中flash插件在获取监控视频流数据的同时也获取与该监控视频流数据相关联的人脸识别OSD数据。在一个实施例中，flash插件通过socket协议从流媒体服务器获取到经过封装的数据包后，对数据包进行解析和重新组包，从中提取出监控视频流数据和人脸识别OSD数据。人脸识别OSD数据是在视频源端将监控视频上传至流媒体服务器时通过人脸检测和识别算法获取到的，在本专利技术实施例中人脸识别OSD数据已经预先存储在流媒体服务器中。所述人脸识别OSD数据携带有人脸相关的坐标信息和时间戳。人脸相关的坐标信息是指视频帧图像画面中出现的人脸在该帧画面中所对应的位置信息，时间戳是指视频帧图像画面中人脸出现的时刻信息。步骤20、通过flash插件将所述监控视频流数据实时转码成flv格式的视频本文档来自技高网...

【技术保护点】
1.一种监控视频人脸识别OSD的显示方法，其特征在于，包括：通过flash插件与流媒体服务器建立数据通道，通过所述数据通道从所述流媒体服务器获取监控视频流数据和人脸识别OSD数据；通过flash插件将所述监控视频流数据实时转码成flv格式的视频数据后缓存至视频缓冲池中，将所述人脸识别OSD数据存储至OSD缓冲池中；当所述视频缓冲池满时，通过flash插件对所述视频数据进行解码和渲染，同时从所述OSD缓冲池中筛选出与当前渲染的视频帧图像相匹配的人脸识别OSD数据，并将所述与当前渲染的视频帧图像相匹配的人脸识别OSD数据绘制成图像后叠加在所述当前渲染的视频帧图像上；其中，所述人脸识别OSD数据携带有人脸相关的坐标信息和时间戳。

【技术特征摘要】
1.一种监控视频人脸识别OSD的显示方法，其特征在于，包括：通过flash插件与流媒体服务器建立数据通道，通过所述数据通道从所述流媒体服务器获取监控视频流数据和人脸识别OSD数据；通过flash插件将所述监控视频流数据实时转码成flv格式的视频数据后缓存至视频缓冲池中，将所述人脸识别OSD数据存储至OSD缓冲池中；当所述视频缓冲池满时，通过flash插件对所述视频数据进行解码和渲染，同时从所述OSD缓冲池中筛选出与当前渲染的视频帧图像相匹配的人脸识别OSD数据，并将所述与当前渲染的视频帧图像相匹配的人脸识别OSD数据绘制成图像后叠加在所述当前渲染的视频帧图像上；其中，所述人脸识别OSD数据携带有人脸相关的坐标信息和时间戳。2.根据权利要求1所述的方法，其特征在于，所述通过所述数据通道从所述流媒体服务器获取监控视频流数据和人脸识别OSD数据的步骤，具体为：通过所述数据通道从所述流媒体服务器获取消息数据包；对所述消息数据包进行重新组包，获得完整的消息数据包；从所述完整的消息数据包中分别提取监控视频流数据和人脸识别OSD数据。3.根据权利要求1所述的方法，其特征在于，所述从所述OSD缓冲池中筛选出与当前渲染的视频帧图像相匹配的人脸识别OSD数据，并将所述与当前渲染的视频帧图像相匹配的人脸识别OSD数据绘制成图像后叠加在所述当前渲染的视频帧图像上的步骤，具体为：每隔预设时间将所述当前渲染的视频帧图像的时间戳与所述OSD缓冲池中各人脸识别OSD数据的时间戳进行比对；若存在时间戳与所述当前渲染的视频帧图像的时间戳相等的人脸识别OSD数据，则获得与当前渲染的视频帧图像相匹配的人脸识别OSD数据；根据所述人脸识别OSD数据中携带的坐标信息，在所述当前渲染的视频帧图像上相应位置处叠加绘制人脸框和眼睛。4.根据权利要求2所述的方法，其特征在于，所述从所述完整的消息数据包中分别提取监控视频流数据和人脸识别OSD数据包括：对所述完整的消息数据包进行解析，根据所述完整的消息数据包的消息标签对H.264视频流数据和人脸识别OSD数据进行区分，并分别提取所述H.264视频流数据和人脸识别OSD数据。5.一种监控视频人脸识别OSD的显示装置，其特征在于，包括：数据获取...

【专利技术属性】
技术研发人员：张建荣，石峰，
申请(专利权)人：北京东方国信科技股份有限公司，
类型：发明
国别省市：北京,11