【技术实现步骤摘要】
本专利技术属于音视频检测领域，具体涉及一种集成视觉感知检测结果的音视频传输方法及装置。
技术介绍
1、当需要对视频进行视觉识别(例如对视频中的人脸进行识别)操作时，需要部署专门的视频检测算法系统，与视频服务进行配合，由视频检测算法系统对视频流进行分析检测，计算出检测结果，然后由显示系统在播放视频时，将检测结果以画框等方式在视频中同步展示出来。
2、常规视频检测算法系统和视频服务是相对独立的系统，算法系统通过提供json格式的数据包给后端视频服务，后端视频服务再提供算法的结果给前端视频服务，因此前端视频服务接收到的数据具有较大的时延。前端视频服务显示后端视频服务视频检测历史文件或者实时视频都会出现时间无法同步的问题，算法检测结果跟视频的帧之间无法精确融合显示。
技术实现思路
1、本专利技术的目的在于克服现有技术前端视频服务显示后端视频服务视频检测历史文件或者实时视频会出现时间无法同步的缺陷。
2、为了实现上述目的，本专利技术提出了一种集成视觉感知检测结果的音视频传输方法，所述方法包括：
3、步骤1：获取视频流，为视频流加入时间戳信息；
4、步骤2：解码视频流，得到视频帧，对视频帧进行算法检测得到算法结果；
5、步骤3：合并处理视频流和算法结果。
6、作为上述方法的一种改进，所述算法检测的输入数据包括帧图像的长宽、占用内存大小、通道数和时间戳，以及ipc摄像机信息；执行算法检测后，将检测框信息编码为检测框在图像中的
7、作为上述方法的一种改进，所述步骤3包括：
8、步骤3a：录制检测结果和视频流；录制时，根据时间戳信息保证视频和算法结果的同步性；和/或
9、步骤3b：响应前端应用请求，对检测结果和视频流进行实时画框播放；播放时，根据时间戳信息保证视频和算法结果的同步性。
10、本专利技术还提供一种集成视觉感知检测结果的音视频传输装置，所述装置包括视频服务系统和算法系统；其中，
11、所述视频服务系统，用于获取视频流，对视频流加入时间戳信息，将带时间戳的视频流发送给算法系统；对视频流和算法结果进行合并处理，包括录制和实时播放；
12、所述算法系统，用于对视频流进行解码，生成视频帧，对视频帧进行算法检测，生成算法结果，并将算法结果发送给视频服务系统。
13、作为上述装置的一种改进，所述视频服务系统包括流媒体服务模块、视频及算法结果录制模块和多路复用rtsp client模块；其中，
14、所述多路复用rtsp client模块，用于获取视频流，对视频流加入时间戳信息，将带时间戳的视频流发送给算法系统、流媒体服务模块和视频及算法结果录制模块；
15、所述视频及算法结果录制模块，由算法系统调用，用于启动或停止录制视频；录制时，根据时间戳信息保证视频和算法结果的同步性；
16、所述流媒体服务模块，用于提供历史视频和实时视频流访问，流媒体中以字幕流的形式提供算法结果信息的下发；提供实时视频流时根据时间戳信息保证视频和算法结果的同步性。
17、作为上述装置的一种改进，所述算法系统包括：视频解码模块、算法检测模块和视频检测结果推送模块；其中，
18、所述视频解码模块，用于通过视频服务系统获取视频流，解码视频，提供视频回调接口给算法系统，回调参数包括视频帧数据和视频帧对应的时间戳；
19、所述算法检测模块，用于接收视频解码模块发送的视频数据，对视频进行检测，输出带有视频帧对应时间戳的检测结果并发送给视频检测结果推送模块；
20、所述视频检测结果推送模块，用于把带有视频帧对应时间戳的视频检测结果推送给视频服务系统。
21、作为上述装置的一种改进，所述算法检测模块从视频解码模块获取数据包括帧图像的长宽、占用内存大小、通道数和时间戳，以及ipc摄像机信息；执行算法检测后，将检测框信息编码为检测框在图像中的像素位置和检测框所指向的检测目标，连同ipc摄像机信息、时间戳、本次检测耗时以及当前系统时间，打包为json数据发给检测结果推送模块。
22、作为上述装置的一种改进，所述json数据包括：摄像头id号、时间戳、处理耗时、检测事件集和区域集；
23、所述检测事件集包括多个检测事件，每个检测事件包括事件属性、渲染属性和聚焦区域；聚焦区域为一个检测框的数组，每个检测框表示为左上像素坐标和右下像素坐标的集合；
24、所述区域集包括多个区域，每个区域包括区域属性、渲染属性和区域点坐标；其中区域点坐标是包含多个坐标的数组，表示这一坐标数组所囊括的多边形区域。
25、作为上述装置的一种改进，所述算法系统部署在后端服务器中，或者部署在前端边缘计算节点上，或者部署在摄像头板卡内部。
26、与现有技术相比，本专利技术的优势在于：
27、1、本专利技术解决了前端视频服务显示后端视频服务视频检测历史文件或者实时视频都会出现时间无法同步的问题，算法检测结果跟视频的帧之间能够精确融合显示；
28、2、本专利技术的算法系统部署灵活，可以部署在后端服务器上，也可以部署在前端边缘计算节点或者摄像头板卡内部。
本文档来自技高网...【技术保护点】
1.一种集成视觉感知检测结果的音视频传输方法，所述方法包括：
2.根据权利要求1所述的集成视觉感知检测结果的音视频传输方法，其特征在于，所述算法检测的输入数据包括帧图像的长宽、占用内存大小、通道数和时间戳，以及IPC摄像机信息；执行算法检测后，将检测框信息编码为检测框在图像中的像素位置和检测框所指向的检测目标，连同IPC摄像机信息、时间戳、本次检测耗时以及当前系统时间，打包为JSON数据，作为算法结果。
3.根据权利要求1所述的集成视觉感知检测结果的音视频传输方法，其特征在于，所述步骤3包括：
4.一种集成视觉感知检测结果的音视频传输装置，所述装置包括视频服务系统和算法系统；其中，
5.根据权利要求4所述的集成视觉感知检测结果的音视频传输装置，其特征在于，所述视频服务系统包括流媒体服务模块、视频及算法结果录制模块和多路复用RTSP Client模块；其中，
6.根据权利要求4所述的集成视觉感知检测结果的音视频传输装置，其特征在于，所述算法系统包括：视频解码模块、算法检测模块和视频检测结果推送模块；其中，
7.
8.根据权利要求7所述的集成视觉感知检测结果的音视频传输装置，其特征在于，所述JSON数据包括：摄像头ID号、时间戳、处理耗时、检测事件集和区域集；
9.根据权利要求4所述的集成视觉感知检测结果的音视频传输装置，其特征在于，所述算法系统部署在后端服务器中，或者部署在前端边缘计算节点上，或者部署在摄像头板卡内部。
...【技术特征摘要】
1.一种集成视觉感知检测结果的音视频传输方法，所述方法包括：
2.根据权利要求1所述的集成视觉感知检测结果的音视频传输方法，其特征在于，所述算法检测的输入数据包括帧图像的长宽、占用内存大小、通道数和时间戳，以及ipc摄像机信息；执行算法检测后，将检测框信息编码为检测框在图像中的像素位置和检测框所指向的检测目标，连同ipc摄像机信息、时间戳、本次检测耗时以及当前系统时间，打包为json数据，作为算法结果。
3.根据权利要求1所述的集成视觉感知检测结果的音视频传输方法，其特征在于，所述步骤3包括：
4.一种集成视觉感知检测结果的音视频传输装置，所述装置包括视频服务系统和算法系统；其中，
5.根据权利要求4所述的集成视觉感知检测结果的音视频传输装置，其特征在于，所述视频服务系统包括流媒体服务模块、视频及算法结果录制模块和多路复用rtsp client模块；其中，
6.根据权利要求4所...
【专利技术属性】
技术研发人员：罗鹏，胡智斌，刘华林，陈仁，于明华，
申请(专利权)人：北京瓦特曼智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。