用于对图像帧进行标识显示的方法及其相关产品技术

本发明专利技术提供了一种用于对图像帧进行标识显示的方法及其相关产品，该方法包括：使用视频服务器接收来自图像采集装置发送的视频数据；使用计算服务器来执行：获取视频流，并且根据图像帧标识方法对视频流进行分析处理，以得到多个成对的第一时间戳和标识信息；以及使用客户端设备来执行：从计算服务器接收第一时间戳和标识信息，并且从视频服务器接收视频流并获取视频流中每个图像帧的第二时间戳，根据第一时间戳和第二时间戳确定出每个图像帧所对应的标识信息，以及根据标识信息在对应的图像帧上标述目标区域，并显示标识后的图像帧。本发明专利技术的方案能够对视频流中图像帧的解析结果进行实时展示，并且可以降低带宽消耗。并且可以降低带宽消耗。并且可以降低带宽消耗。

【技术实现步骤摘要】
用于对图像帧进行标识显示的方法及其相关产品


[0001]本专利技术一般地涉及标识显示领域。更具体地，本专利技术涉及用于对图像帧进行标识显示的方法和系统。

技术介绍

[0002]各类AI算法在计算过程中会有一些计算结果实时展示的需求，比如人脸识别算法需要在视频流的每一帧图片上把人头所在区域框示出来，并且同时显示人的面部表情状态等信息。目前，现有的计算结果展示方案分为两类：一类是利用算法输出标识好的图片，推送给前端直接显示；另一类是将视频流转换为图片，并利用算法对图片进行标识，然后将标识好的图片再压缩为视频流，将该标识好的视频流推送给前端显示。然而，利用第一类展示方案进行计算结果的实时展示时，对算法的算力要求较高，同时由于推送的是未压缩的帧级图片，对网络带宽消耗往往可能会是直接播放视频流的上百倍，很难用于实际客户端播放场景。利用第二类展示方案进行计算结果的实时展示时，由于需要将视频流转换为图片，再将图片转换为视频流，花费的时间较长。鉴于此，现有技术中需要一种兼顾网络带宽消耗需求和实时同步需求的实时标识显示的技术方案。

技术实现思路

[0003]为了至少解决上述
技术介绍
中的一个或多个技术问题，本专利技术提出了一种用于对图像帧进行标识显示的方法及其相关产品，本专利技术的方案可以通过时间戳的比较结果来实现对图像帧的算法结果的实时展示。为此，本专利技术在如下的多个方面中提供解决方案。
[0004]根据本专利技术的第一方面，提供了根据本专利技术第一方面的第一用于对图像帧进行标识显示的方法，其特征在于，包括：接收多个成对的第一时间戳和标识信息，其中每对第一时间戳与标识信息中的标识信息用于标识该对第一时间戳与标识信息的第一时间戳对应的图像帧内的目标区域；接收视频流并获取所述视频流中每个图像帧的第二时间戳；将所述第二时间戳与所述第一时间戳进行比较，以获得比较结果；以及根据所述比较结果来执行相应的操作，以便根据所述标识信息在对应的图像帧上标识所述目标区域，并显示标识后的图像帧。
[0005]根据本专利技术的第一方面的第一用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第二用于对图像帧进行标识显示的方法，所述方法还包括：向服务器发起关于标识所述图像帧的标识显示请求；以及从所述服务器接收作为所述标识显示请求响应的所述第一时间戳和标识信息。
[0006]根据本专利技术的第一方面的第一或第二用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第三用于对图像帧进行标识显示的方法，其中所述根据比较结果来执行相应的操作包括：基于所述第二时间戳和第一时间戳的比较确定所述第二时间戳匹配于所述第一时间戳，则根据所述标识信息在所述第二时间戳所对应的图像帧上标识所述目标区域，并显示标识后的图像帧。
[0007]根据本专利技术的第一方面的第一至第三任一项用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第四用于对图像帧进行标识显示的方法，其中所述根据比较结果来执行相应的操作包括：基于所述第二时间戳和第一时间戳的比较确定第一图像帧的标识信息的接收早于第一图像帧，则缓存所述第一图像帧所对应的第一时间戳和标识信息，直至接收到所述第一图像帧；以及根据所述标识信息在所述第一图像帧上标识所述目标区域，并显示标识后的图像帧。
[0008]根据本专利技术的第一方面的第一至第四任一项用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第五用于对图像帧进行标识显示的方法，其中所述根据比较结果来执行相应的操作包括：
[0009]基于所述第二时间戳和第一时间戳的比较确定所述第一图像帧的标识信息的接收早于第一图像帧，则在预定的第一时间段内等待接收所述第一图像帧；以及响应于在预定的时间段内未接收到所述第一图像帧，则停止对所述第一图像帧的标识显示，并对第二图像帧进行标识显示操作，其中所述第二图像帧为所述第一图像帧的下一帧图像。
[0010]根据本专利技术的第一方面的第一至第五任一项用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第六用于对图像帧进行标识显示的方法，其中所述根据比较结果来执行相应的操作包括：基于所述第二时间戳和第一时间戳的比较确定所述第一图像帧的接收早于对应标识信息，则暂停对所述第一图像帧的标识显示，直至接收到所述第一图像帧所对应的标识信息；以及根据所述标识信息在所述第一图像帧上标识所述目标区域，并显示标识后的图像帧。
[0011]根据本专利技术的第一方面的第一至第六任一项用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第七用于对图像帧进行标识显示的方法，其中所述根据比较结果来执行相应的操作包括：基于所述第二时间戳和第一时间戳的比较确定所述第一图像帧的接收早于对应标识信息，则在预定的第二时间段内等待接收所述第一图像帧的标识信息；以及响应于在预定的第二时间段内未接收到所述第一图像帧的标识信息，则不对所述第一图像帧进行标识，直接显示第一图像帧或丢弃第一图像帧。
[0012]根据本专利技术的第一方面的第一至第七任一项用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第八用于对图像帧进行标识显示的方法，其中所述标识信息包括由一种或多种图像帧标识方法所得到至少一个标识信息，其中，所述多种图像帧标识方法包括同类的多种图像帧标识方法和/或不同类的多种图像帧标识方法。
[0013]根据本专利技术的第一方面的第一至第八任一项用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第九用于对图像帧进行标识显示的方法，所述至少一个标识信息包括用于标识所述图像帧中的人脸位置、人脸轮廓、特定物品、面部表情和/或人体关键点相关的信息。
[0014]根据本专利技术的第一方面的第一至第九任一项用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第十用于对图像帧进行标识显示的方法，其中所述标识显示请求包括关于选择标识信息的选择请求信息，所述选择请求信息用于请求所述服务器发送所述至少一个标识信息中的部分或全部。
[0015]根据本专利技术的第一方面的第一至第十任一项用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第十一用于对图像帧进行标识显示的方法，其中所述至少一
个标识信息还包括与图像帧标识方法相关联的置信度。
[0016]根据本专利技术的第一方面的第一至第十一任一项用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第十二用于对图像帧进行标识显示的方法，所述方法还包括：根据预设选择逻辑从所述至少一个标识信息中选择出第一标识信息，并且根据所述第一标识信息在图像帧上标识所述目标区域，并显示标识后的图像帧；或根据所述置信度从所述至少一个标识信息中选择出所述第一标识信息，并且根据所述第一标识信息在图像帧上标识所述目标区域，并显示标识后的图像帧。
[0017]根据本专利技术的第一方面的第一至第十二任一项用于对图像帧进行标识显示的方法，提供了根据本专利技术第一方面的第十三用于对图像帧进行标识显示的方法，其中接收多个成对的第一时间戳和标识信息包括：基于websocket与服务器建立连接，以便从所述服务器持续接收多对第一时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于对图像帧进行标识显示的系统，其特征在于，包括：视频服务器，其配置成根据图像采集装置采集的视频数据生成视频流；计算服务器，其配置成：获取所述视频流，并且根据图像帧标识方法对所述视频流进行分析处理，以得到多个成对的第一时间戳和标识信息，以及响应于来自于客户端设备对图像帧进行标识显示的标识显示请求，向所述客户端设备发送第一时间戳和标识信息，其中每对第一时间戳与标识信息中的标识信息用于标识该对第一时间戳与标识信息的第一时间戳对应的图像帧内的目标区域；客户端设备，其配置成：从所述计算服务器接收所述第一时间戳和标识信息；从所述视频服务器接收所述视频流并获取所述视频流中每个图像帧的第二时间戳；根据所述第一时间戳和第二时间戳确定出每个图像帧所对应的标识信息，并根据所述标识信息在对应的图像帧上标识所述目标区域，并显示标识后的图像帧。2.根据权利要求1所述的系统，其特征在于，所述客户端设备还配置成向计算服务器发起关于标识所述图像帧的标识显示请求；所述计算服务器还配置成响应于接收所述标识显示请求将所述第一时间戳和标识信息发送给所述客户端设备。3.根据权利要求1或2所述的系统，其特征在于，其中所述客户端设备还配置成响应于接收到用户发送的实时播放请求而生成所述标识显示请求，并且将所述标识显示请求发送至计算服务器。4.根据权利要求1
‑
3任一项所述的系统，其特征在于，所述计算服务器还配置成利用多种图像帧标识方法分别对所述视频流执行图像帧标识方法分析，以得到多种标识信息。5.根据权利要求1
‑
4任一项所述的系统，其特征在于，其中所述客户端设备还配置成响应于接收到用户发送的实时播放请求而生成所述标识信息选择请求，并且将所述标识信息选择请求作为所述标识显示请求或其一部分而发送至计算服务器；并且所述计算服务器还配置成根据所述标识信息选择请求选择将第一时间戳以及所述多种标识信息中的部分或全部发送至客户端设备。6.根据权利要求1
‑
5任一项所述的系统，其特征在于，所述客户端设备还配置成:根据预设选择逻辑从接收的所述多种标识信息的部分或全部...

【专利技术属性】
技术研发人员：贺晓腾，林昊，刘海斌，王亚夫，
申请(专利权)人：上海忆芯实业有限公司，
类型：发明
国别省市：