图像显示方法和装置、存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种图像显示方法和装置、存储介质及电子设备。其中，该方法包括：获取接收到的第一编码数据，其中，第一编码数据是对原始视频流中的第一图像进行编码得到的编码数据，对第一编码数据进行解码，得到第一图像，在查找到已接收到的与第一图像匹配的第一标记信息时，根据第一标记信息对第一图像进行标记补偿，得到添加了第一标记的第一图像，渲染显示添加了第一标记的第一图像。本发明专利技术解决了相关技术中为实时采集图像添加标记后，图像的显示时延较大的技术问题。示时延较大的技术问题。示时延较大的技术问题。

【技术实现步骤摘要】
图像显示方法和装置、存储介质及电子设备


[0001]本专利技术涉及计算机领域，具体而言，涉及一种图像显示方法和装置、存储介质及电子设备。

技术介绍

[0002]目前，在图像采集设备实时采集视频流的过程中，如果需要对采集到的视频流进行对象检测，一般是在采集到视频流后，先对视频流进行对象检测(例如，AI检测)，再将检测结果标注在视频流后进行编码传输。
[0003]例如，在安防监测领域中，图像采集设备采集得到视频流后，会在发送端逐帧根据采集到的原始图像进行AI检测，将AI检测的结果在原始图像上标记出，然后进行编码和传输，接收端在接收到编码后的图像数据后进行解码，恢复出AI标记后的视频流，最后进行渲染和显示。从视频流采集到渲染显示之间串行加入了AI检测和标记流程，由于AI检测耗时较大，往往会造成端到端画面时延变大，无法满足低时延远程操控要求，进而，造成相关技术中存在的，实时显示存在显示标记的图像的时延较大的技术问题。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种图像显示方法和装置、存储介质及电子设备，以至少解决相关技术中为实时采集图像添加标记后，图像的显示时延较大的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种图像显示方法，包括：获取接收到的第一编码数据，其中，所述第一编码数据是对原始视频流中的第一图像进行编码得到的编码数据；对所述第一编码数据进行解码，得到所述第一图像；在查找到已接收到的与所述第一图像匹配的第一标记信息时，根据所述第一标记信息对所述第一图像进行标记补偿，得到添加了第一标记的所述第一图像，其中，所述第一标记信息是对所述第一图像进行对象检测所得到的标记信息，所述第一标记用于标记在所述第一图像中检测到的第一对象，所述对所述第一图像进行编码的操作与对所述第一图像进行对象检测的操作是并行执行的操作；渲染显示所述添加了所述第一标记的所述第一图像。
[0007]根据本专利技术实施例的另一方面，还提供了一种图像传输方法，包括：获取原始视频流中的第一图像，其中，所述第一图像在所述原始视频流中的帧序号为第一帧序号；对所述第一图像进行编码，得到第一编码数据；对所述第一图像进行对象检测，得到第一标记信息，其中，在所述对象检测模块在所述第一图像中检测到第一对象的情况下，所述第一标记信息包括所述第一对象在所述第一图像中的位置信息，所述对所述第一图像进行编码的操作与对所述第一图像进行对象检测的操作是并行执行的操作；分别将所述第一编码数据和所述第一标记信息发送至目标设备。
[0008]根据本专利技术实施例的另一方面，还提供了一种图像显示装置，包括：第一获取模块，用于获取接收到的第一编码数据，其中，所述第一编码数据是对原始视频流中的第一图
像进行编码得到的编码数据；解码模块，用于对所述第一编码数据进行解码，得到所述第一图像；补偿模块，用于在查找到已接收到的与所述第一图像匹配的第一标记信息时，根据所述第一标记信息对所述第一图像进行标记补偿，得到添加了第一标记的所述第一图像，其中，所述第一标记信息是对所述第一图像进行对象检测所得到的标记信息，所述第一标记用于标记在所述第一图像中检测到的第一对象，所述对所述第一图像进行编码的操作与对所述第一图像进行对象检测的操作是并行执行的操作；显示模块，用于渲染显示所述添加了所述第一标记的所述第一图像。
[0009]可选地，所述装置还用于：获取与所述第一编码数据对应的所述第一图像的第一帧序号；在已接收到的标记信息集合中查找与所述第一帧序号具有对应关系的标记信息，其中，所述标记信息集合包括一对或多对具有对应关系的帧序号和标记信息，所述标记信息集合中的帧序号是所述原始视频流中的图像的帧序号，所述标记信息集合中的标记信息是对所述原始视频流中的图像进行对象检测所得到的标记信息；在所述标记信息集合中查找到与所述第一帧序号具有对应关系的标记信息时，将所述标记信息集合中的与所述第一帧序号具有对应关系的标记信息确定为查找到的与所述第一图像匹配的所述第一标记信息。
[0010]可选地，所述装置还用于：在查找不到所述第一标记信息时，在预定时长内检测是否接收到所述第一标记信息；在所述预定时长内接收到所述第一标记信息的情况下，根据所述第一标记信息对所述第一图像进行标记补偿，得到添加了所述第一标记的所述第一图像，并渲染显示所述添加了所述第一标记的所述第一图像。
[0011]可选地，所述装置还用于：在所述预定时长内未接收到所述第一标记信息的情况下，渲染显示未添加标记的所述第一图像；或者在所述预定时长内未接收到所述第一标记信息的情况下，查找已解码出的与所述第一图像匹配的第二图像，其中，与所述第二图像匹配的第二标记信息是已接收到的标记信息，所述第二标记信息是对所述第二图像进行对象检测所得到的标记信息，所述对所述第二图像进行编码的操作与对所述第二图像进行对象检测的操作是并行执行的操作；在查找到所述第二图像的情况下，根据所述第二标记信息对所述第一图像进行标记补偿，得到添加了第二标记的所述第一图像，并渲染显示添加了所述第二标记的所述第一图像，其中，所述第二标记用于标记在所述第一图像中预测出的第二对象。
[0012]可选地，所述装置还用于：在查找不到所述第二图像的情况下，渲染显示未添加标记的所述第一图像。
[0013]可选地，所述装置还用于：在查找不到所述第一标记信息时，查找已解码出的与所述第一图像匹配的第二图像，其中，与所述第二图像匹配的第二标记信息是已接收到的标记信息，所述第二标记信息是对所述第二图像进行对象检测所得到的标记信息，所述对所述第二图像进行编码的操作与对所述第二图像进行对象检测的操作是并行执行的操作；在查找到所述第二图像的情况下，根据所述第二标记信息对所述第一图像进行标记补偿，得到添加了第二标记的所述第一图像，并渲染显示添加了所述第二标记的所述第一图像，其中，所述第二标记用于标记在所述第一图像中预测出的第二对象。
[0014]可选地，所述装置用于通过如下方式查找已解码出的与所述第一图像匹配的第二图像：获取与所述第一编码数据对应的所述第一图像的第一帧序号；在已接收到的标记信
息集合中查找与所述第一帧序号匹配的第二帧序号，其中，所述标记信息集合包括一对或多对具有对应关系的帧序号和标记信息，所述标记信息集合中的帧序号是所述原始视频流中的图像的帧序号，所述标记信息集合中的标记信息是对所述原始视频流中的图像进行对象检测所得到的标记信息，所述第一帧序号与所述第二帧序号之间的序号间隔小于或等于预设间隔，所述第二帧序号是已解码出的所述第二图像的帧序号；在所述标记信息集合中查找到所述第二帧序号的情况下，确定查找到已解码出的与所述第一图像匹配的所述第二图像，其中，所述第二标记信息是在所述标记信息集合中与所述第二帧序号具有对应关系的标记信息。
[0015]可选地，所述装置用于通过如下方式根据所述第二标记信息对所述第一图像进行标记补偿，得到添加了所述第二标记的所述第一图像：根据所述第二标记信息确定所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像显示方法，其特征在于，包括：获取接收到的第一编码数据，其中，所述第一编码数据是对原始视频流中的第一图像进行编码得到的编码数据；对所述第一编码数据进行解码，得到所述第一图像；在查找到已接收到的与所述第一图像匹配的第一标记信息时，根据所述第一标记信息对所述第一图像进行标记补偿，得到添加了第一标记的所述第一图像，其中，所述第一标记信息是对所述第一图像进行对象检测所得到的标记信息，所述第一标记用于标记在所述第一图像中检测到的第一对象，所述对所述第一图像进行编码的操作与对所述第一图像进行对象检测的操作是并行执行的操作；渲染显示所述添加了所述第一标记的所述第一图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取与所述第一编码数据对应的所述第一图像的第一帧序号；在已接收到的标记信息集合中查找与所述第一帧序号具有对应关系的标记信息，其中，所述标记信息集合包括一对或多对具有对应关系的帧序号和标记信息，所述标记信息集合中的帧序号是所述原始视频流中的图像的帧序号，所述标记信息集合中的标记信息是对所述原始视频流中的图像进行对象检测所得到的标记信息；在所述标记信息集合中查找到与所述第一帧序号具有对应关系的标记信息时，将所述标记信息集合中的与所述第一帧序号具有对应关系的标记信息确定为查找到的与所述第一图像匹配的所述第一标记信息。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在查找不到所述第一标记信息时，在预定时长内检测是否接收到所述第一标记信息；在所述预定时长内接收到所述第一标记信息的情况下，根据所述第一标记信息对所述第一图像进行标记补偿，得到添加了所述第一标记的所述第一图像，并渲染显示所述添加了所述第一标记的所述第一图像。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在所述预定时长内未接收到所述第一标记信息的情况下，渲染显示未添加标记的所述第一图像；或者在所述预定时长内未接收到所述第一标记信息的情况下，查找已解码出的与所述第一图像匹配的第二图像，其中，与所述第二图像匹配的第二标记信息是已接收到的标记信息，所述第二标记信息是对所述第二图像进行对象检测所得到的标记信息，所述对所述第二图像进行编码的操作与对所述第二图像进行对象检测的操作是并行执行的操作；在查找到所述第二图像的情况下，根据所述第二标记信息对所述第一图像进行标记补偿，得到添加了第二标记的所述第一图像，并渲染显示添加了所述第二标记的所述第一图像，其中，所述第二标记用于标记在所述第一图像中预测出的第二对象。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在查找不到所述第二图像的情况下，渲染显示未添加标记的所述第一图像。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：在查找不到所述第一标记信息时，查找已解码出的与所述第一图像匹配的第二图像，其中，与所述第二图像匹配的第二标记信息是已接收到的标记信息，所述第二标记信息是
对所述第二图像进行对象检测所得到的标记信息，所述对所述第二图像进行编码的操作与对所述第二图像进行对象检测的操作是并行执行的操作；在查找到所述第二图像的情况下，根据所述第二标记信息对所述第一图像进行标记补偿，得到添加了第二标记的所述第一图像，并渲染显示添加了所述第二标记的所述第一图像，其中，所述第二标记用于标记在所述第一图像中预测出的第二对象。7.根据权利要求4或6所述的方法，其特征在于，所述查找已解码出的与所述第一图像匹配的第二图像，包括：获取与所述第一编码数据对应的所述第一图像的第一帧序号；在已接收到的标记信息集合中查找与所述第一帧序号匹配的第二帧序号，其中，所述标记信息集合包括一对或多对具有对应关系的帧序号和标记信息，所述标记信息集合中的帧序号是所述原始视频流中的图像的帧序号，所述标记信息集合中的标记信息是对所述原始视频流中的图像进行对象检测所得到的标记信息，所述第一帧序号与所述第二帧序号之间的序号间隔小于或等于预设间隔，所述第二帧序号是已解码出的所述第二图像的帧序号；在所述标记信息集合中查找到所述第二帧序号的情况下，确定查找到已解码出的与所述第一图像匹配的所述第二图像，其中，所述第二标记信息是在所述标记信息集合中与所述第二帧序号具有对应关系的标记信息。8.根据权利要求4或6所述的方法，其特征在于，所述根据所述第二标记信息对所述第一图像进行标记补偿，得到添加了所述第二标记的所述第一图像，包括：根据所述第二标记信息确定所述第二图像中的目标对象所在的第二区域，并在所述第二图像中确定第二像素点集合，其中，所述目标对象是在所述第二图像中检测到的对象，所述第二像素点集合是所述第二区域中包括的像素点；在所述第一图像中查找与所述第二区域匹配的第一区域，其中，所述第一区域的尺寸与所述第二区域的尺寸相同，且第一像素点集合与所述第二像素点集合之间的相似度大于或等于预设阈值，所述第一像素点集合是所述第一区域中包括的像素点；在所述第一图像中查找到与所述第二区域匹配的所述第一区域的情况下，在所述第一图像中的所述第一区域上添加所述第二标记，其中，所述第一区域中的对象为在所述第一图像中预测出的所述第二对象。9.根据权利要求8所述的方法，其特征在于，所述在所述第一图像中查找与所述第二区域匹...

【专利技术属性】
技术研发人员：毛峻岭，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：