一种视频流处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种视频流处理方法、装置、电子设备及存储介质，用于改善对视频处理后的计算机视觉结果进行展示的效率较低的问题。该方法包括：获取第一视频流，第一视频流包括多个图像帧；对多个图像帧中的每个图像帧进行计算机视觉处理，获得图像帧的处理结果；针对多个图像帧中的每个图像帧，判断该图像帧的处理结果是否是预设结果；若是，则将该图像帧的处理结果绘制在第二视频流中的图像帧上。通过在处理结果是预设结果时直接绘制在第二视频流中的图像帧上，以便于在进行展示时直接播放绘制后的第二视频流即可，从而避免了在展示时才实时将结构化结果数据进行解析等复杂操作，有效地提高了对视频处理后的计算机视觉结果进行展示的效率。展示的效率。展示的效率。

【技术实现步骤摘要】
一种视频流处理方法、装置、电子设备及存储介质


[0001]本申请涉及视频处理和图像处理的
，具体而言，涉及一种视频流处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，针对视频流中的所有图像帧进行计算机视觉处理(例如目标检测) 之后，通常是将所有图像帧处理后的结构化结果数据存储在文件或者数据库中的。然而在需要展示视觉处理的结果视频时，仍然需要实时从文件或者数据库中读取和解析结构化结果数据，并将解析后的结构化结果数据展示在该视频流中；其中，结构化结果数据例如：脚本对象简谱(JavaScript ObjectNotation，JSON)格式或者可扩展标记语言(eXtensible Markup Language， XML)格式的数据。因此，目前对视频处理后的计算机视觉结果进行展示的效率较低。

技术实现思路

[0003]本申请实施例的目的在于提供一种视频流处理方法、装置、电子设备及存储介质，用于改善对视频处理后的计算机视觉结果进行展示的效率较低的问题。
[0004]本申请实施例提供了一种视频流处理方法，包括：获取第一视频流，第一视频流包括多个图像帧；对多个图像帧中的每个图像帧进行计算机视觉处理，获得图像帧的处理结果；针对多个图像帧中的每个图像帧，判断该图像帧的处理结果是否是预设结果；若是，则将该图像帧的处理结果绘制在第二视频流中的图像帧上。
[0005]在上述方案的实现过程中，通过对多个图像帧中的每个图像帧进行计算机视觉处理，获得图像帧的处理结果，并在处理结果是预设结果时直接绘制在第二视频流中的图像帧上，以便于在进行展示时直接播放绘制后的第二视频流即可，从而避免了在展示时才实时将结构化结果数据进行解析等复杂操作，有效地提高了对视频处理后的计算机视觉结果进行展示的效率。
[0006]可选地，在本申请实施例中，计算机视觉处理为目标检测，处理结果包括：目标对象的类别和图像帧中的位置；对多个图像帧中的每个图像帧进行计算机视觉处理，包括：获取第一视频流的编码格式；根据编码格式对第一视频流进行解码，获得多个图像帧中的每个图像帧；对每个图像帧中的目标对象进行目标检测，获得目标对象的类别和目标对象在图像帧中的位置。
[0007]在上述方案的实现过程中，通过对每个图像帧中的目标对象进行目标检测，获得目标对象的类别和目标对象在图像帧中的位置，该目标对象的类别和位置用于直接绘制在第二视频流中的图像帧上，从而避免了在展示时才实时将结构化结果数据进行解析等复杂操作，有效地提高了对视频处理后的计算机视觉结果进行展示的效率。
[0008]可选地，在本申请实施例中，将该图像帧的处理结果绘制在第二视频流中的图像帧上，包括：将该图像帧复制为第二视频流中的图像帧；在第二视频流中的图像帧上绘制出
目标对象在图像帧中的位置，并在第二视频流中的图像帧中标记出目标对象的类别。
[0009]在上述方案的实现过程中，通过在第二视频流中的图像帧上绘制出目标对象在图像帧中的位置，并在第二视频流中的图像帧中标记出目标对象的类别，从而避免了在展示时才实时将结构化结果数据进行解析等复杂操作，有效地提高了对视频处理后的计算机视觉结果进行展示的效率。
[0010]可选地，在本申请实施例中，在获得目标对象的类别和目标对象在图像帧中的位置之后，还包括：判断目标对象的类别是否是人脸类别；若是，则根据目标对象在图像帧中的位置对该图像帧依次进行裁剪和人脸识别，获得人脸识别结果，并根据人脸识别结果输出预警信息。
[0011]在上述方案的实现过程中，通过根据目标对象在图像帧中的位置对该图像帧依次进行裁剪和人脸识别，获得人脸识别结果，并根据人脸识别结果输出预警信息，从而避免了人工地在第一视频流中识别该目标对象的情况，有效地减轻了在视频中查找目标对象的工作量，提高了在视频中查找目标对象的效率。
[0012]可选地，在本申请实施例中，计算机视觉处理为语义分割，处理结果包括：目标对象在图像帧中的所有像素点；对多个图像帧中的每个图像帧进行计算机视觉处理，包括：获取第一视频流的编码格式；根据编码格式对第一视频流进行解码，获得多个图像帧中的每个图像帧；对每个图像帧中的目标对象进行语义分割，获得目标对象在图像帧中的所有像素点。
[0013]在上述方案的实现过程中，通过对每个图像帧中的目标对象进行语义分割，获得目标对象在图像帧中的所有像素点，该图像帧中的所有像素点用于直接绘制在第二视频流中的图像帧上，从而避免了在展示时才实时将结构化结果数据进行解析等复杂操作，有效地提高了对视频处理后的计算机视觉结果进行展示的效率。
[0014]可选地，在本申请实施例中，将该图像帧的处理结果绘制在第二视频流中的图像帧上，包括：将该图像帧复制为第二视频流中的图像帧；将目标对象在图像帧中的所有像素点绘制在第二视频流中的图像帧上。
[0015]在上述方案的实现过程中，通过将该图像帧复制为第二视频流中的图像帧，并将目标对象在图像帧中的所有像素点绘制在第二视频流中的图像帧上，从而避免了在展示时才实时将结构化结果数据进行解析等复杂操作，有效地提高了对视频处理后的计算机视觉结果进行展示的效率。
[0016]可选地，在本申请实施例中，对多个图像帧中的每个图像帧进行计算机视觉处理，包括：判断多个图像帧中的上一图像帧与当前图像帧之间的相似程度是否小于预设阈值；若是，则对当前图像帧进行计算机视觉处理，否则，对多个图像帧中的下一图像帧进行计算机视觉处理。
[0017]在上述方案的实现过程中，通过只有上一图像帧与当前图像帧之间的相似程度小于预设阈值时，才对当前图像帧进行计算机视觉处理，当上一图像帧与当前图像帧之间的相似程度大于或等于预设阈值时，就不对当前图像帧进行计算机视觉处理，而是直接处理下一图像帧，那么可以避免重复处理相似程度非常大甚至相同的图像帧，从而有效地节约图像帧的计算量和存储空间。
[0018]本申请实施例还提供了一种视频流处理装置，包括：视频图像获取模块，用于获取
第一视频流，第一视频流包括多个图像帧；图像视觉处理模块，用于对多个图像帧中的每个图像帧进行计算机视觉处理，获得图像帧的处理结果；处理结果判断模块，用于针对多个图像帧中的每个图像帧，判断该图像帧的处理结果是否是预设结果；处理结果绘制模块，用于若该图像帧的处理结果是预设结果，则将该图像帧的处理结果绘制在第二视频流中的图像帧上。
[0019]可选地，在本申请实施例中，计算机视觉处理为目标检测，处理结果包括：目标对象的类别和图像帧中的位置；图像视觉处理模块，包括：第一编码获取模块，用于获取第一视频流的编码格式；第一图像解码模块，用于根据编码格式对第一视频流进行解码，获得多个图像帧中的每个图像帧；图像目标检测模块，用于对每个图像帧中的目标对象进行目标检测，获得目标对象的类别和目标对象在图像帧中的位置。
[0020]可选地，在本申请实施例中，处理结果绘制模块，包括：第一图像复制模块，用于将该图像帧复制为第二视频流中的图像帧；第一图像绘制模块，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频流处理方法，其特征在于，包括：获取第一视频流，所述第一视频流包括多个图像帧；对所述多个图像帧中的每个图像帧进行计算机视觉处理，获得所述图像帧的处理结果；针对所述多个图像帧中的每个图像帧，判断该图像帧的处理结果是否是预设结果；若是，则将该图像帧的处理结果绘制在第二视频流中的图像帧上。2.根据权利要求1所述的方法，其特征在于，所述计算机视觉处理为目标检测，所述处理结果包括：目标对象的类别和图像帧中的位置；所述对所述多个图像帧中的每个图像帧进行计算机视觉处理，包括：获取所述第一视频流的编码格式；根据所述编码格式对所述第一视频流进行解码，获得所述多个图像帧中的每个图像帧；对所述每个图像帧中的目标对象进行目标检测，获得所述目标对象的类别和所述目标对象在图像帧中的位置。3.根据权利要求2所述的方法，其特征在于，所述将该图像帧的处理结果绘制在第二视频流中的图像帧上，包括：将该图像帧复制为所述第二视频流中的图像帧；在所述第二视频流中的图像帧上绘制出所述目标对象在所述图像帧中的位置，并在所述第二视频流中的图像帧中标记出所述目标对象的类别。4.根据权利要求2所述的方法，其特征在于，在所述获得所述目标对象的类别和所述目标对象在图像帧中的位置之后，还包括：判断所述目标对象的类别是否是人脸类别；若是，则根据所述目标对象在图像帧中的位置对该图像帧依次进行裁剪和人脸识别，获得人脸识别结果，并根据所述人脸识别结果输出预警信息。5.根据权利要求1所述的方法，其特征在于，所述计算机视觉处理为语义分割，所述处理结果包括：目标对象在图像帧中的所有像素点；所述对所述多个图像帧中的每个图像帧进行计算机视觉处理，包括：获取所述第...

【专利技术属性】
技术研发人员：董志伟，
申请(专利权)人：创新奇智浙江科技有限公司，
类型：发明
国别省市：