视频流处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种视频流处理方法及装置、电子设备和存储介质。所述方法包括：将视频流的多个视频帧输入检测模型，确定对象的类别信息和位置信息；根据对象的类别信息，从对象中确定目标对象；将视频帧以及目标对象的类别信息和位置信息输入特征识别模型，针对一个或多个类别的目标对象，分别确定各类别的目标对象的特征信息；将目标对象的类别信息、位置信息以及各类别的目标对象的特征信息发送至CPU。本公开实施例可实现对各类别的目标对象的特征信息分别提取，提升视频的处理效率，且GPU将类别信息、位置信息和特征信息发送至CPU，减轻了GPU和CPU之间的通信压力，节省CPU资源，使CPU可同时并行处理多路视频流。

【技术实现步骤摘要】
视频流处理方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种视频流处理方法及装置、电子设备和存储介质。
技术介绍
越来越多的监控摄像头被架设在公共区域，每时每刻都在生成海量视频，视频场景复杂，包含行人，机动车，非机动车等。随着监控数量越来越多，需要耗费巨大的人力资源对视频进行分析理解。在相关技术中，由于场景复杂，涉及众多行人、机动车和非机动车等对象，相关技术的检测正确率低，容易漏掉或者误检，并且在相关技术中，图像检测的计算量巨大，消耗大量CPU资源，使得CPU难以承担多个监控摄像头获取的多路视频流的检测工作，要检测多路视频流则需要大量的服务器，提高了运行成本。
技术实现思路
本公开提出了一种视频流处理方法及装置、电子设备和存储介质。根据本公开的一方面，提供了一种视频流处理方法，包括：将视频流的多个视频帧输入检测模型进行处理，确定每个视频帧中的对象的类别信息和位置信息；根据所述每个视频帧中的对象的类别信息，从每个视频帧的对象中确定目标对象；将所述每个视频帧以及每个视频帧中的所述目标对象的类别信息和位置信息输入特征识别模型进行处理，在每个视频帧中，针对一个或多个类别的目标对象，分别确定各类别的目标对象的特征信息；将所述目标对象的所述类别信息、所述位置信息以及所述一个或多个类别的目标对象的特征信息发送至中央处理器CPU。在一种可能的实现方式中，将所述每个视频帧以及每个视频帧中的所述目标对象的类别信息和位置信息输入特征识别模型进行处理，在每个视频帧中，针对一个或多个类别的目标对象，分别确定各类别的目标对象的特征信息，包括：将所述每个视频帧以及每个视频帧中各类别的目标对象的类别信息和位置信息分别输入相应的特征识别模型进行处理，分别确定每个视频帧中各类别的目标对象的特征信息。在一种可能的实现方式中，将视频流的多个视频帧输入检测模型进行处理，确定每个视频帧中的对象的类别信息和位置信息，包括：将所述视频流的多个连续的视频帧组成视频帧组；将所述视频帧组的第一个视频帧输入所述检测模型进行处理，确定所述对象在所述第一个视频帧中的第一位置信息以及所述对象的类别信息；根据所述第一位置信息，确定所述对象在所述视频帧组的第一个视频帧之后的各视频帧中的第二位置信息。在一种可能的实现方式中，所述检测模型的训练过程包括：将训练图像输入初始检测模型，获得训练图像中的对象的训练位置信息和训练类别信息；根据所述训练位置信息和训练类别信息以及所述训练图像中的对象的位置信息和类别信息，确定所述初始检测模型的模型损失；根据所述初始检测模型的模型损失调整所述初始检测模型，确定调整后的检测模型；当满足训练条件时，将调整后的检测模型作为所述检测模型。在一种可能的实现方式中，所述特征识别模型的训练过程包括：将训练图像以及训练图像中的目标对象的类别信息和位置信息输入初始特征识别模型，获得一个或多个类别的目标对象的训练特征信息；根据所述一个或多个类别的目标对象的训练特征信息以及所述训练图像中的所述一个或多个类别的目标对象的特征信息，确定所述初始特征识别模型的模型损失；根据所述初始特征识别模型的模型损失调整所述初始特征识别模型，确定调整后的特征识别模型；当满足训练条件时，将调整后的特征识别模型作为所述特征识别模型。在一种可能的实现方式中，所述方法还包括：通过图形处理器GPU对来自视频获取单元的源视频流进行硬解码，获得所述视频流；或者通过图形处理器GPU获取所述中央处理器CPU对源视频流进行解码后生成的视频流。在一种可能的实现方式中，根据所述第一位置信息，确定所述对象在所述视频帧组的第一个视频帧之后的各视频帧中的第二位置信息，包括：对所述第一位置信息进行回归分析，确定所述对象在所述视频帧组的第一个视频帧之后的各视频帧中的第二位置信息。在一种可能的实现方式中，所述方法还包括：将每个视频帧的头信息发送至所述中央处理器CPU，其中，所述头信息与所述类别信息、所述位置信息以及所述一个或多个类别的目标对象的特征信息相对应。在一种可能的实现方式中，所述头信息包括视频帧号和时间戳中的至少一种。根据本公开的一方面，提供了一种视频流处理装置，包括：信息确定模块，用于将视频流的多个视频帧输入检测模型进行处理，确定每个视频帧中的对象的类别信息和位置信息；目标对象确定模块，用于根据所述每个视频帧中的对象的类别信息，从每个视频帧的对象中确定目标对象；特征信息确定模块，用于将所述每个视频帧以及每个视频帧中的所述目标对象的类别信息和位置信息输入特征识别模型进行处理，在每个视频帧中，针对一个或多个类别的目标对象，分别确定各类别的目标对象的特征信息；发送模块，用于将所述目标对象的所述类别信息、所述位置信息以及所述一个或多个类别的目标对象的特征信息发送至中央处理器CPU。在一种可能的实现方式中，所述特征信息确定模块包括：特征信息确定子模块，用于将所述每个视频帧以及每个视频帧中各类别的目标对象的类别信息和位置信息分别输入相应的特征识别模型进行处理，分别确定每个视频帧中各类别的目标对象的特征信息。在一种可能的实现方式中，所述信息确定模块包括：视频帧组获取子模块，用于将所述视频流的多个连续的视频帧组成视频帧组；第一信息确定子模块，用于将所述视频帧组的第一个视频帧输入所述检测模型进行处理，确定所述对象在所述第一个视频帧中的第一位置信息以及所述对象的类别信息；第二信息确定子模块，用于根据所述第一位置信息，确定所述对象在所述视频帧组的第一个视频帧之后的各视频帧中的第二位置信息。在一种可能的实现方式中，所述装置还包括：第一信息获得模块，用于将训练图像输入初始检测模型，获得训练图像中的对象的训练位置信息和训练类别信息；第一模型损失确定模块，用于根据所述训练位置信息和训练类别信息以及所述训练图像中的对象的位置信息和类别信息，确定所述初始检测模型的模型损失；第一调整模块，用于根据所述初始检测模型的模型损失调整所述初始检测模型，确定调整后的检测模型；检测模型确定模块，用于当满足训练条件时，将调整后的检测模型作为所述检测模型。在一种可能的实现方式中，所述装置还包括：第二信息获得模块，用于将训练图像以及训练图像中的目标对象的类别信息和位置信息输入初始特征识别模型，获得一个或多个类别的目标对象的训练特征信息；第二模型损失确定模块，用于根据所述一个或多个类别的目标对象的训练特征信息以及所述训练图像中的所述一个或多个类别的目标对象的特征信息，确定所述初始特征识别模型的模型损失；第二调整模块，用于根据所述初始特征识别模型的模型损失调整所述初始特征识别模型，确定调整后的特征识别模型；特征识别模型确定模块，用于当满足训练条件时，将调整后的特征识别模型作为所述特征识别模型。在一种可能的实现方式中，所述装置还包括：硬解码模块，用于通过图形处理器GPU对来自视频获取单元的源视频流进行硬解码，获得所述视频流；或者视频流获取模块，用于通过图形处理器GPU获取所述中央处理器CPU对源视频流进行解码后生成的视频流。在一种可能的实现方式中，所述第二信息确定子模块包括：回归分析子模块，用于对所述第一位置信息进行回归分析，确定所述对象在所述视频帧组的第一个视频帧之后的各视频帧中的第二位置信息。在一种可能的实现方式中，所述装置还本文档来自技高网...

【技术保护点】
1.一种视频流处理方法，其特征在于，所述方法应用于图形处理器GPU，所述方法包括：将视频流的多个视频帧输入检测模型进行处理，确定每个视频帧中的对象的类别信息和位置信息；根据所述每个视频帧中的对象的类别信息，从每个视频帧的对象中确定目标对象；将所述每个视频帧以及每个视频帧中的所述目标对象的类别信息和位置信息输入特征识别模型进行处理，在每个视频帧中，针对一个或多个类别的目标对象，分别确定各类别的目标对象的特征信息；将所述目标对象的所述类别信息、所述位置信息以及所述一个或多个类别的目标对象的特征信息发送至中央处理器CPU。

【技术特征摘要】
1.一种视频流处理方法，其特征在于，所述方法应用于图形处理器GPU，所述方法包括：将视频流的多个视频帧输入检测模型进行处理，确定每个视频帧中的对象的类别信息和位置信息；根据所述每个视频帧中的对象的类别信息，从每个视频帧的对象中确定目标对象；将所述每个视频帧以及每个视频帧中的所述目标对象的类别信息和位置信息输入特征识别模型进行处理，在每个视频帧中，针对一个或多个类别的目标对象，分别确定各类别的目标对象的特征信息；将所述目标对象的所述类别信息、所述位置信息以及所述一个或多个类别的目标对象的特征信息发送至中央处理器CPU。2.根据权利要求1所述的方法，其特征在于，将所述每个视频帧以及每个视频帧中的所述目标对象的类别信息和位置信息输入特征识别模型进行处理，在每个视频帧中，针对一个或多个类别的目标对象，分别确定各类别的目标对象的特征信息，包括：将所述每个视频帧以及每个视频帧中各类别的目标对象的类别信息和位置信息分别输入相应的特征识别模型进行处理，分别确定每个视频帧中各类别的目标对象的特征信息。3.根据权利要求1所述的方法，其特征在于，将视频流的多个视频帧输入检测模型进行处理，确定每个视频帧中的对象的类别信息和位置信息，包括：将所述视频流的多个连续的视频帧组成视频帧组；将所述视频帧组的第一个视频帧输入所述检测模型进行处理，确定所述对象在所述第一个视频帧中的第一位置信息以及所述对象的类别信息；根据所述第一位置信息，确定所述对象在所述视频帧组的第一个视频帧之后的各视频帧中的第二位置信息。4.根据权利要求1所述的方法，其特征在于，所述检测模型的训练过程包括：将训练图像输入初始检测模型，获得训练图像中的对象的训练位置信息和训练类别信息；根据所述训练位置信息和训练类别信息以及所述训练图像中的对象的位置信息和类别信息，确定所述初始检测模型的模型损失；根据所述初始检测模型的模型损失调整所述初始检测模型，确定调整后的检测模型；当满足训练条件时，将调整后的检测模型作为所述检测模型。5.根据权利要求1所述的方法，其特征在于，所述特征识别模型的训练过程包括...

【专利技术属性】
技术研发人员：张垚，习洋洋，罗程，吴俊楠，温祖钦，刘祖希，张帅，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44