【技术实现步骤摘要】
本公开的实施例涉及视频编码和模型压缩领域，具体涉及用于监控视频的神经网络模型编码传输方法和装置。
技术介绍
1、在视频监控系统中，基于神经网络模型对监控视频进行编码已成为一种日益普及的技术。然而，为了有效适应不同的应用场景，往往需要随时对监控端使用的神经网络模型进行更新或修改，因此也需要对编码所使用的神经网络模型进行编码传输。目前，使用神经网络模型对监控视频进行编码时，通常采用的方式为：使用默认的神经网络模型，即不需要对神经网络模型进行传输；或将神经网络模型内嵌到视频位流中进行神经网络模型的传输。
2、然而，当采用上述方式基于神经网络模型对监控视频进行编码操作时，经常会存在如下技术问题：
3、第一，使用默认的神经网络模型难以根据不同的应用场景对现有神经网络模型做出自适应的修订，而将神经网络模型内嵌到视频位流中的传输方式会造成额外的带宽消耗，进而可能引发网络堵塞，造成传输资源的浪费；
4、第二，现有神经网络模型压缩方法难以在保证压缩后神经网络模型准确度的同时减少模型的参数量，而且会导致计算资源的消耗。
5、该
技术介绍
部分中所公开的以上信息仅用于增强对本公开构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求
2、本公开的一些实施例提出了用于监控视频的神经网络模型编码传输方法和装置，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
3、第一方面，本公开的一些实施例提供了一种用于监控视频的神经网络模型编码传输方法，该方法包括：基于神经网络，对所拍摄监控视频进行视频编码，得到编码后监控视频以及确定对应的神经网络模型集，其中，上述神经网络模型集中神经网络模型的数量与所拍摄监控视频的帧数相同，神经网络模型包含神经网络计算图和对应的模型参数集；对上述神经网络模型集中的每个神经网络模型进行压缩编码，得到编码神经网络模型集；根据上述编码神经网络模型集，对所拍摄监控视频进行视频编码，得到视频位流；响应于上述编码神经网络模型集的容量小于等于预设阈值，将上述编码神经网络模型集添加至上述视频位流中，得到内嵌神经网络视频位流；对上述内嵌神经网络视频位流进行内嵌式传输，其中，上述内嵌神经网络视频位流中的内嵌式神经网络传输标识为1；响应于上述编码神经网络模型集的容量大于预设阈值，对上述视频位流和上述编码神经网络模型集分别进行传输，其中，上述视频位流中的内嵌式神经网络传输标识为0。
4、第二方面，本公开的一些实施例提供了一种用于监控视频的神经网络模型编码传输装置，装置包括：第一视频编码单元，被配置成基于神经网络，对所拍摄监控视频进行视频编码，得到编码后监控视频以及确定对应的神经网络模型集，其中，上述神经网络模型集中神经网络模型的数量与所拍摄监控视频的帧数相同，神经网络模型包含神经网络计算图和对应的模型参数集；压缩编码单元，被配置成对上述神经网络模型集中的每个神经网络模型进行压缩编码，得到编码神经网络模型集；第二视频编码单元，被配置成根据上述编码神经网络模型集，对所拍摄监控视频进行视频编码，得到视频位流；添加单元，被配置成响应于上述编码神经网络模型集的容量小于等于预设阈值，将上述编码神经网络模型集添加至上述视频位流中，得到内嵌神经网络视频位流；内嵌式传输单元，被配置成以及对上述内嵌神经网络视频位流进行内嵌式传输，其中，上述内嵌神经网络视频位流中的内嵌式神经网络传输标识为1；分别传输单元，被配置成响应于上述编码神经网络模型集的容量大于预设阈值，对上述视频位流和上述编码神经网络模型集分别进行传输，其中，上述视频位流中的内嵌式神经网络传输标识为0。
5、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
6、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
7、本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的用于监控视频的神经网络模型编码传输方法，可以避免额外的带宽消耗，减少传输资源的浪费。具体来说，造成传输资源浪费的原因在于：使用默认的神经网络模型难以根据不同的应用场景对现有神经网络模型做出自适应的修订，而将神经网络模型内嵌到视频位流中的传输方式会造成额外的带宽消耗，进而可能引发网络堵塞。基于此，本公开的一些实施例的用于监控视频的神经网络模型编码传输方法，首先，基于神经网络，对所拍摄监控视频进行视频编码，得到编码后监控视频以及确定对应的神经网络模型集。其中，上述神经网络模型集中神经网络模型的数量与所拍摄监控视频的帧数相同。神经网络模型包含神经网络计算图和对应的模型参数集。通过基于神经网络的视频编码，可以将编码问题从传统依赖手工特征和规则的局部优化，转变为端到端的全局优化，显著提升了编码后图像的重建质量。其次，对上述神经网络模型集中的每个神经网络模型进行压缩编码，得到编码神经网络模型集。由此，可以有效降低神经网络模型在传输过程中占用的带宽。然后，根据上述编码神经网络模型集，对所拍摄监控视频进行视频编码，得到视频位流。将编码后的神经网络模型用于视频编码和视频解码，可以保证视频编解码的准确性。再然后，响应于上述编码神经网络模型集的容量小于等于预设阈值，将上述编码神经网络模型集添加至上述视频位流中，得到内嵌神经网络视频位流。由此，可以根据编码后神经网络模型的大小，来动态调整带宽和资源的使用。接着，对上述内嵌神经网络视频位流进行内嵌式传输，其中，上述内嵌神经网络视频位流中的内嵌式神经网络传输标识为1。由此，可以在避免带宽消耗的同时，减少传输延迟，从而减少传输资源的浪费。最后，响应于上述编码神经网络模型集的容量大于预设阈值，对上述视频位流和上述编码神经网络模型集分别进行传输。其中，上述视频位流中的内嵌式神经网络传输标识为0。当编码后神经网络模型的容量较大时，通过分别传输能够有效避免内嵌传输带来的带宽超载问题，减少传输资源的浪费。
本文档来自技高网...【技术保护点】
1.一种用于监控视频的神经网络模型编码传输方法，包括：
2.根据权利要求1所述的方法，其中，所述对所述神经网络模型集中的每个神经网络模型进行压缩编码，得到编码神经网络模型集，包括：
3.根据权利要求2所述的方法，其中，所述对所述神经网络模型集中对应第一个的神经网络模型进行独立编码，得到第一编码神经网络模型，包括：
4.根据权利要求3所述的方法，其中，所述对所述目标神经网络模型进行轻量化处理，得到轻量化神经网络模型，包括：
5.根据权利要求3所述的方法，其中，所述对所述剪枝后神经网络模型对应的剪枝后神经网络计算图进行计算图优化，得到优化后神经网络模型，包括：
6.根据权利要求3所述的方法，其中，所述对所述优化后神经网络模型对应的优化后模型参数集进行参数量化，得到第一编码神经网络模型，包括：
7.根据权利要求2所述的方法，其中，所述对当前神经网络模型进行差分编码，得到初始编码神经网络模型，包括：
8.一种用于监控视频的神经网络模型编码传输装置，包括：
9.一种电子设备，包括：
...
【技术特征摘要】
1.一种用于监控视频的神经网络模型编码传输方法，包括：
2.根据权利要求1所述的方法，其中，所述对所述神经网络模型集中的每个神经网络模型进行压缩编码，得到编码神经网络模型集，包括：
3.根据权利要求2所述的方法，其中，所述对所述神经网络模型集中对应第一个的神经网络模型进行独立编码，得到第一编码神经网络模型，包括：
4.根据权利要求3所述的方法，其中，所述对所述目标神经网络模型进行轻量化处理，得到轻量化神经网络模型，包括：
5.根据权利要求3所述的方法，其中，所述对所述剪枝后神经网络模型对应的剪枝后神经...
【专利技术属性】
技术研发人员：黄发亮，张博，周学武，李国新，
申请(专利权)人：北京中星天视科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。