一种基于轻量化的实时视频图像设备及处理方法技术

本发明专利技术涉及数字信息领域，并公开了一种基于轻量化的实时视频图像设备，将监控采集点的原视频流通过网络交换机发送到视频轻量化设备中进行轻量化处理，将轻量化后的轻量化视频流发送网络交换机，网络交换机将轻量化视频流发送给大屏幕和核心交换机，编码格式：经设备轻量化处理后码流支持H.264、H.265编码标准，与原视频编码格式、分辨率、帧率保持一致，编码协议：H.264、H.265，输入输出视频编码格式一致，过程中不采用其他视频编码格式，轻量化质量：轻量化后视频播放流畅，延时≤100ms，无失真、拖尾、跳帧、卡顿、能保持原图像基本输出特性。性。性。

【技术实现步骤摘要】
一种基于轻量化的实时视频图像设备及处理方法


[0001]本专利技术涉及数字信息领域，更具体的说，涉及一种基于轻量化的实时视频图像设备及处理方法。

技术介绍

[0002]为降低实时高清视频传输码率，传统的方案是在系统部署视频压缩设备来解决。主要是前端部署一台视频压缩设备，后端部署一台视频解压缩设备，在视频压缩设备和视频解压缩设备之间，使用的都是私有协议。
[0003]而视频压缩设备，主要存在以下缺点：
[0004]第一，视频压缩设备和视频解压缩设备之间使用的是私有协议，不符合GAT995
‑
2020
‑
《道路交通安全违法行为视频取证设备技术规范》，无法作为证据，对使用单位来说，是个巨大的潜在风险点。
[0005]第二，在系统中部署2台设备，增加了用户使用成本、故障风险点、视频流延迟时间等。
[0006]第三，压缩设备的图像编码效率低，经常出现图像失真、抽帧，导致图像模糊不清，降低智能分析管理平台的准确率；
[0007]为此我们提出了一种基于轻量化的实时视频图像设备及处理方法。

技术实现思路

[0008]本专利技术的目的是针对现有技术的不足，提供一种基于轻量化的实时视频图像设备及剥膜方法，用于提高设备上墨效率。
[0009]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0010]一种基于轻量化的实时视频图像处理方法,将监控采集点的原视频流通过网络交换机发送到视频轻量化设备中进行轻量化处理，将轻量化后的轻量化视频流发送网络交换机，网络交换机将轻量化视频流发送给大屏幕和核心交换机。
[0011]一种基于轻量化的实时视频图像设备，包括帧内编码模块和帧间追踪模块；
[0012]所述帧内编码模块包括帧内预测，其利用邻近块之间的空域相关性来消除空域冗余，即帧内预测利用当前帧中已重构的像素，导出当前块的预测值，预测块的导出规则是帧内预测的核心；
[0013]帧间追踪模块通过使用光流法完成帧间追踪，将运动矢量和残差分离，突破传统的平移运动，加入了旋转、缩放、非线性，同时可以对目标跟踪、定位；
[0014]深度学习视频编码，计编码算法及其依赖于数据概率结构的分析，基于此观察，视频图像轻量化技术设计新的非线性变换方法以驱动卷积神经网络的输出数据分布更接近高斯分布，并结合量化技术，自编码网络和对抗生成网络，设计可进行端到端进行优化的图像和视频编码算法。
[0015]更进一步的，帧内预测包含平面预测、直流预测和角度预测等模式，为了提升编码
性能，视频图像轻量化技术提出基于位置的帧内预测组合，使用边界参考像素以及滤波后的边界参考像素对传统平面预测、直流预测和角度预测模式的结果进行修正，并利用当前块的上下文信息为不同的预测模式训练不同的网络，并且根据上下文，额外训练一个网络预测不同模式的概率，
[0016]视频图像轻量化技术的图像分割突破式的采用了新的边界提取算法，智能分析数据的预测方法，利用graph based image segmentation算法，利用像素区域融合技术得到分割结果，使用分割图的梯度来提取边界轮廓，最后根据边界轮廓提取边带，将图片分割和视频编码无缝融合。
[0017]更进一步的，所述光流法用于帧间跟踪的原理如下；
[0018]1)对一个连续的视频帧序列进行处理；
[0019]2)针对每一个视频序列，利用一定的目标检测方法，检测可能出现的前景目标；
[0020]3)如果某一帧出现了前景目标，找到其具有代表性的关键特征点(可以随机产生，也可以利用角点来做特征点)；
[0021]4)对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；
[0022]5)如此迭代进行，便可实现目标的跟踪。
[0023]更进一步的，所述输入的视频序列被分为关键帧和WZ帧，关键帧使用传统帧内编码器进行编码；而WZ帧按以下过程进行编码：先执行基于块的变换，接着提取相同位置的每个像素块的系数，然后将这些系数组织在多个频带中，并对得到的变换系数进行量化，量化信息通过使用分布式算术编码器进行处理，通过重叠算术编码区间实现编码，并用CRC码辅助校验。
[0024]更进一步的，深度学习编码，首先对输入的待编码视频进行帧提取，然后对其视频帧重新设置尺寸；其次，使用基于学习的光流估计获取运动信息并重建当前视频帧；然后，使用两个自编码器样式的神经网络来编码相应的行为和残差信息，可以显著的编码当前视频帧的大小；将编码后的各视频帧合成为一个新的视频，通过使用自编码器基于参考帧、当前帧和原始运动场同时提取、编码并解码出重建的运动场和残差，然后使用空域偏移卷积生成当前帧的预测，最后与残差相加得到重建帧。
[0025]更进一步的：编码协议采用H.264、H.265。
[0026]根据上述方案，
[0027]相比于现有技术的有益效果如下：
[0028]1、编码格式：经设备轻量化处理后码流支持H.264、H.265编码标准，与原视频编码格式、分辨率、帧率保持一致；
[0029]2、编码协议：H.264、H.265，输入输出视频编码格式一致，过程中不采用其他视频编码格式；
[0030]3、轻量化质量：轻量化后视频播放流畅，延时≤100ms，无失真、拖尾、跳帧、卡顿、能保持原图像基本输出特性；
[0031]4、标准场景模式下：
[0032]4K码率16Mbps的视频流，轻量化后码率均值<＝1500Kbps；
[0033]1080P码率4Mbps的视频流，轻量化后码率均值<＝350Kbps；
[0034]720P码率4Mbps的视频流，轻量化后码率均值<＝250Kbps；
[0035]静态场景模式下：
[0036]4K码率16Mbps的视频流，轻量化后码率均值<＝350Kbps；
[0037]1080P码率4Mbps的视频流，轻量化后码率均值<＝150Kbps；
[0038]720P码率4Mbps的视频流，轻量化后码率均值<＝70Kbps；
[0039]编码后输出图像PSNR(峰值信噪比)≥42dB。
附图说明
[0040]图1为本专利技术一种基于轻量化的实时视频图像设备对接示意图
[0041]图2为现有技术对比示意图。
具体实施方式
[0042]下面结合附图并通过具体实施例对专利技术作进一步详述，以下实施例只是描述性的，不是限定性的本专利技术的保护范围。
[0043]一种基于轻量化的实时视频图像处理方法,将监控采集点的原视频流通过网络交换机发送到视频轻量化设备中进行轻量化处理，将轻量化后的轻量化视频流发送网络交换机，网络交换机将轻量化视频流发送给大屏幕和核心交换机。
[0044]在视频监本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量化的实时视频图像处理方法，其特征在于，将监控采集点的原视频流通过网络交换机发送到视频轻量化设备中进行轻量化处理，将轻量化后的轻量化视频流发送网络交换机，网络交换机将轻量化视频流发送给大屏幕和核心交换机。2.一种基于轻量化的实时视频图像设备，其特征在于，包括帧内编码模块和帧间追踪模块；所述帧内编码模块包括帧内预测，其利用邻近块之间的空域相关性来消除空域冗余，即帧内预测利用当前帧中已重构的像素，导出当前块的预测值，预测块的导出规则是帧内预测的核心；帧间追踪模块通过使用光流法完成帧间追踪，将运动矢量和残差分离，突破传统的平移运动，加入了旋转、缩放、非线性，同时可以对目标跟踪、定位；深度学习视频编码，计编码算法及其依赖于数据概率结构的分析，基于此观察，视频图像轻量化技术设计新的非线性变换方法以驱动卷积神经网络的输出数据分布更接近高斯分布，并结合量化技术，自编码网络和对抗生成网络，设计可进行端到端进行优化的图像和视频编码算法。3.根据权利要求2所述的一种基于轻量化的实时视频图像设备，其特征在于，帧内预测包含平面预测、直流预测和角度预测等模式，为了提升编码性能，视频图像轻量化技术提出基于位置的帧内预测组合，使用边界参考像素以及滤波后的边界参考像素对传统平面预测、直流预测和角度预测模式的结果进行修正，并利用当前块的上下文信息为不同的预测模式训练不同的网络，并且根据上下文，额外训练一个网络预测不同模式的概率，视频图像轻量化技术的图像分割突破式的采用了新的边界提取算法，智能分析数据的预测方法，利用graph based image segmentation算法，利用像素区域融合技术得到分割结果，使用分割图的梯度来提取边界轮廓，最后根据边界轮廓提取边带，将图片分割和视频编码无缝融合。4.根据...

【专利技术属性】
技术研发人员：曹俊，
申请(专利权)人：江苏允博信息科技有限公司，
类型：发明
国别省市：