一种基于神经网络的低带宽低延时的编码压缩方法技术

本发明专利技术公开了一种基于神经网络的低带宽低延时的编码压缩方法。本发明专利技术方法首先接收图像采集设备或传感器发送的的视频数据码流，并通过图像信号处理模块转换成系统能处理的数据格式，以在线数据流模式持续发送；然后通过神经网络降噪算法对原始视频数据降噪，以及神经网络运动检测算法对原始视频数据进行运动检测，包括均值滤波对视频帧进行缩小；将逐点传入的像素值二值化后，作为辅助信息写入DDR；最后将原视频的降噪数据配合运动检测辅助信息进行编码压缩。本发明专利技术方法基于卷积神经网络降噪和运动检测，又经过均值滤波缩小和二值化，保证了视频帧质量的同时，以低带宽和低延时实现高效的编码压缩。时实现高效的编码压缩。时实现高效的编码压缩。

【技术实现步骤摘要】
一种基于神经网络的低带宽低延时的编码压缩方法


[0001]本专利技术属于集成电路
，特别涉及一种基于神经网络的低带宽低延时的编码压缩方法。

技术介绍

[0002]视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像。由于人眼的视觉暂留效应，当帧序列以一定的速率播放时，我们看到的就是动作连续的视频。由于连续的帧之间相似性极高，为便于储存传输，我们需要对原始的视频进行编码压缩，以去除空间、时间维度的冗余。视频信号数字化后数据带宽很高，通常在20MB/秒以上，因此计算机很难对之进行保存和处理。采用压缩技术通常数据带宽降到1
‑
10MB/秒，这样就可以将视频信号保存在计算机中并作相应的处理。
[0003]对称性是压缩编码的一个关键特征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频。而在电子出版和其它多媒体应用中，一般是把视频预先压缩处理好再播放，因此可以采用不对称编码。不对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的低带宽低延时的编码压缩方法，其特征在于，包括在线视频数据获取模块、神经网络降噪模块、神经网络运动检测模块、像素值二值化模块和编码压缩模块；具体如下：步骤(1)通过图像信号处理ISP模块，接收并处理来源于传感器的视频信号，以在线数据流模式将数据发送给后续模块；步骤(2)通过神经网络降噪模块对原始视频数据的每一帧图像分别进行卷积操作，训练得到卷积神经网络模型，由此得到降噪后视频数据，降噪后视频数据写入双倍速率同步动态随机存储器DDR；步骤(3)通过神经网络运动检测模块对原始视频数据进行运动检测，然后通过均值滤波对图像缩小处理；步骤(4)对缩小处理后的图像中的每个像素的像素值进行二值化处理，作为辅助信息写入双倍速率同步动态随机存储器DDR；步骤(5)利用步骤(2)的降噪后视频数据和步骤(4)的辅助信息，对视频进行编码压缩。2.如权利要求1所述的一种基于神经网络的低带宽低延时的编码压缩方法，其特征在于，步骤(1)具体是：首先，互补金属氧化物半导体传感器CMOS将捕捉到的光源信号转化成原始RAW数据；然后，将视频码流的RAW格式转换成系统能处理的YUV数据，按照在线数据流模式发送给后续模块。3.如权利要求2所述的一种基于神经网络的低带宽低延时的编码压缩方法，其特征在于，所述的在线数据流模式具体是：每一个时钟周期发送一拍数据使能，对应一个像素值；根据数据使能，将视频数据的每一帧图像，按照从上到下、从左到右的顺序逐点发送每个像素值；整个框架除视频编码时从DDR读取数据外，均为在线数据流模式，实现低延时传输。4.如权利要求1、2或3所述的一种基于神经网络的低带宽低延时的编码压缩方法，其特征在于，步骤(3)具体是：通过卷积神经网络CNN进行运动检测，得到每一个视频帧的掩膜mask，经过均值滤波对视频帧的掩膜mask进行缩小处理，具体是指对视频每一帧图像进行N
×
N均值滤波，即对每个N
×
N块的像素值相加后再除以N2，得到每个块的像素均值；运动检测后的原始视频数据以在线数据流模式的形式输入，缓存一行数据到Cache存储器中，凑够均值滤波的像素个数。5.如权...

【专利技术属性】
技术研发人员：程铖，应屹航，黄磊，陈伟，胡俊，陈树，段连明，杜丽娜，
申请(专利权)人：杭州国芯科技股份有限公司，
类型：发明
国别省市：