一种制造技术

本发明专利技术公开了一种

【技术实现步骤摘要】
一种Android平台视频通话编码的加速方法及系统


[0001]本专利技术属于视频编码
，尤其涉及一种
Android
平台视频通话编码的加速方法及系统
。

技术介绍

[0002]随着音视频通信技术的发展，视频通话的分辨率越来越高，这就导致视频通话的数据量越来越庞大
。
目前，针对视频编解码的软件编码方案
openH264
在进行视频通话时，需要占用大量的
CPU
资源，会导致手机发热
、
卡顿等现象
。
[0003]中国专利技术专利
CN115190318A
公开了一种基于内容相关性的视频编码方法与系统，所述方法包括：获取当前编码时域和空域上由边邻编码块组成的相关性编码集合；依次根据编码块集合中执行划分和不执行划分的数量
、
执行四叉树划分和不执行四叉树划分的数量
、
执行垂直划分的数量和执行水平划分的数量
、
执行二叉树划分的数量和执行三叉树划分的数量进行相关性判断；最终获得当前编码块的编码划分模式
。
该专利技术通过对时域和空域上相邻编码块编码划分类别的统计分析，从而获得当前编码块的编码方式，在提高了编码效率的同时大大降低了编码复杂度
。
[0004]中国专利技术专利
CN113810695A
公开了一种视频编码方法
、
装置及计算机可读存储介质，所述方法包括：从视频中提取各个关键帧以及各个关键帧的时间索引；利用深度学习神经网络分别提取各个关键帧的特征向量；对各个关键帧的特征向量和时间索引进行编码
。
本专利技术能够减少视频编码的开销，从而提升视频编码的编码效率
。
[0005]综上所述，在现有专利技术专利当中，通常使用深度学习模型如卷积神经网络等，改进视频编码框架的某一模块，以减少视频编码过程中的计算量，从而提升视频编码的效率，但是上述现有技术依然存在以下缺点；
[0006](1)
使用较深层次的神经网络模型移植到混合视频编码框架中，但未考虑具体应用平台的
CPU
及
GPU
性能能否满足视频通话的实时性要求
。
[0007](2)
对不同区域采用不同的编码方案，增加了划分不同区域的计算成本，增加了视频编码的时间复杂度，降低了视频编码的效率
。
[0008](3)
只停留在研究层面，未将研究落实的实际应用当中，没有提高视频图像帧的质量，因此无法保证视频清晰度
。

技术实现思路

[0009]本专利技术的目的在于提供一种
Android
平台视频通话编码的加速方法及系统，解决
openH264
在编码过程中
CPU
占用率高，编码速度慢的问题，提高编码效率的同时提高视频图像的质量及清晰度，同时满足了视频通话的实时性
。
[0010]本专利技术的目的可以通过以下技术方案实现：
[0011]第一方面，本申请实施例提供了一种
Android
平台视频通话编码的加速方法，包括以下步骤：
[0012]S1
，采集视频数据，从所述视频数据中提取视频帧图像，用所述视频帧图像构建数据集；
[0013]S2
，调用编码器并对其进行初始化，对所述视频帧图像进行编码处理，获取编码后的未滤波重建图像，保留编码前的原图像；
[0014]S3
，构建卷积神经网络模型，将所述未滤波重建图像输入所述卷积神经网络模型进行滤波；
[0015]S4
，获取所述原图像与所述未滤波重建图像之间的残差图像；
[0016]S5
，将所述未滤波重建图像与所述残差图像相加，获取卷积滤波重建图像并输出；
[0017]S6
，训练所述卷积神经网络模型，获取所述未滤波重建图像与所述卷积滤波重建图像之间的映射模型；
[0018]S7
，将训练后的所述卷积神经网络模型进行模型转换，获取轻量化卷积神经网络模型；
[0019]S8
，部署所述轻量化卷积神经网络模型替换原去块滤波模块，形成基于所述卷积神经网络模型的去块滤波模块；
[0020]S9
，将所述卷积滤波重建图像进行传输
。
[0021]作为本专利技术的一种优选技术方案，通过调用相机并设置所述视频数据的参数，采集所述视频数据
。
[0022]作为本专利技术的一种优选技术方案，所述编码器包括调用接口，根据所述调用接口获取编码器对象并将其初始化，通过所述编码器对象调用所述编码器；其中，所述编码器对象为所述编码器对应的指针
。
[0023]作为本专利技术的一种优选技术方案，所述卷积神经网络模型包括六个卷积层和两个全连接层
。
[0024]作为本专利技术的一种优选技术方案，通过所述编码器对所述视频帧图像进行提取，获取图像数据集
。
[0025]作为本专利技术的一种优选技术方案，将所述图像数据集按比例划分为训练集和测试集，将所述训练集中的数据输入所述卷积神经网络模型进行训练，通过所述测试集中的数据进行验证；其中，所述比例为：训练集
:
测试集＝
4:1。
[0026]作为本专利技术的一种优选技术方案，所述模型转换的操作为：剔除所述卷积神经网络模型的训练功能，保留其推理功能
。
[0027]第二方面，本申请实施例提供了一种
Android
平台视频通话编码的加速系统，包括依次通信连接的视频采集模块
、
视频编码模块和视频传输模块；
[0028]所述视频采集模块，用于开启相机并设置参数，进行视频采集；
[0029]所述视频编码模块，用于通过调用并初始化编码器，对采集到的视频进行编码；构建卷积神经网络模型并进行训练，形成基于卷积神经网络模型的去块滤波模块，并用其替换原去块滤波模块；
[0030]所述视频传输模块，用于将经过采集
、
编码以及滤波后的图像进行传输
。
[0031]作为本专利技术的一种优选技术方案，所述视频采集模块包括相机调用单元和参数设置单元；
[0032]所述相机调用单元，用于通过
Android Camera2
框架调用所述相机，并根据所述相
机的
ID
参数选择前置相机或者后置相机；
[0033]所述参数设置单元，用于设置所述视频的相关参数，包括分辨率
、
帧率
、
编码器以及视频数据格式
。
[0034]作为本专利技术的一种优选技术方案，所述视频编码模块包括依次通信连接的编码器调用单元
、
编码器初始化单元
、
编码单元和去块滤波替换单元；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
Android
平台视频通话编码的加速方法，其特征在于：包括以下步骤：
S1
，采集视频数据，从所述视频数据中提取视频帧图像，用所述视频帧图像构建数据集；
S2
，调用编码器并对其进行初始化，对所述视频帧图像进行编码处理，获取编码后的未滤波重建图像，保留编码前的原图像；
S3
，构建卷积神经网络模型，将所述未滤波重建图像输入所述卷积神经网络模型进行滤波；
S4
，获取所述原图像与所述未滤波重建图像之间的残差图像；
S5
，将所述未滤波重建图像与所述残差图像相加，获取卷积滤波重建图像并输出；
S6
，训练所述卷积神经网络模型，获取所述未滤波重建图像与所述卷积滤波重建图像之间的映射模型；
S7
，将训练后的所述卷积神经网络模型进行模型转换，获取轻量化卷积神经网络模型；
S8
，部署所述轻量化卷积神经网络模型替换原去块滤波模块，形成基于所述卷积神经网络模型的去块滤波模块；
S9
，将所述卷积滤波重建图像进行传输
。2.
根据权利要求1所述的一种
Android
平台视频通话编码的加速方法，其特征在于：通过调用相机并设置所述视频数据的参数，采集所述视频数据
。3.
根据权利要求1所述的一种
Android
平台视频通话编码的加速方法，其特征在于：所述编码器包括调用接口，根据所述调用接口获取编码器对象并将其初始化，通过所述编码器对象调用所述编码器；其中，所述编码器对象为所述编码器对应的指针
。4.
根据权利要求1所述的一种
Android
平台视频通话编码的加速方法，其特征在于：所述卷积神经网络模型包括六个卷积层和两个全连接层
。5.
根据权利要求1所述的一种
Android
平台视频通话编码的加速方法，其特征在于：通过所述编码器对所述视频帧图像进行提取，获取图像数据集
。6.
根据权利要求5所述的一种
Android
平台视频通话编码的加速方法，其特征在于：将所述图像数据集按比例划分为训练集和测试集，将所述训练集中的数据输入所述卷积神经网络模型进行训练，通过...

【专利技术属性】
技术研发人员：褚华，张胜君，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：