一种基于深度学习的视频压缩方法技术

本发明专利技术提供了一种基于深度学习的视频压缩方法，本视频压缩方法通过采集用户的面部信息以及多个用户之间的关联信息，通过深度学习方式在源视频中识别并分离出基于多个用户的目标画面区域，并将分离出的目标画面进行缓存待用；其后，对源视频进行下采样以及压缩，并将基于用户的目标画面区域重建并合成到压缩后的视频中，使源视频压缩后，同时获得保留有目标用户清晰画面的多个视频；该压缩方法兼顾了视频容量以及画面质量，有利于视频在多个目标用户中传播。用户中传播。用户中传播。

【技术实现步骤摘要】
一种基于深度学习的视频压缩方法


[0001]本专利技术涉及视频处理领域。具体而言，涉及一种基于深度学习的视频压缩方法。

技术介绍

[0002]随着互联网技术的发展以及视频拍摄技术的发展，人们越加喜欢利用视频作为记录形式，并通过将视频经由互联网进行分享，用于为大众分享自身的日常活动情况。以视频为主体的移动多媒体数据因此急剧增长，并且即使随着如高速光纤宽带、移动设备5G技术的增速，视频数据的增加速度仍然超过技术的发展速度，为相关的视频业务领域提出新的挑战。根据Cisco Visual Network Index的统计数据指出，从2017年到2022年期间，全球互联网流量将增长3倍或以上，其中流量繁忙期间的峰值将增长4.8倍以；并随着短视频、在线游戏、远程办公等应用的高速发展，人们对互联网带宽以及减小网络延迟的要求只会越来越高。
[0003]当前不少国家需要重振旅游业，并且需要以更丰富的体验方法和更高质量的服务以重新吸引旅客的消费，当中包括相关旅游园区设计了在游玩区域实时记录游客们的游玩情景，并在游客完成游玩过程后将记录视频发送到游客的移动设备上；更优方案是，将已剪辑完成的视频发送给游客，使游客在完成游玩后，更能对旅游园区留下印象。
[0004]查阅相关地已公开技术方案，公开号为US2021142096 (A1)的技术方案提出利用压缩无人驾驶汽车前摄像头的监控视频内容，用于提高视频流的传输速度，保证后台的操作员可以更快地接管车辆的操作，避免视频延迟带来的交通事故；公开号为US2021090301（A1）提出将视频图像画面分为纹理数据集以及形状数据集，并采用不同的压缩方式对以下两种数据集进行区别压缩以提高压缩率和视频清晰度；公开号为CN111669596 (A)的技术方案根据视频的最大播放帧率和最小播放帧率确定层次预测结构的阶层数，并以多核的运算系统对视频进行分片、分支压缩，提高压缩的速率。目前对于视频压缩的方法多为对视频画面的整体压缩，而随着深度学习神经网络的广泛应用，可以对视频压缩方式提出更个性化的技术实施方式。

技术实现思路

[0005]本专利技术的目的在于，通过对保存的源视步中的用户以及用户群组进行目标区域的识别和分离，从而提取出多个基于用户以及用户群组的清晰画面；在对其余非目标区域的视频进行压缩后，重新多段合成基于用户以及用户群组的清晰画面，从而实现源视频的有效压缩并且保留用户人像部分的清晰度，有效利用了视频的编码容量，提高了视频的可传播性。
[0006]本专利技术采用如下技术方案：一种基于深度学习的视频压缩方法，所述压缩方法包括以下步骤：S1：采集至少一个目标用户的面部图像，生成基于目标用户的面部特征；S2：获得至少两个所述目标用户的关联度，组合获得至少一个目标用户群组G；
S3：对源视频进行池化，获得第一视频V1；S4：基于所述目标用户的面部特征以及所述目标用户群组G，利用深度学习神经网络对所述第一视频V1进行目标区域和非目标区域划分，对所述目标区域的视频进行分离并缓存，获得目标视频E；S5：对所述第一视频V1的进行指定码率压缩，获得第二视频V2；S6：将所述目标视频E按时序以及坐标的序列合成到所述第二视频V2，获得至少一个第三视频V3；其中，完成步骤S3获得所述第一视频V1后，将所述第一视频V1缓存到多个分布式节点上，由多个分布式节点同时执行步骤S4至S6的处理步骤，分离基于多个所述目标用户的多个所述目标视频，并获得基于多个所述目标用户的所述第三视频V3；分布式节点通过所负责的多个目标用户的联系方式，将对应所述目标用户的所述第三视频V3发送到所述目标用户的设备上；步骤S1对目标用户进行面部图像采集的方法，包括使用固定拍摄设备以及使用移动设备对用户面部进行拍摄；步骤S2计算至少两个目标用户的关联度，包括由用户提供与其他用户的关系信息；包括在步骤S1中至少两个有关联的用户进行同时拍摄并采集面部图像；步骤S3中，使用深度学习神经网络对源视频进行池化下采样；步骤S4对所述目标区域进行分离，包括对基于图像轮廓进行像素标记；包括基于图像颜色通道进行像素标记；包括基于多个所述用户以及其关联用户的像素区域进行标记；其中，将基于对人物进行分离的所述目标区域，设置为第一目标区域；步骤S4对所述目标区域进行分离，包括对视频画面中非人像部分的物件、景物进行标记，并设置为第二目标区域；用于池化源视频的深度学习神经网络，包括多个对所述第二目标区域完成预训练的池化模型；所述视频压缩方法包括一种基于深度学习的视频压缩系统，包括：采集模块，用于采集所述目标用户的面部图像信息，以及采集至少两个所述目标用户的关联度信息；分离模块，用于池化源视频，并从源视频中分离所述目标区域与非目标区域的视频画面；压缩模块，用于对所述非目标区域视频画面进行压缩；重建模块，用于将至少两个视频画面进行合成，并重建为完整视频；其中，所述分离模块采用基于机器学习的深度神经网络的运算装置组成；所述分离模块至少包括一个卷积层、一个池化层以及一个激活层，用于对源视频进分卷积以及池化运算。
[0007]本专利技术所取得的有益效果是：1. 本专利技术的视频压缩方法通过采集和分析用户的面部特征，以及收集至少两个用户之间的关联程度，有针对性地保留目标用户以及目标用户群组的清晰视频画面，从而有针对性地对非关注画面进行压缩；2. 本专利技术的视频压缩方法通过对源视频的下采样以及池化操作，避免在深度神经网络在识别和分离目标用户的视频过程中，对目标用户的特征进行过度拟合，有效利用算力，并能够并发处理多个用户的画面分离运算；
3. 本专利技术的视频压缩方法在完成压缩后获得多个基于特定用户以及用户群组的压缩视频，有利于同时分布与传播，以及在传播后进行个性化的管理。
[0008]4. 本专利技术的视频压缩方法对软、硬件配置可进行模块化以及多节点灵活配置，方便今后的升级或者更换相关的软、硬件环境，降低了使用的成本。
附图说明
[0009]从以下结合附图的描述可以进一步理解本专利技术。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
[0010]图1为本专利技术实施例一的原理示意图；图2为对用户面部信息采集生成面部特征的示意图；图3为本专利技术实施例二的原理示意图；图4为本专利技术实施例三的效果示意图；图5为本专利技术所述各模块的组成示意图。
[0011]附图编号说明：10
‑
采集模块；20
‑
分离模块；30
‑
压缩模块；40
‑
重建模块；100
‑
源视频；101
‑
用户；102
‑
面部特征信息；103
‑
目标视频E；104
‑
第一视频V1；105
‑
第二视频V2；106
‑
第三视频V3；202a
‑
第一用户面部特征信息；202b
‑
第二用户面部特征信息。
具体实施方式
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的视频压缩方法，其特征在于，所述压缩方法包括以下步骤：S1：采集至少一个目标用户的面部图像，生成基于目标用户的面部特征；S2：获得至少两个所述目标用户的关联度，组合获得至少一个目标用户群组G；S3：对源视频进行池化，获得第一视频V1；S4：基于所述目标用户的面部特征以及所述目标用户群组G，利用深度学习神经网络对所述第一视频V1进行目标区域和非目标区域划分，对所述目标区域的视频进行分离并缓存，获得目标视频E；S5：对所述第一视频V1的进行指定码率压缩，获得第二视频V2；S6：将所述目标视频E按时序以及坐标的序列合成到所述第二视频V2，获得至少一个第三视频V3；其中，完成步骤S3获得所述第一视频V1后，将所述第一视频V1缓存到多个分布式节点上，由多个分布式节点同时执行步骤S4至S6的处理步骤，分离基于多个所述目标用户的多个所述目标视频，并获得基于多个所述目标用户的所述第三视频V3；分布式节点通过所负责的多个目标用户的联系方式，将对应所述目标用户的所述第三视频V3发送到所述目标用户的设备上。2.根据权利要求1所述一种基于深度学习的视频压缩方法，其特征在于，步骤S1对目标用户进行面部图像采集的方法，包括使用固定拍摄设备以及使用移动设备对用户面部进行拍摄。3.根据权利要求2所述一种基于深度学习的视频压缩方法，其特征在于，步骤S2计算至少两个目标用户的关联度，包括由用户提供与其他用户的关系信息；包括在步骤S1中至少两个有关联的用户进行同时拍摄并采集面部图像。4.根据权利要求3所述一种基于深度学习的视频压缩方法，其特征在于，步骤S3中，使用深度学习神经网络对源视频进行池化下采样。5.根据权利要求4所述一种基于深度学...

【专利技术属性】
技术研发人员：张卫平，丁烨，岑全，李显阔，
申请(专利权)人：环球数科集团有限公司，
类型：发明
国别省市：