一种AI驱动的实时点云视频传输方法及系统技术方案

本发明专利技术公开了一种AI驱动的实时点云视频传输方法及系统，该方法包括：利用AI生成设备获取视频数据信息，并对该视频数据信息进行处理，得到点云视频数据；对点云视频数据进行分层特征提取，确定点云视频帧中的关键点云特征，并传输该关键点云特征；接收的关键点云特征，并对接收的关键点云特征进行扩展与重构，获得与原始输入点云相似的点云信息，形成视觉效果上的原始点云视频。本发明专利技术通过将原始需要传输的点云视频流进行特征提取，只传输部分关键点云特征，最后在接收端进行恢复重建，达到视觉上传输的是原始点云视频的效果，可以显著降低点云视频流的传输量和能耗，避免了传统传输方案中繁琐的多重处理，大大减少了数据传输量。量。量。

【技术实现步骤摘要】
一种AI驱动的实时点云视频传输方法及系统


[0001]本专利技术涉及点云视频流传输领域，具体来说，涉及一种AI驱动的实时点云视频传输方法及系统。

技术介绍

[0002]点云是描述体积媒体和全息视频的一种典型且受欢迎的数据格式，它可以由带深度传感器的RGB
‑
D相机捕获。它允许用户体验六个自由度的运动场景，并可以改变其中的位置和方向，像传统的虚拟现实（Vitual Reality，简称VR）视频中只有三个自由度。体积媒体提供了多个角度的3D场景，被广泛应用于各个领域，包括教育、医疗、和娱乐等。
[0003]目前，即使包括5G在内的现有网络环境中传输密集的点云流非常具有挑战性，原因包括：（1）传输大量的点云视频需要极高的带宽，即使经过传统的压缩，也可能达到吉比特每秒（Gbps）的水平，超过了当前5G网络的能力；（2）3D体积媒体的计算开销很大，因为只能使用软件编解码器，低效率的编解码器也会减慢传输速度；（3）传统的技术例如自适应比特率视频流（Adaptive Bitrate Streaming，简称ABR）的速率自适应和缓冲控制不适用于3D体积媒体，需要探索提供体积媒体的先进技术。
[0004]目前大多数现有的点云视频传输技术可以通过传统压缩（包括提供有损和无损压缩）来实现，减少需要传输的数据规模，但仍然存在诸多不足之处，如：一方面，点云视频的无损压缩技术仍然不足以实现高效传输和较好的用户体验。另一方面，在网络条件有限的情况下，有损压缩很难保证恢复的点云真实性与实际的原始视频相匹配。其他的点云视频传输技术，例如扩展当前VR视频流的技术，在数据块层次上进行传输，这些方法的移动能耗高，接收设备上的处理延迟往往也是不可接受的。另外，每个传输块都容易受到网络波动和重组过程中各种数据包丢失的影响。
[0005]综上所述，传统技术的传输能力远远不能满足实时点云视频流的带宽要求。因此，有必要探索一种先进的传输方案，以保证在现有网络下的提供良好的服务。

技术实现思路

[0006]针对相关技术中的问题，本专利技术提出一种AI驱动的实时点云视频传输方法及系统，可以显著降低点云视频流的传输量和能耗。该系统避免了传统传输方案中繁琐的多重处理，设计并训练了从原始数据采集到最终渲染和播放的端到端深度学习网络。
[0007]本专利技术的技术方案是这样实现的：根据本专利技术的一个方面，提供了一种AI驱动的实时点云视频传输方法。
[0008]该AI驱动的实时点云视频传输方法，包括：利用AI生成设备获取视频数据信息，并对该视频数据信息进行处理，得到点云视频数据；对点云视频数据进行分层特征提取，确定点云视频帧中的关键点云特征，并传输该关键点云特征；
接收的关键点云特征，并对接收的关键点云特征进行扩展与重构，获得与原始输入点云相似的点云信息，形成视觉效果上的原始点云视频。
[0009]其中，利用AI生成设备获取视频数据信息，并对该视频数据信息进行处理，得到点云视频数据包括：利用多个不同角度的深度摄像机扫描需要传输的3D模型，并获取每个深度摄像机的点云流；并将从多视角摄像机汇集的多个点云拼接出一个完整的点云，得到点云视频数据；此外，该AI驱动的实时点云视频传输方法还包括：将预先搭建好的深度神经网络，在线下使用大量包含各种规模的3D模型组成的训练集进行训练，训练得到多个候选神经网络模型；训练好的每个神经网络模型拆分成分层特征提取模块和基于生成对抗网络的点云恢复重建模块；并分别部署到靠近输入端的高性能边缘服务器和用户终端设备上；在将分层特征提取模块和基于生成对抗网络的点云恢复重建模块部署到高性能边缘服务器和用户终端设备的同时，部署自适应匹配器，促使自适应匹配器根据实时监测到的网络带宽变化自适应地匹配满足当前网络的实时点云视频帧特征提取与重建恢复的神经网络模型。
[0010]进一步的，所述分层特征提取模块包含三个串联的集合抽象层次进行分层特征学习，来捕捉原始点云的局部结构；所述集合抽象层由三个基本层组成，包括采样层、 分组层和迷你PointNet层；其中，采样层，从上一层的输出中使用最远点采样技术选择一个子集，子集中的每个点表示一个局部区域的中心；分组层，在局部区域中心的周围找到n个最近邻点，组合构造成局部区域集合；迷你PointNet层，采用3个二维卷积层和1个最大池化层将局部区域集合变换为特征向量；最后一个集合抽象层的迷你PointNet层输出的特征向量即为所要传输的数据。
[0011]进一步的，所述点云恢复重建模块包括点云特征扩展部分以及最终点集的生成部分，其中，点云特征扩展部分，用于在收到传输过来的关键点云特征，通过一个多层感知器来统一特征的维度；并通过一个向上
‑
向下
‑
向上的扩展单元，产生更多样化的点云数目和特征维度；最终点集生成部分，包含两个多层感知器层，并通过该两个多层感知器层将扩展后的点云特征重构为三维坐标形式。
[0012]另外，对点云视频数据进行分层特征提取，确定点云视频帧中的关键点云特征包括：通过部署到靠近输入端的高性能边缘服务器的分层特征提取模块，对点云视频数据进行分层特征提取，确定点云视频帧中的关键点云特征。
[0013]此外，对接收的关键点云特征进行扩展与重构，获得与原始输入点云相似的点云信息，形成视觉效果上的原始点云视频包括：通过部署到靠近输入端的用户终端设备上的基于生成对抗网络的点云恢复重建模块，对关键点云特征进行扩展与重构，获得与原始输入点云相似的点云信息，形成视觉效果上的原始点云视频。
[0014]根据本专利技术的另一个方面，提供了一种AI驱动的实时点云视频传输系统。
[0015]该AI驱动的实时点云视频传输系统包括：点云视频数据获取模块，用于利用AI生成设备获取视频数据信息，并对该视频数据信息进行处理，得到点云视频数据；
关键点云特征提取模块，用于对点云视频数据进行分层特征提取，确定点云视频帧中的关键点云特征，并传输该关键点云特征；点云恢复重建模块，用于接收的关键点云特征，并对接收的关键点云特征进行扩展与重构，获得与原始输入点云相似的点云信息，形成视觉效果上的原始点云视频。
[0016]其中，所述点云视频数据获取模块在利用AI生成设备获取视频数据信息，并对该视频数据信息进行处理，得到点云视频数据时，利用多个不同角度的深度摄像机扫描需要传输的3D模型，并获取每个深度摄像机的点云流；并将从多视角摄像机汇集的多个点云拼接出一个完整的点云，得到点云视频数据此外，该AI驱动的实时点云视频传输系统还包括：神经网络训练模块，用于将预先搭建好的深度神经网络，在线下使用大量包含各种规模的3D模型组成的训练集进行训练，训练得到多个候选神经网络模型；神经网络部署模块，用于训练好的每个神经网络模型拆分成分层特征提取模块和基于生成对抗网络的点云恢复重建模块；并分别部署到靠近输入端的高性能边缘服务器和用户终端设备上；神经网络匹配模块，用于在将分层特征提取模块和基于生成对抗网络的点云恢复重建模块部署到高性能边缘服务器和用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AI驱动的实时点云视频传输方法，其特征在于，包括：利用AI生成设备获取视频数据信息，并对该视频数据信息进行处理，得到点云视频数据；对点云视频数据进行分层特征提取，确定点云视频帧中的关键点云特征，并传输该关键点云特征；接收的关键点云特征，并对接收的关键点云特征进行扩展与重构，获得与原始输入点云相似的点云信息，形成视觉效果上的原始点云视频。2.根据权利要求1所述的AI驱动的实时点云视频传输方法，其特征在于，还包括：将预先搭建好的深度神经网络，在线下使用大量包含各种规模的3D模型组成的训练集进行训练，训练得到多个候选神经网络模型；训练好的每个神经网络模型拆分成分层特征提取模块和基于生成对抗网络的点云恢复重建模块；并分别部署到靠近输入端的高性能边缘服务器和用户终端设备上；在将分层特征提取模块和基于生成对抗网络的点云恢复重建模块部署到高性能边缘服务器和用户终端设备的同时，部署自适应匹配器，促使自适应匹配器根据实时监测到的网络带宽变化自适应地匹配满足当前网络的实时点云视频帧特征提取与重建恢复的神经网络模型。3.根据权利要求2所述的AI驱动的实时点云视频传输方法，其特征在于，所述分层特征提取模块包含三个串联的集合抽象层次进行分层特征学习，来捕捉原始点云的局部结构；所述集合抽象层由三个基本层组成，包括采样层、分组层和迷你PointNet层；其中，采样层，从上一层的输出中使用最远点采样技术选择一个子集，子集中的每个点表示一个局部区域的中心；分组层，在局部区域中心的周围找到n个最近邻点，组合构造成局部区域集合；迷你PointNet层，采用3个二维卷积层和1个最大池化层将局部区域集合变换为特征向量；最后一个集合抽象层的迷你PointNet层输出的特征向量即为所要传输的数据。4.根据权利要求3所述的AI驱动的实时点云视频传输方法，其特征在于，所述点云恢复重建模块包括点云特征扩展部分以及最终点集的生成部分，其中，点云特征扩展部分，用于在收到传输过来的关键点云特征，通过一个多层感知器来统一特征的维度；并通过一个向上
‑
向下
‑
向上的扩展单元，产生更多样化的点云数目和特征维度；最终点集生成部分，包含两个多层感知器层，并通过该两个多层感知器层将扩展后的点云特征重构为三维坐标形式。5.根据权利要求4所述的AI驱动的实时点云视频传输方法，其特征在于，利用AI生成设备获取视频数据信息，并对该视频数据信息进行处理，得到点云视频数据包括：利用多个不同角度的深度摄像机扫描需要传输的3D模型，并获取每个深度摄像机的点云流；并将从多视角摄像机汇集的多个点云拼接出一个完整的点云，得到点云视频数据；对点云视频数据进行分层特征提取，确定点云视频帧中的关键点云特征包括：通过部署到靠近输入端的高性能边缘服务器的分层特征提取模块，对点云视频数据进
行分层特征提取，确定点云视频帧中的关键点云特征。对接收的关键点云特征进行扩展与重构，获得与原始输入点云相似的点云信息，形成视觉效果上的原始点云视频包括：通过部署到靠近输入端的用户终端设备上的基于生成对抗网络的点云恢复重建模块，对关键点云特征进行扩展与重构，获得与原始输入点云相似的点云信息，形成视觉效果上的原始点云视频。6.一种AI驱动的实时点云视频传输系统，其特征在于，包括：点云视频数据获取模块，用于利用AI生成设备获取视频数据...

【专利技术属性】
技术研发人员：乔秀全，黄亚坤，朱原玮，陈俊亮，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：