点云视频分类、点云视频分类模型训练方法及相关设备技术

本公开关于一种点云视频分类、点云视频分类模型训练方法及相关设备，其中，点云视频分类方法包括：获取多个点云视频帧；根据多个点云视频帧的点云数据，对多个点云视频帧进行区域划分，以得到多个点云子区域；对多个点云子区域中的点云数据进行空间特征提取，以得到至少一个空间特征序列；根据至少一个空间特征序列中的各空间特征的时间信息，确定时间编码特征序列；将时间编码特征序列中的各时间编码特征进行特征融合，以得到目标融合特征；根据目标融合特征，对点云视频进行分类，以得到点云视频所属的类别，由此，可有效降低点云数据的计算量，高效且准确地预测点云视频的类别。高效且准确地预测点云视频的类别。高效且准确地预测点云视频的类别。

【技术实现步骤摘要】
点云视频分类、点云视频分类模型训练方法及相关设备


[0001]本公开涉及人工智能
，尤其涉及一种点云视频分类、点云视频分类模型训练方法及相关设备。

技术介绍

[0002]目前，随着人工智能技术的发展，在越来越多的3D应用场景，需要对点云视频进行分类，以确定出点云视频对应的类别，点云视频对应的类别可以指示点云视频中的行为、场景等。比如，给定一段挥手的点云视频，预测其视频动作类别为“挥手”。因此，如何对点云视频进行分类是非常重要的。

技术实现思路

[0003]本公开提供一种点云视频分类、点云视频分类模型训练方法及相关设备，以至少在一定程度上解决相关技术中的技术问题之一。本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种点云视频分类方法，包括：获取多个点云视频帧；根据所述多个点云视频帧的点云数据，对所述多个点云视频帧进行区域划分，以得到多个点云子区域；对所述多个点云子区域进行空间特征提取，以得到至少一个空间特征序列；根据所述至少一个空间特征序列中的各空间特征的时间信息，确定时间编码特征序列；将所述时间编码特征序列中的各时间编码特征进行特征融合，以得到目标融合特征；根据所述目标融合特征，对所述点云视频进行分类，以得到点云视频所属的类别。
[0005]根据本公开实施例的第二方面，提供了一种点云视频分类模型训练方法，包括：获取训练数据，其中，所述训练数据包括第一训练样本和第二训练样本，第一训练样本包括多个第一样本点云视频帧以及多个第一样本点云视频帧对应的类别标注标签，第二训练样本包括多个第二样本点云视频帧；将所述多个第一样本点云视频帧输入至初始的点云视频分类模型中，以得到所述初始的点云视频分类模型输出的类别预测标签；根据所述多个第一样本点云视频帧对应的类别预测标签和类别标注标签之间的差异，生成第一子损失值；将所述多个第二样本点云视频输入至初始的点云视频分类模型中，以得到所述初始的点云视频分类模型输出的第一类别预测标签序列和第二类别预测标签序列；根据所述第一类别预测标签序列和所述第二类别预测标签序列之间的差异，生成第二子损失值；根据所述第一子损失值和所述第二子损失值，对所述初始的点云视频分类模型进行训练。
[0006]根据本公开实施例的第三方面，提供了一种点云视频分类装置，包括：获取模块，用于获取多个点云视频帧；划分模块，用于根据所述多个点云视频帧的点云数据，对所述多个点云视频帧进行区域划分，以得到多个点云子区域；提取模块，用于对所述多个点云子区域进行空间特征提取，以得到至少一个空间特征序列；确定模块，用于根据所述至少一个空间特征序列中的各空间特征的时间信息，确定时间编码特征序列；融合模块，用于将所述时间编码特征序列中的各时间编码特征进行特征融合，以得到目标融合特征；分类模块，用于根据所述目标融合特征，对所述点云视频进行分类，以得到点云视频所属的类别。
[0007]根据本公开实施例的第四方面，提供了一种点云视频分类模型训练装置，包括：获取模块，用于获取训练数据，其中，所述训练数据包括第一训练样本和第二训练样本，第一训练样本包括多个第一样本点云视频帧以及多个第一样本点云视频帧对应的类别标注标签，第二训练样本包括多个第二样本点云视频帧；第一输入模块，用于将所述多个第一样本点云视频帧输入至初始的点云视频分类模型中，以得到所述初始的点云视频分类模型输出的类别预测标签；第一生成模块，用于根据所述多个第一样本点云视频帧对应的类别预测标签和类别标注标签之间的差异，生成第一子损失值；第二输入模块，用于将所述多个第二样本点云视频输入至初始的点云视频分类模型中，以得到所述初始的点云视频分类模型输出的第一类别预测标签序列和第二类别预测标签序列；第二生成模块，用于根据所述第一类别预测标签序列和所述第二类别预测标签序列之间的差异，生成第二子损失值；训练模块，用于根据所述第一子损失值和所述第二子损失值，对所述初始的点云视频分类模型进行训练。
[0008]根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如本公开上述第一方面实施例所述的点云视频分类方法，或者，第二方面实施例所述的点云视频分类模型训练方法。
[0009]根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开上述第一方面实施例所述的点云视频分类方法，或者，第二方面实施例所述的点云视频分类模型训练方法。
[0010]根据本公开实施例的第七方面，提供一种计算机程序产品，包括：计算机程序，所述计算机程序被处理器执行时实现本公开上述第一方面实施例所述的点云视频分类方法，或者，第二方面实施例所述的点云视频分类模型训练方法。
[0011]本公开的实施例提供的技术方案至少带来以下有益效果：
[0012]通过获取多个点云视频帧；根据多个点云视频帧的点云数据，对多个点云视频帧进行区域划分，以得到多个点云子区域；对多个点云子区域进行空间特征提取，以得到至少一个空间特征序列；根据至少一个空间特征序列中的各空间特征的时间信息，确定时间编码特征序列；将时间编码特征序列中的各时间编码特征进行特征融合，以得到目标融合特征；根据目标融合特征，对所述点云视频进行分类，以得到点云视频所属的类别，由此，通过对点云视频帧进行区域划分得到的多个点云子区域中的点云数据进行空间特征提取，并根据融合了各时间信息对应的空间特征的目标融合特征进行点云视频分类，可有效降低点云数据的计算量，高效且准确地预测点云视频的类别。
[0013]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0014]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
[0015]图1是本公开实施例中基于点云的三维动作视频的示意图。
[0016]图2是本公开第一实施例所示出的点云视频分类方法的流程示意图。
[0017]图3是本公开第二实施例所示出的点云视频分类方法的流程示意图。
[0018]图4是本公开第三实施例所示出的点云视频分类方法的流程示意图。
[0019]图5是本公开第四实施例所示出的点云视频分类方法的流程示意图。
[0020]图6是本公开实施例提供的点云视频分类方法的流程示意图。
[0021]图7是本公开第五实施例所示出的点云视频分类模型训练方法的流程示意图；
[0022]图8是本公开第六实施例所示出的点云视频分类模型训练方法的流程示意图；
[0023]图9是本公开第七实施例所示出的点云视频分类模型训练方法的流程示意图；
[0024]图10是本公开第八实施例所示出的点云视频分类模型训练方法的流程示意图；
[0025]图11为本公开实施例的点云视频分类模型训练方法的流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云视频分类方法，其特征在于，包括：获取多个点云视频帧；根据所述多个点云视频帧的点云数据，对所述多个点云视频帧进行区域划分，以得到多个点云子区域；对所述多个点云子区域中的点云数据进行空间特征提取，以得到至少一个空间特征序列；根据所述至少一个空间特征序列中的各空间特征的时间信息，确定时间编码特征序列；将所述时间编码特征序列中的各时间编码特征进行特征融合，以得到目标融合特征；根据所述目标融合特征，对所述点云视频进行分类，以得到点云视频所属的类别。2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个空间特征序列中的各空间特征的时间信息，确定时间编码特征序列，包括：针对所述至少一个空间特征序列中的任一空间特征序列，将所述任一空间特征序列中的各空间特征进行特征映射，以得到映射空间特征序列；根据各所述映射空间特征序列中的各映射空间特征对应的时间信息，对各所述映射空间特征进行特征融合，以得到时间编码特征；根据各所述时间编码特征，确定时间编码特征序列。3.根据权利要求1所述的方法，其特征在于，所述根据所述多个点云视频帧的点云数据，对所述多个点云视频帧进行区域划分，以得到多个子点云区域，包括：采用滑动窗口对所述多个点云视频帧进行划分，以得到所述多个点云视频帧的多个聚簇；对各所述聚簇中的多个点云视频帧进行区域划分，以得到多个点云子区域。4.根据权利要求3所述的方法，其特征在于，所述对各所述聚簇中的多个点云视频帧进行区域划分，以得到多个子点云区域，包括：对各所述聚簇中的多个点云视频帧进行对象检测，以得到至少一个目标检测对象；将各所述聚簇中的多个点云视频帧中的同一目标检测对象所属的点云区域划分，以得到多个点云子区域。5.根据权利要求4所述的方法，其特征在于，所述根据所述目标融合特征，对所述点云视频进行分类，以得到点云视频所属的类别，包括：根据所述目标融合特征，对所述点云视频中的至少一个目标检测对象的动作进行分类，以得到所述至少一个目标检测对象的动作分类；根据所述至少一个目标检测对象的动作分类，确定所述点云视频所属的类别。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述获取多个点云视频帧，包括：获取点云视频；从所述点云视频中，获取设定时间段内的多个相邻点云视频帧。7.一种点云视频分类模型训练方法，其特征在于，包括：获取训练数据，其中，所述训练数据包括第一训练样本和第二训练样本，第一训练样本包括多个第一样本点云视频帧以及多个第一样本点云视频帧对应的类别标注标签，第二训
练样本包括多个第二样本点云视频帧；将所述多个第一样本点云视频帧输入至初始的点云视频分类模型中，以得到所述初始的点云视频分类模型输出的类别预测标签；根据所述多个第一样本点云视频帧对应的类别预测标签和类别标注标签之间的差异，生成第一子损失值；将所述多个第二样本点云视频帧输入至初始的点云视频分类模型中，以得到所述初始的点云视频分类模型输出的第一类别预测标签序列和第二类别预测标签序列；根据所述第一类别预测标签序列和所述第二类别预测标签序列之间的差异，生成第二子损失值；根据所述第一子损失值和所述第二子损失值，对所述初始的点云视频分类模型进行训练。8.根据权利要求7所述的方法，其特征在于，所述将所述多个第一样本点云视频帧输入至初始的点云视频分类模型中，以得到所述初始的点云视频分类模型输出的类别预测标签，包括：采用所述初始的点云视频分类模型中的空间提取层对所述多个第一样本点云视频帧进行空间特征提取，以得到所述多个第一样本点云视频帧对应的第一空间特征序列；采用所述初始的点云视频分类模型中的时间编码层对所述第一空间特征序列中的多个第一空间特征进行时间编码，以得到第一时间编码特征序列；采用所述初始的点云视频分类模型中的池化层对所述第一时间编码特征序列中的各第一时间编码特征进行特征融合，以得到第一目标融合特征；采用所述初始的点云视频分类模型中的分类层对所述第一目标融合特征进行类别预测，以得到所述多个第一样本点云视频帧对应的类别预测标签。9.根据权利要求7所述的方法，其特征在于，所述将所述多个第二样本点云视频输入至初始的点云视频分类模型中，以得到所述初始的点云视频分类模型输出的第一类别预测标签序列和第二类别预测标签序列，包括：采用所述初始的点云视频分类模型的空间提取层对所述多个第二样本点云视频帧进行空间特征提取，以得到所述多个第二样本点云视频帧对应的第二空间特征序列；按照设定比例，从所述第二空间特征序列中确定第三空间特征序列；采用所述初始的点云视频分类模型的分类层对所述第二空间特征序列进行类别预测，以得到所述多个第二样本点云视频帧对应的第一类别预测标签序列，其中，所述第一类别预测标签序列中的各排列位置的类别预测标签用于指示所述第二空间特征序列中对应排列位置的第二空间特征的预测类别；将所述第三空间特征序列顺序输入至所述初始的点云视频分类模型的时间编码层、时间解码层以及分类层，以得到所述分类层输出的多个第二样本点云视频帧对应的第二类别预测标签序列。10.根据权利要求9所述的方法，其特征在于，所述将所述第三空间特征序列顺序输入至所述初始的点云视频分类模型的时间编码层、时间解码层以及分类层，以得到所述分类层输出的多个第二样本点云视频帧对应的第二类别预...

【专利技术属性】
技术研发人员：刘武，刘鑫辰，陈晓冬，梅涛，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：