语义分割方法和语义分割模型的训练方法及相关装置制造方法及图纸

本申请公开了一种语义分割方法和语义分割模型的训练方法及相关装置，其中，语义分割方法包括：对点云数据进行体素化，得到点云数据中各点的网格索引，并对点云数据提取特征，得到各点的第一数据特征，并基于点云数据中各点的网格索引，对相同直线上网格内点的第一数据特征进行降维处理，得到第二数据特征；再基于第一数据特征和第二数据特征进行反体素化，得到点的第三数据特征；在此基础上，基于相同点的第一数据特征和第三数据特征，预测得到点的语义分割结果，且语义分割结果至少包括点所属的类别。上述方案，能够提升语义分割的准确性。性。性。

【技术实现步骤摘要】
语义分割方法和语义分割模型的训练方法及相关装置


[0001]本申请涉及计算机视觉
，特别是涉及一种语义分割方法和语义分割模型的训练方法及相关装置。

技术介绍

[0002]语义分割是计算机视觉中最重要的内容之一。随着计算机视觉算法的飞速发展，基于激光点云语义分割方法是近年来计算机视觉研究领域最重要、最热门的研究内容之一。
[0003]目前，激光点云语义分割通过对点云数据提取基于先验知识设计的特征，使用聚类算法对点云聚类；或者，通过学习大量的标注数据，得到点云数据至标签的映射模型，用于推理新的数据。但是，前述方法难以用于大规模的室外点云数据，基于投影和体素的方法在投影或体素化时存在离散误差，存在语义模糊。有鉴于此，如何提高语义分割的准确性成为亟待解决的问题。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种语义分割方法和语义分割模型的训练方法及相关装置，能够提升语义分割的准确性。
[0005]为了解决上述技术问题，本申请第一方面提供了一种语义分割方法，包括：对点云数据进行体素化，得到点云数据中各点的网格索引，并对点云数据提取特征，得到各点的第一数据特征；基于点云数据中各点的网格索引，对相同直线上网格内点的第一数据特征进行降维处理，得到第二数据特征；基于第一数据特征和第二数据特征进行反体素化，得到点的第三数据特征；基于相同点的第一数据特征和第三数据特征，预测得到点的语义分割结果；其中，语义分割结果至少包括点所属的类别。
[0006]为了解决上述技术问题，本申请第二方面提供了一种语义分割模型的训练方法，包括：对样本点云数据进行体素化，得到样本点云数据中各样本点的样本网格索引，并对样本点云数据提取特征，得到各样本点的第一样本数据特征；其中，样本点云数据中标注有样本点所属的样本类别；并基于样本点云数据中各样本点的网格索引，对相同直线上样本网格内样本点的第一样本数据特征进行降维处理，得到第二样本数据特征；再基于第一样本数据特征和第二样本数据特征进行反体素化，得到样本点的第三样本数据特征；基于相同样本点的第一样本数据特征和第三样本数据特征，预测得到样本点所属的预测类别；基于样本点所属的样本类别与预测类别之间的差异，调整语义分割模型的网络参数。
[0007]为了解决上述技术问题，本申请第三方面提供了一种语义分割装置，包括体素化模块、特征提取模块、特征降维模块、反体素化模块和结果预测模块；其中，体素化模块用于对点云数据进行体素化，得到点云数据中各点的网格索引；特征提取模块用于对点云数据提取特征，得到各点的第一数据特征；特征降维模块用于基于点云数据中各点的网格索引，对相同直线上网格内点的第一数据特征进行降维处理，得到第二数据特征；反体素化模块
用于基于第一数据特征和第二数据特征进行反体素化，得到点的第三数据特征；结果预测模块用于基于相同点的第一数据特征和第三数据特征，预测得到点的语义分割结果；其中，语义分割结果至少包括点所属的类别。
[0008]为了解决上述技术问题，本申请第四方面提供了一种语义分割模型的训练装置，包括体素化模块、特征提取模块、特征降维模块、反体素化模块、结果预测模块和参数调整模块；其中，体素化模块用于对样本点云数据进行体素化，得到样本点云数据中各样本点的样本网格索引；其中，样本点云数据中标注有样本点所属的样本类别；特征提取模块用于对样本点云数据提取特征，得到各样本点的第一样本数据特征；特征降维模块用于基于样本点云数据中各样本点的网格索引，对相同直线上样本网格内样本点的第一样本数据特征进行降维处理，得到第二样本数据特征；反体素化模块用于基于第一样本数据特征和第二样本数据特征进行反体素化，得到样本点的第三样本数据特征；结果预测模块用于基于相同样本点的第一样本数据特征和第三样本数据特征，预测得到样本点所属的预测类别；参数调整模块用于基于样本点所属的样本类别与预测类别之间的差异，调整语义分割模型的网络参数。
[0009]为了解决上述技术问题，本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的语义分割方法，或上述第二方面中的语义分割模型的训练方法。
[0010]为了解决上述技术问题，本申请第六方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的语义分割方法，或上述第二方面中的语义分割模型的训练方法。
[0011]上述方案，通过对点云数据进行体素化，得到点云数据中各点的网格索引，并对点云数据提取特征，得到各点的第一数据特征，基于点云数据中各点的网格索引，对相同直线上网格内点的第一数据特征进行降维处理，得到第二数据特征，并基于第一数据特征和第二数据特征进行反体素化，得到点的第三数据特征，再基于相同点的第一数据特征和第三数据特征，预测得到点的语义分割结果，语义分割结果至少包括点所属的类别，一方面基于点云数据中各点的网格索引，对相同直线上网格内点的第一数据特征进行降维处理，得到第二数据特征，有助于增加第二数据特征中体素信息，另一方面基于第一数据特征和第二数据特征进行反体素化，得到点的第三数据特征，有助于提高体素与点云数据之间的关联性，进而提高第三数据特征的有效性，在此基础上，基于相同点的第一数据特征和第三数据特征，预测得到点的语义分割结果，语义分割结果至少包括点所属的类别，进而提高预测得到点所属的类别的准确性。故此，能够提升语义分割的准确性。
[0012]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
[0013]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
[0014]图1是本申请语义分割方法一实施例的流程示意图；
[0015]图2是池化处理一实施例的示意图；
[0016]图3是本申请语义分割模型的训练方法一实施例的流程示意图；
[0017]图4是预测类别一实施例的示意图；
[0018]图5是本申请语义分割装置一实施例的框架示意图；
[0019]图6是本申请语义分割模型的训练装置一实施例的框架示意图；
[0020]图7是本申请电子设备一实施例的框架示意图；
[0021]图8是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
[0022]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0023]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0024]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义分割方法，其特征在于，包括：对点云数据进行体素化，得到所述点云数据中各点的网格索引，并对所述点云数据提取特征，得到所述各点的第一数据特征；基于所述点云数据中各点的网格索引，对相同直线上网格内所述点的第一数据特征进行降维处理，得到第二数据特征；基于所述第一数据特征和所述第二数据特征进行反体素化，得到所述点的第三数据特征；基于相同所述点的第一数据特征和第三数据特征，预测得到所述点的语义分割结果；其中，所述语义分割结果至少包括所述点所属的类别。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一数据特征和所述第二数据特征进行反体素化，得到所述点的第三数据特征，包括：对所述第二数据特征进行转换，得到新的第二数据特征；基于所述新的第二数据特征和所述第一数据特征进行融合，得到权重矩阵；其中，所述权重矩阵包括反体素化时体素对所述各点的权重；基于所述权重矩阵和所述第二数据特征，得到所述第三数据特征。3.根据权利要求2所述的方法，其特征在于，所述对所述第二数据特征进行转换，得到新的第二数据特征，包括：对所述第二数据特征进行重塑，得到重塑特征；基于体素与所述各点的映射关系，对所述重塑特征进行转换，得到所述新的第二数据特征。4.根据权利要求2所述的方法，其特征在于，所述基于所述新的第二数据特征和所述第一数据特征进行融合，得到权重矩阵，包括：对所述新的第二数据特征和所述第一数据特征进行拼接，得到第一拼接特征；基于多层感知机对所述第一拼接特征进行加权，得到变换矩阵；基于所述变换矩阵，映射得到所述权重矩阵。5.根据权利要求2所述的方法，其特征在于，所述基于所述权重矩阵和所述第二数据特征，得到所述第三数据特征，包括：基于所述权重矩阵对所述第二数据特征进行加权处理，得到加权特征；对所述加权特征进行转置，得到所述第三数据特征。6.根据权利要求1所述的方法，其特征在于，所述基于相同所述点的第一数据特征和第三数据特征，预测得到所述点的语义分割结果，包括：对相同所述点的第一数据特征和第三数据特征进行拼接，得到第二拼接特征；基于所述第二拼接特征进行预测，得到所述点的语义分割结果。7.根据权利要求1所述的方法，其特征在于，所述基于所述点云数据中各点的网格索引，对相同直线上网格内所述点的第一数据特征进行降维处理，得到第二数据特征，包括：基于所述点云数据中各点的网格索引，对相同直线上所述网格内所述点的第一数据特征进行池化处理，得到池化特征；对所述池化特征进行编码，得到编码特征；基于所述编码特征，解码得到所述第二数据特征。
8.根据权利要求1所述的方法，其特征在于，所述对点云数据进行体素化，得到所述点云数据中各点的网格索引，包括：获取所述点云数据的边界值；基于所述边界值、预设体素阈值和所述点云数据中各点的位置信息，计算得到所述点云数据中各点的网格索引。9.根据权利要求1所述的方法，其特征在于，所述对所述点云数据提取特征，得到第一数据特征，包括：获取所述点云数据中各...

【专利技术属性】
技术研发人员：韩继能，周源，殷静怡，王宇晗，胡来丰，
申请(专利权)人：浙江零跑科技股份有限公司，
类型：发明
国别省市：