数据对获取方法、装置、设备、服务器及其集群、介质制造方法及图纸

本发明专利技术公开了一种数据对获取方法、装置、设备、服务器及其集群、介质，属于三维生成领域，用于通过模型高效准确的获取点云数据对应的文本描述，解决了人工标注点云数据所存在的人力成本高且效率低的技术问题。本发明专利技术中可以通过点云与文本的第一相似度度量以及图像与文本的第二相似度度量这两种维度，对由预训练的点云

【技术实现步骤摘要】
数据对获取方法、装置、设备、服务器及其集群、介质


[0001]本专利技术涉及三维生成领域，特别是涉及一种数据对获取方法，本专利技术还涉及一种数据对获取装置、设备、服务器、服务器集群及计算机可读存储介质。

技术介绍

[0002]为了构建可以基于多模态数据生成三维内容的生成模型，目前对“点云数据与对应的文本数据”的数据对具有大量的需求，然而目前缺少一种成熟的针对“点云数据与对应的文本数据”的数据对的获取方法，若采用传统的利用人工对点云数据进行对应文本数据标注的方式获取数据对，不但人工成本较高，而且工作效率较差。
[0003]因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

技术实现思路

[0004]本专利技术的目的是提供一种数据对获取方法，可以通过多维度的相似度度量对点云文本数据对进行筛选，从而得到大量高精度的训练数据集并提升了模型精度，通过训练好的模型可以低成本且高效的获取大量的点云文本数据；本专利技术的另一目的是提供一种数据对获取装置、设备、服务器、服务器集群及计算机可读存储介质，可以通过多维度的相似度度量对点云文本数据对进行筛选，从而得到大量高精度的训练数据集并提升了模型精度，通过训练好的模型可以低成本且高效的获取大量的点云文本数据。
[0005]为解决上述技术问题，本专利技术提供了一种数据对获取方法，包括：
[0006]通过预训练的点云
‑
文本转换模型，转换得到预先采集的多类对象的点云数据对应的文本描述；
[0007]通过第一相似度度量以及第二相似度度量，筛选出与对应的文本描述的相似度满足预设标准的所述点云数据；所述第一相似度度量为所述点云数据与对应文本描述的相似度度量，所述第二相似度度量为所述点云数据对应的文本描述与所述点云数据对应的图像数据的相似度度量；
[0008]将筛选得到的所述点云数据与对应的文本描述作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练；
[0009]在接收到对象的待标注点云数据时，通过训练完成的所述点云
‑
文本转换模型获取所述待标注点云数据对应的文本描述。
[0010]另一方面，所述通过第一相似度度量以及第二相似度度量，筛选出与对应的文本描述的相似度满足预设标准的所述点云数据包括：
[0011]通过第一相似度度量模型，确定出各个所述点云数据与对应文本描述间的第一相似度；
[0012]将所述第一相似度大于第一阈值的所述点云数据划分至第一点云集合，将所述第一相似度不大于所述第一阈值的所述点云数据划分至第二点云集合；
[0013]通过第二相似度度量模型，确定出各个所述点云数据对应的文本描述与图像数据间的第二相似度；
[0014]将所述第一点云集合中，所述第二相似度大于第二阈值的所述点云数据划分至第一点云子集合，所述第二相似度不大于所述第二阈值的所述点云数据划分至第二点云子集合；
[0015]其中，所述第一点云子集合中的所述点云数据为对应的文本描述的相似度满足预设标准的所述点云数据。
[0016]另一方面，所述将所述第一相似度大于第一阈值的所述点云数据划分至第一点云集合，将所述第一相似度不大于所述第一阈值的所述点云数据划分至第二点云集合之后，所述将筛选得到的所述点云数据与对应的文本描述作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练之前，该数据对获取方法还包括：
[0017]响应于通过人机交互装置接收到的，对位于所述第二点云集合中的所述点云数据的标注指令，对所述第二点云集合中的各个点云数据对应的文本描述进行更新；
[0018]所述将筛选得到的所述点云数据与对应的文本描述作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练包括：
[0019]将所述第一点云子集合以及更新后的所述第二点云集合中的数据，作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练。
[0020]另一方面，所述将所述第一点云子集合以及更新后的所述第二点云集合中的数据，作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练包括：
[0021]在所述点云
‑
文本转换模型训练过程的第一阶段，将所述第一点云子集合以及更新后的所述第二点云集合中的数据，作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练；
[0022]在所述点云
‑
文本转换模型训练过程的第二阶段，将所述第二点云子集合中的数据作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练；
[0023]其中，所述第一阶段为训练总时长中位于前序的第一子时长，所述第二阶段为所述训练总时长中位于后序的第二子时长，所述第一子时长与所述第二子时长之和为所述训练总时长。
[0024]另一方面，所述将筛选得到的所述点云数据与对应的文本描述作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练之后，该数据对获取方法还包括：
[0025]判断是否达到预设的迭代终止条件；
[0026]若未达到，执行所述通过预训练的点云
‑
文本转换模型，转换得到预先采集的多类对象的点云数据对应的文本描述的步骤；
[0027]若达到，则结束。
[0028]另一方面，所述预设的迭代终止条件包括预设迭代总次数。
[0029]另一方面，所述点云
‑
文本转换模型的预训练包括：
[0030]获取若干属于预设对象类别范围的原始点云数据；
[0031]响应于通过人机交互装置接收到的标注指令，为各个所述原始点云数据标注对应的描述同一对象的文本描述；
[0032]将各个所述原始点云数据及其对应的文本描述作为训练数据对点云
‑
文本转换模型进行训练。
[0033]另一方面，所述获取若干属于预设对象类别范围的原始点云数据包括：
[0034]获取若干原始点云数据及其对应描述同一对象的缩略图；
[0035]根据对应的缩略图判断各个所述原始点云数据是否属于预设对象类别范围；
[0036]若属于，将所述原始点云数据保留；
[0037]若不属于，丢弃所述原始点云数据。
[0038]另一方面，所述根据对应的缩略图判断各个所述原始点云数据是否属于预设对象类别范围包括：
[0039]确定出每张所述缩略图对应的图像编码向量分别与预设对象类别范围中各个对象类别的文本编码向量之间的相似度；
...

【技术保护点】

【技术特征摘要】
1.一种数据对获取方法，其特征在于，包括：通过预训练的点云
‑
文本转换模型，转换得到预先采集的多类对象的点云数据对应的文本描述；通过第一相似度度量以及第二相似度度量，筛选出与对应的文本描述的相似度满足预设标准的所述点云数据；所述第一相似度度量为所述点云数据与对应文本描述的相似度度量，所述第二相似度度量为所述点云数据对应的文本描述与所述点云数据对应的图像数据的相似度度量；将筛选得到的所述点云数据与对应的文本描述作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练；在接收到对象的待标注点云数据时，通过训练完成的所述点云
‑
文本转换模型获取所述待标注点云数据对应的文本描述。2.根据权利要求1所述的数据对获取方法，其特征在于，所述通过第一相似度度量以及第二相似度度量，筛选出与对应的文本描述的相似度满足预设标准的所述点云数据包括：通过第一相似度度量模型，确定出各个所述点云数据与对应文本描述间的第一相似度；将所述第一相似度大于第一阈值的所述点云数据划分至第一点云集合，将所述第一相似度不大于所述第一阈值的所述点云数据划分至第二点云集合；通过第二相似度度量模型，确定出各个所述点云数据对应的文本描述与图像数据间的第二相似度；将所述第一点云集合中，所述第二相似度大于第二阈值的所述点云数据划分至第一点云子集合，所述第二相似度不大于所述第二阈值的所述点云数据划分至第二点云子集合；其中，所述第一点云子集合中的所述点云数据为对应的文本描述的相似度满足预设标准的所述点云数据。3.根据权利要求2所述的数据对获取方法，其特征在于，所述将所述第一相似度大于第一阈值的所述点云数据划分至第一点云集合，将所述第一相似度不大于所述第一阈值的所述点云数据划分至第二点云集合之后，所述将筛选得到的所述点云数据与对应的文本描述作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练之前，该数据对获取方法还包括：响应于通过人机交互装置接收到的，对位于所述第二点云集合中的所述点云数据的标注指令，对所述第二点云集合中的各个点云数据对应的文本描述进行更新；所述将筛选得到的所述点云数据与对应的文本描述作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练包括：将所述第一点云子集合以及更新后的所述第二点云集合中的数据，作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练。4.根据权利要求3所述的数据对获取方法，其特征在于，所述将所述第一点云子集合以及更新后的所述第二点云集合中的数据，作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练包括：在所述点云
‑
文本转换模型训练过程的第一阶段，将所述第一点云子集合以及更新后的所述第二点云集合中的数据，作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练；在所述点云
‑
文本转换模型训练过程的第二阶段，将所述第二点云子集合中的数据作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练；其中，所述第一阶段为训练总时长中位于前序的第一子时长，所述第二阶段为所述训练总时长中位于后序的第二子时长，所述第一子时长与所述第二子时长之和为所述训练总时长。5.根据权利要求1所述的数据对获取方法，其特征在于，所述将筛选得到的所述点云数据与对应的文本描述作为所述点云
‑
文本转换模型的训练数据集，对所述点云
‑
文本转换模型进行训练之后，该数据对获取方法还包括：判断是否达到预设的迭代终止条件；若未达到，执行所述通过预训练的点云
‑
文本转换模型，转换得到预先采集的多类对象的点云数据对应的文本描述的步骤；若达到，则结束。6.根据权利要求5所述的数据对获取方法，其特征在于，所述预设的迭代终止条件包括预设迭代总次数。7.根据权利要求1所述的数据对获取方法，其特征在于，所述点云
‑
文本转换模型的预训练包括：获取若干属于预设对象类别范围的原始点云数据；响应于通过人机交互装置接收到的标注指令，为各个所述原始点云数据标注对应的描述同一对象的文本描述；将各个所述原始点云数据及其对应的文本描述作为训练数据对点云
‑
文本转换模型进行训练。8.根据权利要求7所述的数据对获取方法，其特征在于，所述获取若干属于预设对象类别范围的原始点云数据包括：获取若干原始点云数据及其对应描述同一对象的缩略图；根据对应的缩略图判断各个所述原始点云数据是否属于预设对象类别范围；若属于，将所述原始点云数据保留；若不属于，丢弃所述原始点云数据。9.根据权利要求8所述的数据对获取方法，其特征在于，所述根据对应的缩略图判断各个所述原始点云数据是否属于预设对象类别范围包括：确定出每张所述缩略图对应的图像编码向量分别与预设对象类别范围中各个对象类别的文本编码向量之间的相似度；将对应的最高相似度的所述文本编码向量所属的对象类别，作为所述缩略图所述的对象类别；判断每张所述缩略图对应的最高相似度，在所述缩略图所在的对象类别中由大到小的数值排序是否大于第四阈值；若不大于，则判定所述缩略图对应的所述原始点云数据属于预设对象类别范围；若大于，则判定所述缩略图对应的所述原始点云数据不属于所述预设对象类别范围。10.根据权利要求9...

【专利技术属性】
技术研发人员：张润泽，李仁刚，赵雅倩，郭振华，范宝余，王丽，王立，
申请(专利权)人：山东海量信息技术研究院，
类型：发明
国别省市：