数据闭环中基于自动驾驶世界模型的数据价值挖掘方法技术

本发明专利技术公开了数据闭环中基于自动驾驶世界模型的数据价值挖掘方法。本发明专利技术中，使用自动驾驶世界模型的图像生成模块作为生成器，模型能力远大于传统的生成模型；在生成过程中引入其它模态信息并进行空间对齐，保证了生成的质量和可控性，更加确保了最终的打分只受数据本身影响而不受模型能力的影响；使用语义分割对图像进行分析的时候参考了3D占据网络的结果，为每个像素点赋予更可信的类别以及对应的3D坐标，丰富了图像理解的维度，增加了结果的可信性；在最终打分的过程中，以像素点对应物体与原点的距离为误差添加权重，增加了打分的客观性，使打分有选择的更倾向于近处物体，排除了远处物体带来的误差。

【技术实现步骤摘要】

本专利技术属于自动驾驶，具体为数据闭环中基于自动驾驶世界模型的数据价值挖掘方法。

技术介绍

1、随着人工智能模型能力的迅猛发展和其在自动驾驶场景中的应用，如何高效的迭代自动驾驶模型一直是关注重点。由于自动驾驶系统对生产环境算法稳定性及安全性的高要求以及当前自动驾驶模型整体的优异表现能力，通过筛选高质量的数据对模型进行迭代已经被验证是最高效的迭代方法。然而，由于自动驾驶数据集中场景分布的不同，模型往往更关注于常见场景的表现，导致模型应对罕见场景时表现不如预期，甚至会引发危险。因此，如何找到大量数据中的罕见场景并应用于模型迭代就成为了模型迭代的瓶颈。随着通用生成式模型的发展以及对世界模型的探讨，自动驾驶领域的众多研究者也开发了针对自动驾驶场景的世界模型，它旨在利用对过去的观测，对环境进行建模，并利用生成式模型的技术生成将来可能的环境，并给出相应的行动指导。该功能的实现证明世界模型对整体环境有着远高于传统感知模型的深刻理解，并具备了场景的生成能力，因此具备了罕见场景难例发现的潜力。

2、与该方案最接近的方案为论文《towards corner cas本文档来自技高网...

【技术保护点】

1.数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述方法包括以下步骤：

2.如权利要求1所述的数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述步骤S1中，3D框信息包含物体中心点坐标，物体的长宽以及朝向角，以及物体的类别；3D框包含了丰富的物体级别几何信息。

3.如权利要求1所述的数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述步骤S2中，世界模型可以参考3D框的先验信息，从而确保生成的数据与历史真实数据中所包含的物体信息的一致性。

4.如权利要求1所述的数据闭环中基于自动驾驶世界模型的数据价值挖掘...

【技术特征摘要】

1.数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述方法包括以下步骤：

2.如权利要求1所述的数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述步骤s1中，3d框信息包含物体中心点坐标，物体的长宽以及朝向角，以及物体的类别；3d框包含了丰富的物体级别几何信息。

3.如权利要求1所述的数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述步骤s2中，世界模型可以参考3d框的先验信息，从而确保生成的数据与历史真实数据中所包含的物体信息的一致性。

4.如权利要求1所述的数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述步骤s3中，世界模型在生成未来图像时，可以参考经过提炼的道路信息的输入，从而确保生成图像的道路结构的一致性，增加生成数据的质量与真实性。

5.如权利要求1所述的数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述步骤s4中，vq-vae所编码的离散的向量集合中，所包含的图像原始信息是十分丰富的；参考vq-vae的图像编码器对输入图像进行编码，并映射至世界模型的输入向量空间，这部分内容将作为世界模型生成未来图像时的重要参考。

6.如权利要求1所述的数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述步骤s5中，clip是一个视觉-语言预训练模型，它通过对比学习的训练设置，建立了一种图像与文本之间的关联性，并通过对图像和文本之间相似性的度量，来实现它们之间更好地相互理解；使用clip所提供的文本编码器，即可将文本编码至相似图像的向量空间，从而实现了文本与图像之间的对齐，输入至世界模型当中。

7.如权利要求1所述的数据闭环中基于自动驾驶世界模型的数据价值挖掘方法，其特征在于：所述步骤s5中，世界模型的内部设置有生成式模型；生成式模型采用扩散模型的u-net基本结构，对于一个普通的扩散模型，它包含前向过程和反向过程，在前向过程中缓慢并且顺序地向样本中添加随机...

【专利技术属性】
技术研发人员：章磊，周照文，徐铭锴，
申请(专利权)人：北京星尘纪元智能科技有限公司，
类型：发明
国别省市：