一种模型自动化迭代方法、设备及存储介质技术

本发明专利技术公开一种模型自动化迭代方法、设备及存储介质，所述方法包括：使用车端计算资源通过车端模型获得推理结果；根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；使用云端计算资源，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型；将车端计算资源正在使用的车端模型迭代为训练后的车端模型。本发明专利技术采用车端推理

【技术实现步骤摘要】
一种模型自动化迭代方法、设备及存储介质


[0001]本专利技术涉及自动驾驶
，尤其涉及一种模型自动化迭代方法、设备及存储介质。

技术介绍

[0002]自动驾驶长尾场景是指突发的、低概率的、不可预知的场景，比如交通信号灯故障的路口、醉驾的车辆、路中央的气球等。怎样应对长尾场景一直是行业难题，已逐渐成为制约自动驾驶发展的关键，要解决这些问题，自动驾驶系统需要积累大量的数据，持续优化模型。
[0003]据统计，全球汽车保有量超过10亿辆，但平均每30s发生一起事故，说明交通事故属于低频出现的事件。要实现自动驾驶落地，就要解决这些低频发生的问题，至少要做到现有人类驾驶员的安全驾驶水平甚至全面超越人类驾驶员。
[0004]根据以上数据，为了充分测试自动驾驶系统安全性，至少需要进行上亿公里的道路测试，这意味着数万乃至几十万辆车24小时不间断运行几百天，同时，测试过程中产生有效问题数据的效率很低，导致模型的迭代和验证的成本越来越高。

技术实现思路

[0005]传统的模型迭代验证采用以功能测试驱动模型迭代的方式，在开发端以需求和问题驱动数据采集，然后人工分析标注数据并设计优化方案，在测试端人工搭建场景进行测试或实车随机测试，最终形成标注、开发、测试的串行迭代流程，这种方法对于软件功能开发是有效的，有限的人力解决有限的问题，实现特定范围内的功能。
[0006]但传统的模型迭代验证方式难以让自动驾驶真正落地，使整个行业做到全时段全工况的安全运行。一方面，传统问题驱动的方式是依靠串行的开发模式对模型进行优化，开发和测试的周期长，无法并行开展。另一方面，人工标注数据的方式耗时长，标注效率低；第三方面，测试大多通过人工搭建典型场景或随机测试对模型进行验证，对于实际运行场景的覆盖率较低。以上几个方面说明问题驱动的方式已经无法满足解决真实场景中海量问题的需求，不能自动化的解决绝大部分的问题，无法高效的实现自动驾驶落地目标。
[0007]在上述背景下，开发一种快速模型优化和验证的方法以有效解决模型迭代周期长、验证效率低等现实问题，成为本领域亟待解决的技术问题。
[0008]本专利技术实施例旨在至少解决上述技术问题之一。
[0009]第一方面，本专利技术实施例提供一种模型自动化迭代方法，包括：
[0010]使用车端计算资源通过车端模型获得推理结果；
[0011]根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；
[0012]使用云端计算资源，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型；
[0013]将车端计算资源正在使用的车端模型迭代为训练后的车端模型。
[0014]第二方面，本专利技术实施例提供一种车端模型自动化迭代方法，包括：
[0015]通过车端模型获得推理结果；
[0016]与云端计算资源相配合，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；
[0017]与云端计算资源相配合，将正在使用的车端模型迭代为训练后的车端模型；其中，所述训练后的车端模型是由云端计算资源通过对所述对车端模型性能提升有价值的数据进行优化、并利用优化结果对车端模型进行训练得到的模型。
[0018]第三方面，本专利技术实施例提供一种云端模型自动化迭代方法，包括：
[0019]与车端计算资源相配合，根据车端计算资源通过车端模型推理的结果，采集对车端模型性能提升有价值的数据；
[0020]对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型；
[0021]与车端计算资源相配合，将车端计算资源正在使用的车端模型迭代为训练后的车端模型
[0022]第四方面，本专利技术实施例提供一种车端执行设备，包括：
[0023]车端计算模块，配置有车端模型，通过车端模型推理得到结果；
[0024]车端采集模块，用于与云端执行设备相配合，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；其中，所述云端执行设备对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型；
[0025]所述车端计算模块还用于与云端执行设备相配合，将配置的车端模型迭代为训练后的车端模型
[0026]第五方面，本专利技术实施例提供一种云端执行设备，包括：
[0027]云端采集模块，用于与车端执行设备相配合，根据车端执行设备通过车端模型推理的结果，采集对车端模型性能提升有价值的数据；
[0028]数据优化模块，用于对所述对车端模型性能提升有价值的数据进行优化；
[0029]训练模块，用于利用优化结果训练车端模型；
[0030]迭代模块，用于与车端执行设备相配合，将车端执行设备正在使用的车端模型迭代为训练后的车端模型。
[0031]第六方面，本专利技术实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述车端模型自动化迭代方法的步骤。
[0032]第七方面，本专利技术实施例提供一种自动驾驶车辆，包括前述电子设备。
[0033]第八方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述车端模型自动化迭代方法的步骤。
[0034]第九方面，本专利技术实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述云端模型自动化迭代方法的步骤。
[0035]第十方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述云端模型自动化迭代方法的步骤。
[0036]本专利技术提供的模型自动化迭代方法采用车端推理
‑‑
云端训练的模式，即在车端部署多任务、轻量级的车端模型，基于车端模型推理的结果自动地、有针对性地采集对车端模型的性能提升有价值的数据，再利用云端强大的计算能力和数据存储能力，实时地、自动地完成训练数据集生成、模型训练、模型迭代等一系列操作；这种车端推理
‑‑
云端训练的模式充分发挥了云端的资源优势，提高了自动驾驶车辆模型迭代的效率；
[0037]该方法在车端至云端通信资源有限的环境下，自动采集对车端模型的性能提升有价值的数据，该自动采集过程不仅效率高，而且涵盖了罕见、异常、突发的长尾场景，屏蔽了重复数据和垃圾数据，保证了所采集数据的有效性、多样性和完整性，为云端自动化完成模型训练和模型迭代提供了充足、高质、多样、有效、可靠的数据基础；
[0038]该方法自动化地基于对车端模型的性能提升有价值的数据生成训练数据集，数据优化模块可利用单任务、深层次的数据驱动模型自动化完成数据标注获得训练数据集，也可利用数学规划模型快速本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型自动化迭代方法，其特征在于，包括：使用车端计算资源通过车端模型获得推理结果；根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；使用云端计算资源，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型；将车端计算资源正在使用的车端模型迭代为训练后的车端模型。2.根据权利要求1所述的方法，其特征在于，所述车端模型包括如下一种或多种：用于目标检测的模型；用于行为预测的模型；用于决策规划的模型。3.根据权利要求1所述的方法，其特征在于，所述车端模型采用具有多任务、轻量级特征的网络结构。4.根据权利要求1所述的方法，其特征在于，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据，包括：根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据；其中，所述时空同步信息包括与车端模型推理的结果在时间及空间上存在同步关系的环境数据、地图数据、车身状态数据、驾驶员操作数据中的一种或多种。5.根据权利要求4所述的方法，其特征在于，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：利用车端模型推理的结果及其时空同步信息构建场景；确定已有场景库中缺少所述场景时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。6.根据权利要求5所述的方法，其特征在于，确定已有场景库中缺少所述场景时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，包括：使用车端计算资源，按照预定的编码规则对所述场景进行编码；使用云端计算资源将场景编码与已有场景库对应的编码库进行比对；根据比对结果确定已有场景库的编码库中缺少所述场景编码时，命令车端计算资源将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据上传给云端计算资源。7.根据权利要求5所述的方法，其特征在于，确定已有场景库中缺少所述场景，包括：确定已有场景库中缺少所述场景对应的类别；或者，确定已有场景库中存在所述场景对应的类别，但已有场景库中该类别下的数据量未达到预定数量。8.根据权利要求4所述的方法，其特征在于，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：监测到车端模型推理的结果和/或时空同步信息存在异常时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。
9.根据权利要求8所述的方法，其特征在于，监测到车端模型推理的结果和/或时空同步信息存在异常，包括下述至少一种：确定车端模型推理的结果和/或时空同步信息不属于常规场景；对基于不同算法逻辑得到的车端模型推理的结果进行一致性检验，确定检验结果未达到预定的一致性下限；确定车端模型推理的结果与期望值不匹配。10.根据权利要求8所述的方法，其特征在于，监测到车端模型推理的结果和/或时空同步信息存在异常时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，包括：使用车端计算资源监测到车端模型推理的结果和/或时空同步信息存在异常时，将车端模型推理的结果及其时空同步信息上传给云端计算资源。11.根据权利要求4所述的方法，其特征在于，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：确定车端模型推理的结果与期望值相匹配，且匹配度达到预定的匹配阈值时，或者，对基于不同算法逻辑得到的车端模型推理的结果进行一致性检验，确定检验结果达到预定的一致性上限时；将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。12.根据权利要求11所述的方法，其特征在于，确定车端模型推理的结果与期望值相匹配，且匹配度达到预定匹配阈值时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，包括：使用车端计算资源确定车端模型推理的结果与期望值相匹配，且匹配度达到预定匹配阈值时，将车端模型推理的结果及其时空同步信息上传给云端计算资源。13.根据权利要求1所述的方法，其特征在于，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型，包括：使用云端计算资源通过数据驱动模型对所述对车端模型性能提升有价值的数据进行标注，并利用标注结果训练车端模型；其中，所述数据驱动模型为深度学习模型或传统机器学习模型。14.根据权利要求1所述的方法，其特征在于，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型，包括：使用云端计算资源，利用数学规划模型对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型。15.根据权利要求13所述的方法，其特征在于，所述数据驱动模型包括包括如下一种或多种：用于目标检测的模型；用于行为预测的模型；用于决策规划的模型。16.根据权利要求13所述的方法，其特征在于，所述数据驱动模型为具有单任务、深层次特征的网络结构的深度学习模型。
17.根据权利要求13所述的方法，其特征在于，所述方法还包括：利用优化结果训练数据驱动模型；将云端计算资源正在使用的数据驱动模型迭代为训练后的数据驱动模型。18.根据权利要求1所述的方法，其特征在于，将车端计算资源正在使用的车端模型迭代为训练后的车端模型，包括：对训练后的车端模型进行测试；确定训练后的车端模型的测试指标高于车端计算资源正在使用的车端模型的测试指标时，将车端计算资源正在使用的车端模型迭代为训练后的车端模型。19.根据权利要求16所述的方法，其特征在于，将云端计算资源正在使用的数据驱动模型迭代为训练后的数据驱动模型，包括：对训练后的数据驱动模型进行测试；确定训练后的数据驱动模型的测试指标高于云端计算资源正在使用的数据驱动模型的测试指标时，将云端计算资源正在使用的数据驱动模型迭代为训练后的数据驱动模型。20.一种车端模型自动化迭代方法，其特征在于，包括：通过车端模型获得推理结果；与云端计算资源相配合，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；与云端计算资源相配合，将正在使用的车端模型迭代为训练后的车端模型；其中，所述训练后的车端模型是由云端计算资源通过对所述对车端模型性能提升有价值的数据进行优化、并利用优化结果对车端模型进行训练得到的模型。21.根据权利要求20所述的方法，其特征在于，所述车端模型包括如下一种或多种：用于目标检测的模型；用于行为预测的模型；用于决策规划的模型。22.根据权利要求20所述的方法，其特征在于，与云端计算资源相配合，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据，包括：与云端计算资源相配合，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据；其中，所述时空同步信息包括与车端模型推理的结果在时间及空间上存在同步关系的环境数据、地图数据、车身状态数据、驾驶员操作数据中的一种或多种。23.根据权利要求22所述的方法，其特征在于，与云端计算资源相配合，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：利用车端模型推理的结果及其时空同步信息构建场景，并将所述场景上传给云端计算资源；接收到云端计算资源下发的命令时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行...

【专利技术属性】
技术研发人员：张放，徐成，赵勍，刘涛，夏洋，李晓飞，王肖，张德兆，霍舒豪，
申请(专利权)人：北京智行者科技有限公司，
类型：发明
国别省市：