【技术实现步骤摘要】
本专利技术涉及一种基于物理感知对象插入的多传感器融合感知系统测试方法，属于软件测试。
技术介绍
1、传感器融合(msf)感知系统已成为支持许多工业应用和领域的基础，并在智能机器和软件系统中起着至关重要的作用，例如自动驾驶汽车、机械臂和无人机。随着基于数据驱动的人工智能的不断进步，采用多传感器融合策略感知和理解复杂外部环境的潜力进一步提升，为智能系统决策提供更为可靠的感知结果支持。如今，如openpilot等许多著名的工业级系统，通常提供多激光雷达，相机等多传感器融合感知配置来克服单个传感器的固有限制，并提高系统的整体性能。尽管进展很快，但人工智能感知系统与任何传统软件类似，仍然会产生错误的预测结果，这可能进一步导致系统行为错误。通常情况下，不正确的行为可能会在安全关键的环境中导致严重的事故和损失，例如自动驾驶。
2、为了提高人工智能感知系统的整体质量，软件工程和机器学习研究人员提出了一些自动化测试技术。测试技术是软件工程领域中软件质量保证技术中一种有效的方法，通过评估在现实世界场景中部署人工智能感知系统的潜在风险。自动化测试技术可以自动生成测试用例，以减少测试数据的收集和标记成本，这在依赖从真实世界中大规模采集数据的人工智能感知系统中尤为关键。典型的自动化测试工作流将一小部分测试(例如图像)作为种子，并基于种子生成更具挑战性的测试用例。现有的人工智能感知系统测试技术通常利用自然扰动或对抗性扰动来合成新的测试数据，但它们大多集中在测试单传感器(如摄像机或激光雷达)感知系统上。尽管以摄像头-激光雷达为代表的融合感知已成为
3、融合感知系统测试主要面临以下两种关键挑战。首先，配备在同一智能系统上的不同多传感器记录的数据应是同一时空下不同的表示形式，这一固有特性使得不同模态下的数据满足一致性要求，例如，图像中出现的汽车在相应的点云中应该具有相同的姿势。因此，与单传感器感知系统的测试相比，测试融合感知系统需要合成不同传感器上的模态一致的测试用例。简单的将现有基于图像的测试方法和基于点云的测试方法的组合并不能保证这种一致性。另一个挑战来自合成测试用例的真实性，对于运行在物理世界中的感知系统来说，测试用例的真实性直接影响到检测到的错误的价值。现有工作中测试中使用的一些存在的扰动，如对抗性噪音在现实环境中很少发生。此外，简单的扰动也从不同的角度限制了测试场景中元素的多样性，例如场景中汽车和行人的数量等。尽管提出了一种基于图像的对象检测器的对象插入方法，然而，如果没有适当的物理约束，插入的对象可能出现在无效位置或导致不正确的透视关系。
4、对此，本专利技术提出一种基于物理感知对象插入的多传感器融合感知系统测试方法。该方法基于物理感知为融合感知系统生成逼真且模态一致的测试数据，从而应对上述两种挑战。在此基础上，本专利技术设计了一种相合度度量来指导和促进测试生成过程以提升测试效率。本专利技术的基本思想为：给定原始多模态测试数据集，该方法自动从3d数据库中选择对象物体作为待插入对象；通过执行姿态估计模块来计算待插入对象有效位置；多传感器仿真模块利用物理感知的虚拟模拟器将插入对象生成模态一致的图像和点云对象实例；根据插入对象实例和选定位置，多传感器仿真模块进一步将插入对象与背景数据融合并处理物体遮挡，生成逼真的多模态测试数据；为提升测试效率，提出相合度度量来度量合成多模态测试数据的故障揭示能力。基于多模态数据生成模块和相合度量，提出基于物理感知对象插入的多传感器融合感知系统测试方法multitest，该方法可高效检测融合感知系统中故障，并进一步利用生成的测试用例对系统进行再训练以提高系统的健壮性。
5、该方法能够为融合感知系统自动化生成模态一致且逼真的测试用例，减少了人工收集数据和标注的成本，在相合度函数引导下能够高效检测融合感知系统中的不正确行为。因此，在该方法的帮助下，测试融合感知系统可以变得更加高效和经济。
技术实现思路
1、本专利技术的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出一种基于物理感知对象插入的多传感器融合感知系统测试方法，通过自动化生成模态一致且逼真的测试用例，填补了多传感器融合感知系统测试技术的空白；用于解决人工智能感知系统中的测试数据获取难、测试效率低的问题，帮助从软件开发人员减轻人工收集数据和标注的成本，减少了融合感知系统测试成本并保证优化的效率。
2、本专利技术具体采用如下技术方案：一种基于物理感知对象插入的多传感器融合感知系统测试方法，包括：
3、姿势估计模块，具体包括：给定背景数据和插入对象物体实例，姿势估计模块首先估计可能的有效位置和方向后，避免插入物体与现有场景元素的碰撞，以在插入对象后在真实世界中创建可信的场景；
4、多传感器仿真模块，具体包括：构造一组虚拟传感器来模拟它们在物理世界中的工作模式，通过给定参数配置模拟生成虚拟传感器，给定插入对象物体以生成模态一致的图像点云对象实例，根据插入对象实例和选定位置，进一步将插入对象与背景数据融合并处理物体遮挡，生成逼真的多模态测试数据；
5、基于相合度的引导测试模块，具体包括：提出相合度度量来度量合成多模态测试数据的故障揭示能力。基于多模态数据生成模块和相合度量，提出基于物理感知对象插入的多传感器融合感知系统测试方法multitest，高效检测融合感知系统中故障，并进一步利用生成的测试用例对系统进行再训练以提高系统的健壮性。
6、作为一种较佳的实施例，所述姿势估计模块工作流程具体包括：给定和待测数据集m和3d物体集o，输入待测数据集m中的多模态测试用例m（包含图像im和点云pc），利用深度神经网络从pc中提取稀疏三维路面点云信息和背景信息，通过三维重建技术重建路面后重采样，从而将稀疏三维路面点云信息补全为稠密路面点云，随机选取路面点估计物体o的插入位置和方向，然后检测插入物体与背景物体是否碰撞，当不发生碰撞时视为一处合理姿势。
7、作为一种较佳的实施例，所述姿势估计模块步骤具体包括：
8、步骤ss11：起始状态；
9、步骤ss12：输入待测数据m={im,pc}和插入物体o；
10、步骤ss13：从点云中提取路面点云pc_road_sparse，
11、步骤ss14：三维重建路面pc_mesh，重采样得到稠密路面点云pc_road；
12、步骤ss15：随机采样插入位置和方向 pose = random_sample(pc_road)；
13、步骤ss16： 判断插入位置和方向pose是否发生碰撞，若是则执行步骤ss14，否则执行步骤ss17；
14、步骤ss17：输出姿势pose；
15、步骤ss18：结束状态。
16、作为一种较佳的实施例，所述多传感器仿真模块具体包括：（1）构造虚拟传感器，雷达虚拟传感器参数包括激光雷达位置，激光束数量，最大范本文档来自技高网...
【技术保护点】
1.一种基于物理感知对象插入的多传感器融合感知系统测试方法，其特征在于，包括：
2.根据权利要求1所述的一种基于物理感度知对象插入的多传感器融合感知系统测试方法，其特征在于，所述所述姿势估计模块步骤具体包括：给定和待测数据集M和3D物体集O，输入待测数据集M中的多模态测试用例m（包含图像im和点云pc），利用深度神经网络从pc中提取稀疏三维路面点云信息和背景信息，通过三维重建技术重建路面后重采样，从而将稀疏三维路面点云信息补全为稠密路面点云，随机选取路面点估计物体o的插入位置和方向，然后检测插入物体与背景物体是否碰撞，当不发生碰撞时视为一处合理姿势。
3.根据权利要求2所述的一种基于物理感知对象插入的多传感器融合感知系统测试方法，其特征在于，所述多传感器仿真模块具体包括：（1）构造虚拟传感器，雷达虚拟传感器参数包括激光雷达位置，激光束数量，最大范围，水平分辨率，垂直分辨率，俯仰角。相机虚拟传感器参数包括相机位置，相机俯仰角度，相机内参，镜头长度，相机大小和相机分辨率；（2）虚拟传感器仿真，激光雷达使用带扰动的光线投射算法模拟激光发射过程，当障碍物被插入到场
4.根据权利要求3所述的一种基于物理感知对象插入的多传感器融合感知系统测试方法，其特征在于，所述基于相合度的引导测试模块具体包括：
...【技术特征摘要】
1.一种基于物理感知对象插入的多传感器融合感知系统测试方法，其特征在于，包括：
2.根据权利要求1所述的一种基于物理感度知对象插入的多传感器融合感知系统测试方法，其特征在于，所述所述姿势估计模块步骤具体包括：给定和待测数据集m和3d物体集o，输入待测数据集m中的多模态测试用例m（包含图像im和点云pc），利用深度神经网络从pc中提取稀疏三维路面点云信息和背景信息，通过三维重建技术重建路面后重采样，从而将稀疏三维路面点云信息补全为稠密路面点云，随机选取路面点估计物体o的插入位置和方向，然后检测插入物体与背景物体是否碰撞，当不发生碰撞时视为一处合理姿势。
3.根据权利要求2所述的一种基于物理感知对象插入的多传感器融合感知系统测试方法，其特征在于，所述多传感器仿真模块具体包括：（1）构造虚拟传感器，雷达虚拟传感器参...
【专利技术属性】
技术研发人员：陈振宇，高新宇，
申请(专利权)人：深圳慕智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。