用于运载工具的方法和系统以及存储介质技术方案

本发明专利技术提供了一种用于运载工具的方法和系统以及存储介质。在实施例中，该方法包括：接收环境声；确定环境声是否包括鸣笛；根据确定为环境声包括鸣笛，确定与鸣笛相关联的第一地点；接收照相机图像；确定照相机图像是否包括闪灯；根据确定为照相机图像包括闪灯，确定与闪灯相关联的第二地点；接收3D数据；确定3D数据是否包括对象；根据确定为3D数据包括对象，确定与对象相关联的第三地点；基于鸣笛、检测到的闪灯和检测到的对象来确定救援运载工具的存在；基于第一地点、第二地点和第三地点来确定救援运载工具的估计地点；以及基于所确定的救援运载工具的存在和地点来发起与运载工具相关的动作。具相关的动作。具相关的动作。

【技术实现步骤摘要】
用于运载工具的方法和系统以及存储介质


[0001]以下描述涉及自主运载工具系统。

技术介绍

[0002]自主运载工具包括用于收集与该运载工具的操作环境有关的数据的多个传感器(例如，照相机、雷达、LiDAR)。该数据被运载工具用于预测该操作环境中的智能体(agent)的状态，并且用于规划和执行该运载工具在操作环境中的轨迹，该轨迹考虑了各种规则和约束(诸如，地图约束(例如，可驾驶区域)、安全约束(例如，避免与其它对象碰撞)和乘员舒适性约束(例如，使急转弯、硬制动和快速加速/减速最小化)等)。
[0003]在通常的运载工具操作环境中，自主运载工具可能将遇到救援运载工具(例如，消防车、救护车)。在美国，运载工具操作员需要检测救援运载工具警笛和闪灯并对其做出响应。运载工具操作员响应取决于救援运载工具的地点。例如，如果救援运载工具在运载工具后方，则运载工具操作员需要避让该救援运载工具。如果救援运载工具在运载工具前方(可能在救援情况的现场)，运载工具操作员在许多状态下需要在该运载工具和该救援运载工具之间提供安全缓冲(例如，最小距离)(例如，“让位”法规(“Move Over”laws))。
[0004]当前救援运载工具检测系统可能仅检测鸣笛或闪灯。虽然闪灯是主要方法，但闪灯可能经常被卡车、标志或建筑物遮挡视线。

技术实现思路

[0005]提供了用于救援运载工具检测系统和方法的技术。
[0006]在实施例中，一种方法包括：利用至少一个处理器来接收环境声；利用所述至少一个处理器来确定所述环境声是否包括鸣笛声；根据确定为所述环境声包括鸣笛声，利用所述至少一个处理器来确定与鸣笛声相关联的第一地点；利用所述至少一个处理器来接收照相机图像；利用所述至少一个处理器来确定所述照相机图像是否包括闪灯；根据确定为所述照相机图像包括闪灯，利用所述至少一个处理器来确定与闪灯相关联的第二地点；利用所述至少一个处理器来接收三维数据即3D数据；利用所述至少一个处理器来确定所述3D数据是否包括对象；根据确定为所述3D数据包括对象，利用所述至少一个处理器来确定与对象相关联的第三地点；利用所述至少一个处理器，基于所述鸣笛声、检测到的闪灯和检测到的对象来确定救援运载工具的存在；利用所述至少一个处理器，基于所述第一地点、所述第二地点和所述第三地点来确定所述救援运载工具的估计地点；以及利用所述至少一个处理器，基于所确定的救援运载工具的存在和地点来发起与运载工具相关的动作。
[0007]在实施例中，确定所述环境声是否包括鸣笛声还包括：将所述环境声转换为数字信号；针对错误和阻塞签名来分析所述数字信号；在检测到错误或阻塞签名的情况下，通知诊断系统以确定所述错误或阻塞签名的原因；以及在未检测到错误或阻塞签名的情况下，针对鸣笛声来分析所述数字信号。
[0008]在实施例中，确定所述环境声是否包括鸣笛声还包括：将所述环境声转换为数字
信号；对来自所述数字信号的噪声进行滤波；将所述数字信号与基准信号进行比较；以及基于比较的结果来确定鸣笛声检测。
[0009]在实施例中，确定所述环境声是否包括鸣笛声还包括：将所述环境声转换为数字信号；使用机器学习来分析所述数字信号；以及基于分析的结果来确定鸣笛声检测。
[0010]在实施例中，所述方法还包括：确定所述鸣笛声检测的置信水平。
[0011]在实施例中，基于声定位来确定与所述鸣笛声的源相关联的所述第一地点，其中，所述声定位基于对位于运载工具周围的多个麦克风所输出的信号的飞行时间分析即TOF分析。
[0012]在实施例中，基于多个单向麦克风的地点和定向来确定与所述鸣笛声的源相关联的所述第一地点，并且基于从对所述多个单向麦克风的输出信号以及所述多个单向麦克风各自的地点和定向的分析所获得的密钥签名信号的强度来确定所述第一地点。
[0013]在实施例中，确定所述照相机图像是否包括闪灯还包括：针对错误和阻塞签名来分析所述照相机图像；在检测到错误或阻塞签名的情况下，通知诊断系统以确定所述错误或阻塞签名的原因；以及在未检测到错误或阻塞签名的情况下，分析所述照相机图像以确定所述照相机图像是否包括闪灯。
[0014]在实施例中，确定所述照相机图像是否包括闪灯还包括：对所述照相机图像进行滤波以去除低强度光信号，从而得到高强度图像；将所述高强度图像与基准图像进行比较；以及基于比较的结果来确定闪灯检测。
[0015]在实施例中，确定所述照相机图像是否包括闪灯还包括：使用机器学习来分析所述照相机图像；以及基于分析的结果来预测闪灯检测。
[0016]在实施例中，所述方法还包括：确定所述闪灯检测的置信水平。
[0017]在实施例中，使用机器学习的所述分析包括使用神经网络来分析所述照相机图像，所述神经网络被训练成对明亮的闪灯和其它亮光进行区分。
[0018]在实施例中，通过以下操作来确定与所述闪灯相关联的所述第二地点：检测多个照相机所捕获的多个照相机图像中的闪灯签名；以及基于所述多个照相机中的各照相机的位置和定向来确定闪灯的径向地点；或者基于所述多个照相机的位置和定向的三角测量来确定所述第二地点。
[0019]在实施例中，确定所述3D数据是否包括对象还包括：针对错误和阻塞签名来分析所述3D数据；在检测到错误或阻塞签名的情况下，通知诊断系统以确定所述错误或阻塞签名的原因；以及在未检测到错误或阻塞签名的情况下，分析所述3D数据以确定所述3D数据是否包括对象。
[0020]在实施例中，确定所述3D数据是否包括对象还包括：对所述3D数据进行滤波以去除噪声；将所述3D数据分成具有类似特性的组；以及使用机器学习来分析所述组以确定对象检测。
[0021]在实施例中，所述方法还包括：确定所述对象检测的置信水平。
[0022]在实施例中，确定所述第三地点包括：基于对检测到所述对象的传感器的传感器位置和定向的分析来确定该对象的径向地点。
[0023]在实施例中，确定所述第三地点包括：基于对检测到所述对象的传感器的传感器位置和定向的分析来确定该对象的径向地点。
[0024]在实施例中，确定所述救援运载工具的存在和地点还包括：将鸣笛声检测、闪灯检测和对象检测进行比较，以确定所述鸣笛检测、所述闪灯检测和所述对象检测是否匹配；以及根据确定为匹配来生成指示所述救援运载工具的存在的信号。
[0025]在实施例中，所述方法还包括：基于所述救援运载工具的地点来跟踪所述救援运载工具。
[0026]在实施例中，一种系统，包括：至少一个处理器；存储有指令的存储器，所述指令在由所述至少一个处理器执行时使得所述至少一个处理器进行上述方法中的任一方法。
[0027]在实施例中，一种计算机可读存储介质，其上存储有指令，所述指令在由至少一个处理器执行时使得所述至少一个处理器进行上述方法中的任一方法。
[0028]所公开实施例中的一个或多个提供了以下优点中的一个或多个优点。运载工具可以准确地确定救援运载工具的存在和地点，并且响应于根据国家运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于运载工具的方法，包括：利用至少一个处理器来接收环境声；利用所述至少一个处理器来确定所述环境声是否包括鸣笛声；根据确定为所述环境声包括鸣笛声，利用所述至少一个处理器来确定与鸣笛声相关联的第一地点；利用所述至少一个处理器来接收照相机图像；利用所述至少一个处理器来确定所述照相机图像是否包括闪灯；根据确定为所述照相机图像包括闪灯，利用所述至少一个处理器来确定与闪灯相关联的第二地点；利用所述至少一个处理器来接收三维数据即3D数据；利用所述至少一个处理器来确定所述3D数据是否包括对象；根据确定为所述3D数据包括对象，利用所述至少一个处理器来确定与对象相关联的第三地点；利用所述至少一个处理器，基于所述鸣笛声、检测到的闪灯和检测到的对象来确定救援运载工具的存在；利用所述至少一个处理器，基于所述第一地点、所述第二地点和所述第三地点来确定所述救援运载工具的估计地点；以及利用所述至少一个处理器，基于所确定的救援运载工具的存在和地点来发起与运载工具相关的动作。2.根据权利要求1所述的方法，其中，确定所述环境声是否包括鸣笛声还包括：将所述环境声转换为数字信号；针对错误和阻塞签名来分析所述数字信号；在检测到错误或阻塞签名的情况下，通知诊断系统以确定所述错误或阻塞签名的原因；以及在未检测到错误或阻塞签名的情况下，针对鸣笛声来分析所述数字信号。3.根据权利要求1所述的方法，其中，确定所述环境声是否包括鸣笛声还包括：将所述环境声转换为数字信号；对来自所述数字信号的噪声进行滤波；将所述数字信号与基准信号进行比较；以及基于比较的结果来确定鸣笛声检测。4.根据权利要求1所述的方法，其中，确定所述环境声是否包括鸣笛声还包括：将所述环境声转换为数字信号；使用机器学习来分析所述数字信号；以及基于分析的结果来确定鸣笛声检测。5.根据权利要求4所述的方法，还包括：确定所述鸣笛声检测的置信水平。6.根据权利要求1所述的方法，其中，基于声定位来确定与所述鸣笛声的源相关联的所述第一地点，其中，所述声定位基于对位于运载工具周围的多个麦克风所输出的信号的飞行时间分析即TOF分析。
7.根据权利要求1所述的方法，其中，基于多个单向麦克风的地点和定向来确定与所述鸣笛声的源相关联的所述第一地点，并且基于从对所述多个单向麦克风的输出信号以及所述多个单向麦克风各自的地点和定向的分析所获得的密钥签名信号的强度来确定所述第一地点。8.根据权利要求1所述的方法，其中，确定所述照相机图像是否包括闪灯还包括：针对错误和阻塞签名来分析所述照相机图像；在检测到错误或阻塞签名的情况下，通知诊断系统以确定所述错误或阻塞签名的原因；以及在未检测到错误或阻塞签名的情况下，分析所述照相机图像以确定所述照相机图像是否包括闪灯。9.根据权利要求1所述的方法，其中，确定所述照相机图像是否包括闪灯还包括：对所述照相机图像进行滤波以去除低强度光信号，从而得到高强度图像；将所述高强度图像与基准图像进行比较；以及基于比较的结果来确定闪灯检测。10.根据权利要求1所述的方法，其中，确定所述照相机图像是否包括闪灯还包括：使用机器学习来分析所述照相机图像；以及基于分析的结果来预测闪灯检测。11.根据权利要求10所述的方法，还包括：确定所述闪灯检测的置信水平。12.根据权利要求11所述的方法，其中，使用机器学习的所述分析包括...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：动态AD有限责任公司，
类型：发明
国别省市：