基于三维声像传感器的载运工具控制与可视化环境体验制造技术

提供一种用于控制载运工具的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；根据所述对象认知信息，计算该载运工具的场景信息；以及根据所述场景信息，确定该载运工具的操作指令。

Vehicle Control and Visualized Environment Experience Based on Three-dimensional Acoustic and Image Sensor

【技术实现步骤摘要】
基于三维声像传感器的载运工具控制与可视化环境体验
本专利技术涉及载运工具和传感器，更具体地，涉及用于控制载运工具的方法和装置、用于在载运工具中提供可视化环境体验的方法和装置、载运工具以及用于载运工具的传感器系统。
技术介绍
近年来，随着激光雷达等传感器硬件以及人工智能图像识别软件的发展，车辆自动驾驶技术已经逐步进入实用阶段。然而，目前的自动驾驶软硬件方案仅仅能够通过识别障碍物、车辆、行人、动物等对象的空间位置来操控车辆进行规避，对车内外环境缺乏整体认知，因而无法实现充分适应环境的车辆控制。此外，虽然诸如虚拟现实、增强现实和混合现实等可视化环境体验技术已经被用于家庭娱乐、游戏、地图导航、营销展示、教育培训等领域，尚未提出用于在车辆(特别是自动驾驶车辆)中提供可视化环境体验的方案。
技术实现思路
因此，为了解决上述问题，本专利技术提供能够适应环境的载运工具、控制方法和装置、以及能够提供可视化环境体验的载运工具、控制方法和装置。此外，本专利技术还提供用于上述载运工具的传感器系统。根据本专利技术实施例的一个方面，提供一种用于控制载运工具的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号本文档来自技高网...

【技术保护点】
1.一种用于控制载运工具的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；根据所述对象认知信息，计算该载运工具的场景信息；以及根据所述场景信息，确定该载运工具的操作指令。

【技术特征摘要】
1.一种用于控制载运工具的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；根据所述对象认知信息，计算该载运工具的场景信息；以及根据所述场景信息，确定该载运工具的操作指令。2.如权利要求1所述的方法，其中所述确定至少两个对象的三维空间位置包括：根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定三维视觉信息源与三维听觉信息源在三维空间中的对应关系；以及根据所述对应关系，确定所述至少两个对象的三维空间位置，其中所述至少两个对象中的每一个对应于处于相同三维空间位置的一对三维视觉信息源和三维听觉信息源。3.如权利要求1所述的方法，其中所述至少两个对象包括人和/或物体，所述对象认知信息包括人的姿势、动作、表情、视线、语音、位置中的至少一个和/或物体的姿势、动作、声音、位置中的至少一个。4.如权利要求1所述的方法，其中基于深度学习计算所述对象认知信息和所述场景信息中的至少一个，所述对象认知信息包括深度网络中的隐藏层信息。5.如权利要求4所述的方法，其中使用第一深度网络计算该载运工具外部的对象的对象认知信息，使用第二深度网络计算该载运工具内部的对象的对象认知信息，并使用包含嵌入层的第三深度网络计算所述场景信息。6.如权利要求1所述的方法，进一步包括预先存储场景信息映射表，所述场景信息映射表包含场景信息与操作指令的映射关系，其中所述确定该载运工具的操作指令包括根据所述场景信息从所述场景信息映射表中选择操作指令。7.如权利要求6所述的方法，其中所述场景信息包括该载运工具的外部场景信息和内部场景信息的组合。8.如权利要求1所述的方法，其中所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少一组内部视觉传感器信号，每组视觉传感器信号包括三维测距信号和/或二维图像信号。9.如权利要求8所述的方法，其中所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少两组内部视觉传感器信号。10.如权利要求8所述的方法，其中至少一组视觉传感器信号包括三维测距信号和二维图像信号。11.如权利要求1所述的方法，其中所述多个听觉传感器信号包括至少一组外部听觉传感器信号和至少一组内部听觉传感器信号，每组听觉传感器信号包括至少两个麦克风信号。12.一种用于控制载运工具的装置，包括：处理器；以及存储器，被配置为存储计算机程序指令，所述计算机程序指令在由所述处理器执行时，使得该装置执行如权利要求1-11之一所述的方法。13.一种载运工具，包括如权利要求12所述的装置。14.一种用于在载运工具中提供可视化环境体验的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：睿镞科技北京有限责任公司，
类型：发明
国别省市：北京,11