【技术实现步骤摘要】
【国外来华专利技术】环境感知方法、装置以及控制方法、装置和车辆
本专利技术涉及自动驾驶
，尤其涉及一种环境感知方法、装置以及控制方法、装置和车辆。
技术介绍
目前，在很多场景下都需要通过传感器感知周围环境，例如，自动驾驶车辆需要通过传感器感知周围环境，进一步的，可以在不需要人类主动操作下，实现自动驾驶。现有技术中，相比于人工驾驶车辆而言，自动驾驶车辆通过增加多个传感器，依靠人工智能、视觉计算、监控装置等，可以实现自动安全可靠地操作机动车辆。其中，自动驾驶车辆的传感器主要包括视觉传感器，进一步的，通过对视觉传感器获取到的图像进行视觉识别，并根据视觉识别的结果对自动驾驶车辆进行控制。但是，目前存在视觉传感器获取到的图像受限的问题，例如在夜晚获取到的图像的清晰度较低，或者，不能获取到某个角度的图像等。因此，现有技术中，存在由于视觉传感器获取的图像受限，而导致环境感知能力有限。
技术实现思路
本专利技术实施例提供一种环境感知方法、装置以及控制方法、装置和车辆，用于解决现有技术由于视觉传感器获取的图像受限...
【技术保护点】
1.一种环境感知方法，其特征在于，包括：/n获取声音传感器采集到的声音数据，以及视觉传感器采集到的图像数据；/n根据所述声音数据和所述图像数据，确定环境识别结果。/n
【技术特征摘要】
【国外来华专利技术】1.一种环境感知方法，其特征在于，包括：
获取声音传感器采集到的声音数据，以及视觉传感器采集到的图像数据；
根据所述声音数据和所述图像数据，确定环境识别结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述声音数据和所述图像数据，确定环境识别结果，包括：
获得所述声音数据与所述图像数据携带的信息，并对所述信息进行融合，得到融合后的信息；
根据所述融合后的信息，确定环境识别结果。
3.根据权利要求2所述的方法，其特征在于，所述获得所述声音数据与所述图像数据携带的信息，并对所述信息进行融合，得到融合后的信息包括：
将所述声音数据输入至第一神经网络，得到所述第一神经网络的输出结果；
将所述第一神经网络的输出结果和所述图像数据，输入至第二神经网络，得到所述第二神经网络的输出结果，所述第二神经网络的输出结果包括所述第二神经网络的第一通道和第二通道各自的环境识别结果；所述第一通道为与声音数据相关的通道，所述第二通道为与图像数据相关的通道。
4.根据权利要求3所述的方法，其特征在于，所述根据所述融合后的信息，确定环境识别结果，包括：
根据所述第一通道的环境识别结果、所述第一通道的置信度，以及所述第二通道的环境识别结果和所述第二通道的置信度，确定最终的环境识别结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一通道的环境识别结果、所述第一通道的置信度，以及所述第二通道的环境识别结果和所述第二通道的置信度，确定最终的环境识别结果，包括：
根据所述第一通道的环境识别结果、所述第一通道的置信度，所述第一通道的权重，以及所述第二通道的环境识别结果、所述第二通道的置信度和所述第二通道的权重，确定最终的环境识别结果。
6.根据权利要求5所述的方法，其特征在于，所述第一通道的权重为固定权重。
7.根据权利要求5所述的方法，其特征在于，所述第二通道的权重为固定权重。
8.根据权利要求5或7所述的方法，其特征在于，所述第一通道的权重与视觉传感器受环境的影响程度正相关。
9.根据权利要求5或7所述的方法，其特征在于，所述第二通道的权重与视觉传感器受环境的影响程度负相关。
10.根据权利要求5所述的方法，其特征在于，所述第二神经网络的输出结果还包括：根据所述图像数据确定的特征信息，所述特征信息用于表征当前环境状态；
所述方法还包括：
根据所述特征信息，确定所述第一通道和/或所述第二通道的权重。
11.根据权利要求3-10任一项所述的方法，其特征在于，所述第一神经网络为基于样本声音数据和识别标记训练得到的神经网络，所述识别标记为所述样本声音数据对应的样本图像数据输入至所述第二神经网络后，所述第二神经网络的输出结果。
12.根据权利要求1-11任一项所述的方法，其特征在于，所述方法还包括：
获取雷达传感器采集到的雷达数据；
所述根据所述声音数据和所述图像数据，确定环境识别结果，包括：
根据所述雷达数据、所述声音数据和所述图像数据，确定环境识别结果。
13.根据权利要求12所述的方法，其特征在于，所述根据所述雷达数据、所述声音数据和所述图像数据，确定环境识别结果，包括：
对所述雷达数据和所述图像数据进行融合，得到融合后的数据；
获得所述声音数据与所述融合后的数据携带的信息，并对所述信息进行融合，得到融合后的信息；
根据所述融合后的信息，确定环境识别结果。
14.根据权利要求1-13任一项所述的方法，其特征在于，所述声音传感器设置在第一位置，所述视觉传感器设置在第二位置，所述第一位置和所述第二位置之间的距离大于或等于0且小于距离阈值。
15.根据权利要求14所述的方法，其特征在于，所述第一位置和所述第二位置之间的距离等于0，所述声音传感器和所述视觉传感器集成在一起。
16.一种环境感知装置，其特征在于，包括：处理器和存储器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取声音传感器采集到的声音数据，以及视觉传感器采集到的图像数据；
根据所述声音数据和所述图像数据，确定环境识别结果。
17.根据权利要求16所述的装置，其特征在于，所述处理器用于根据所述声音数据和所述图像数据，确定环境识别结果，具体包括：
获得所述声音数据与所述图像数据携带的信息，并对所述信息进行融合，得到融合后的信息；
根据所述融合后的信息，确定环境识别结果。
18.根据权利要求17所述的装置，其特征在于，所述处理器用于获得所述声音数据与所述图像数据携带的信息，并对所述信息进行融合，得到融合后的信息，具体包括：
将所述声音数据输入至第一神经网络，得到所述第一神经网络的输出结果；
将所述第一神经网络的输出结果和所述图像数据，输入至第二神经网络，得到所述第二神经网络的输出结果，所述第二神经网络的输出结果包括所述第二神经网络的第一通道和第二通道各自的环境识别结果；所述第一通道为与声音数据相关的通道，所述第二通道为与图像数据相关的通道。
19.根据权利要求18所述的装置，其特征在于，所述处理器用于根据所述融合后的信息，确定环境识别结果，具体包括：
根据所述第一通道的环境识别结果、所述第一通道的置信度，以及所述第二通道的环境识别结果和所述第二通道的置信度，确定最终的环境识别结果。
20.根据权利要求19所述的装置，其特征在于，所述处理器用于根据所述第一通道的环境识别结果、所述第一通道的置信度，以及所述第二通道的环境识别结果和所述第二通道的置信度，确定最终的环境识别结果，具体包括：
根据所述第一通道的环境识别结果、所述第一通道的置信度，所述第一通道的权重，以及所述第二通道的环境识别结果、所述第二通道的置信度和所述第二通道的权重，确定最终的环境识别结果。
21.根据权利要求20所述的装置，其特征在于，所述第一通道的权重为固定权重。
22.根据权利要求20所述的装置，其特征在于，所述第二通道的权重为固定权重。
23.根据权利要求20或22所述的装置，其特征在于，所述第一通道的权重与视觉传感器受环境的影响程度正相关。
24.根据权利要求20或22所述的装置，其特征在于，所述第二通道的权重与视觉传感器受环境的影响程度负相关。
25.根据权利要求20所述的装置，其特征在于，所述第二神经网络的输出结果还包括：根据所述图像数据确定的特征信息，所述特征信息用于表征当前环境状态；
所述处理器还用于：
根据所述特征信息，确定所述第一通道和/或所述第二通道的权重。
26.根据权利要求18-25任一项所述的装置，其特征在于，所述第一神经网络为基于样本声音数据和识别标记训练得到的神经网络，所述识别标记为所述样本声音数据对应的样本图像数据输入至所述第二神经网络后，所述第二神经网络的输出结果。
27.根据权利要求16-26任一项所述的装置，其特征在于，所述处理器还用于：
获取雷达传感器采集到的雷达数据；
所述根据所述声音数据和所述图像数据，确定环境识别结果，包括：
根据所述雷达数据、所述声音数据和所述图像数据，确定环境识别结果。
28.根据权利要求27所述的装置，其特征在于，所述处理器用于根据所述雷达数据、所述声音数据和所述图像数据，确定环境识别结果，具体包括：
对所述雷达数据和所述图像数据进行融合，得到融合后的数据；
获得所述声音数据与所述融合后的数据携带的信息，并对所述信息进行融合，得到融合后的信息；
根据所述融合后的信息，确定环境识别结果。
29.根据权利要求16-28任一项所述的装置，其特征在于，所述声音传感器设置在第一位置，所述视觉传感器设置在第二位置，所述第一位置和所述第二位置之间的距离大于或等于0且小于距离阈值。
30.根据权利要求29所述的装置，其特征在于，所述第一位置和所述第二位置之间的距离等于0，所述声音传感器和所述视觉传感器集成在一起。
31.一种基于环境感知的控制方法，其特征在于，包括：
获取声音传感器采集到的声音数据，以及视觉传感器采集到的图像数据；
根据所述声音数据和所述图像数据，确定环境识别结果；
根据所述环境识别结果，对车辆进行控制。
32.根据权利要求31所述的方法，其特征在于，所述根据所述声音数据和所述图像数据，确定环境识别结果，包括：
获得所述声音数据与所述图像数据携带的信息，并对所述信息进行融合，得到融合后的信息；
根据所述融合后的信息，确定环境识别结果。<...
【专利技术属性】
技术研发人员：王铭钰，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。