多种传感器组合探测的方法及装置、电子设备、存储介质制造方法及图纸

本发明专利技术提供了一种多种传感器组合探测的方法及装置、电子设备、存储介质，该方法包括：多种传感器有共同的目标探测区域，多种传感器至少包括：雷达、摄像头；当其中一种或多种传感器探测到潜在目标时，对部分或全部其余传感器的探测参数进行互动实时调整；对摄像头的探测参数进行互动调整包括：对摄像头的像素级的探测参数进行互动实时调整；对雷达的探测参数进行互动调整包括：对雷达的发射和/或接收信号的探测参数或探测数据的筛选进行互动实时调整；将多种传感器探测到的数据同步实时输出。本发明专利技术的技术方案，实现了原始数据的融合，可以挖掘出更多的信息，数据维度更多，目标探测更精准。更精准。更精准。

【技术实现步骤摘要】
多种传感器组合探测的方法及装置、电子设备、存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种多种传感器组合探测的方法及装置、电子设备、存储介质。

技术介绍

[0002]在目标识别与环境感知领域，摄像头与雷达(或称为：毫米波传感器)都是被广泛应用的，两类传感器有各自对环境感知的特点与维度，所以他们也被常常组合在一起，成为传感器组合，来做数据融合，来共同完成环境与目标感知的任务。
[0003]目前常用的雷达(毫米波传感器)与摄像头融合环境通常停留在后端融合阶段，即毫米波传感器感知到目标并探测出结果以后，系统把结果与另一个独立的摄像头感知模块对目标探测并输出结果的摄像头感知模块探测结果做比对，从两者的输出结果的比对来做目标检测的双重确认；或者反过来，系统把摄像头感知模块对目标探测并输出结果的摄像头感知模块探测结果再与毫米波传感器感知到目标并探测出结果做比对，从两者的输出结果的比对来做目标检测的双重确认。这种数据处理方法，其实各自传感器在做目标检测并探测结果的过程中，许多有效的基本数据由于自身数据检测的维度不够而导致数据被丢失，同时，由于各自传感器本身感知与数据处理的局限性，也会导致对目标感知与处理输出结果的精度不能做得太高；打个比方，毫米波雷达目前很难做到对目标的空间定位检测做到很精准，这也是目前毫米波雷达单独做目标成像成为一个难题的原因，而摄像头无法对目标的空间距离及运动速度探测做得精准，尽管目前系统会用双摄像头甚至多摄像头系统来提高目标检测的距离精度，在系统成本几倍提升的前提下，目标的距离与速度探测仍然无法做到很好。所以两种传感器在各自的数据感知维度上做目标检测与感知时，许多信息没有办法去挖掘出来，从而，对目标检测数据再做后端融合，往往结果并不理想。

技术实现思路

[0004]本专利技术提供一种多种传感器组合探测的方法及装置、电子设备、存储介质，以解决现有技术中对多种传感器的探测数据做高阶融合，结果不理想的问题。
[0005]为解决上述技术问题，本专利技术是通过如下技术方案实现的：
[0006]根据本专利技术的第一方面，提供一种多种传感器组合探测的方法，其包括：
[0007]使多种传感器具有共同的目标探测区域；
[0008]其中，多种传感器至少包括：雷达、摄像头；
[0009]当其中一种或多种传感器探测到潜在目标时，对部分或全部所述其余传感器的探测参数进行互动实时调整，增强捕获目标检测细节信息；
[0010]其中，对所述摄像头的探测参数进行互动调整包括：对所述摄像头的像素级的探测参数进行互动调整；对所述雷达的探测参数进行互动调整包括：对所述雷达的发射和/或接收信号的探测参数或探测数据的筛选进行互动调整；
[0011]其中，所述摄像头的像素级的探测参数进行互动调整包括但不限于：对所述摄像
头或图像传感器的工作参数和数据处理参数进行互动实时调整；来对所述雷达的探测参数进行互动实时调整包括但不限于：对所述雷达的发射和/或接收信号的探测参数或探测数据的筛选进行互动调整。
[0012]将所述多种传感器探测到的数据实时同步输出。
[0013]较佳地，当其中一种或多种传感器探测到潜在目标时，对部分或全部所述其余传感器的探测参数进行互动实时调整，具体为：
[0014]当所述雷达探测到潜在目标时，对所述摄像头的像素级的探测参数进行互动实时调整。
[0015]较佳地，对所述摄像头的探测参数进行互动实时调整中的探测参数包括：曝光区域、曝光时间、对焦距离、图像传感器的信号增益、图像传感器的灵敏度图像传感器的信噪比，色彩滤波阵列(CFA)中的任意一种或多种。
[0016]较佳地，对所述摄像头的像素级的探测参数进行互动实时调整，具体包括：
[0017]所述雷达探测到潜在目标时，对所述摄像头的曝光区域进行调整，使其对目标检测子区域进行局部曝光；
[0018]其中，所述目标检测子区域为所述潜在目标所处的区域；
[0019]将所述摄像头捕获的目标检测子区域图像和其他区域以及背景区域图像进行组合。
[0020]较佳地，当所述雷达探测到潜在目标时，如果摄像头支持对焦距离调整的话，对所述摄像头的对焦距离进行调整，使其对目标检测子区域进行准确对焦；其中，所述目标检测子区域为所述潜在目标所处的区域。较佳地，当所述雷达探测到潜在目标时，对所述摄像头的像素级的探测参数进行互动实时调整，还包括：
[0021]对同一时间段内采集的多幅目标检测子区域图像做宽动态处理，融合产生超宽动态图像。
[0022]较佳地，当其中一种或多种传感器探测到潜在目标时，对部分或全部所述其余传感器的探测参数进行调整，具体为：
[0023]当所述摄像头探测到潜在目标时，对所述雷达的发射和/或接收信号的探测参数或探测数据的筛选进行调整。
[0024]较佳地，对所述雷达的发射和/或接收信号的探测参数进行互动实时调整中的探测参数包括：捕获视角、目标信号的检测提取参数、信号波形、信号频率、信号强度、信号帧率、信号带宽、速度谱中的任意一种或多种。
[0025]较佳地，当所述摄像头探测到潜在目标时，对所述雷达的发射与接收信号的探测参数或探测数据的筛选进行互动实时调整，具体包括：
[0026]对所述摄像头捕捉到的图像做语义分割，产生目标的分类；
[0027]利用连续调频波雷达的中频信号的相位信息来实现精确定位。
[0028]较佳地，当所述摄像头探测到潜在目标时，对所述雷达的发射和/或接收信号的探测参数或探测数据的筛选进行互动实时调整，具体包括：
[0029]对所述摄像头捕捉到的图像做语义分割，产生目标的分类；
[0030]基于所述目标的分类的属性来配置所述雷达的发射调制信号的配置，来建立对应的目标探测的数据捕获视角。
[0031]较佳地，当所述摄像头探测到潜在目标时，对所述雷达的发射和/或接收信号的探测参数或探测数据的筛选进行互动实时调整，具体包括：
[0032]基于所述摄像头捕捉到的图像的物理分类，来筛选出有效的雷达目标反射信号；
[0033]其中，所述有效的雷达目标反射信号为把多径反射信号以及底噪滤除后的雷达目标反射信号。
[0034]较佳地，将所述多种传感器探测到的数据输出，具体包括：
[0035]将所述多种传感器探测到的原始数据以预设的固定数据格式进行组合，得到融合数据结构组；
[0036]将所述融合数据结构组输出。
[0037]较佳地，将所述多种传感器探测到的原始数据以预设的固定数据格式进行组合，得到的融合数据结构组中的每一帧数据至少包括：至少一帧所述摄像头捕捉到的单帧像素图像数据，以及在同一时间段内的所述雷达采集到的全部接收通道的原始数据。
[0038]较佳地，所述融合数据结构组中的每一帧数据还包括：元数据、事件感知的时间戳、被触发事件的信息、前后帧事件感知结果的描述信息中的一种或多种。
[0039]较佳地，将所述多种传感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多种传感器组合探测的方法，其特征在于，包括：使多种传感器具有共同的目标探测区域；其中，多种传感器至少包括：雷达、摄像头；当其中一种或多种传感器探测到潜在目标时，对部分或全部所述其余传感器的探测参数进行互动实时调整；其中，对所述摄像头的探测参数进行互动实时调整包括：对所述摄像头的像素级的探测参数进行互动实时调整；对所述雷达的探测参数进行互动实时调整包括：对所述雷达的发射和/或接收信号的探测参数或探测数据的筛选进行互动调整；将所述多种传感器探测到的数据同步实时输出。2.根据权利要求1所述的多种传感器组合探测的方法，其特征在于，当其中一种或多种传感器探测到潜在目标时，对部分或全部所述其余传感器的探测参数进行互动实时调整，具体为：当所述雷达探测到潜在目标时，对所述摄像头的像素级的探测参数进行互动实时调整。3.根据权利要求2所述的多种传感器组合探测的方法，其特征在于，对所述摄像头的像素级的探测参数进行互动实时调整中的探测参数包括：曝光区域、曝光时间、对焦距离、图像传感器的信号增益、图像传感器的灵敏度、图像传感器的信噪比、色彩滤波阵列中的任意一种或多种。4.根据权利要求3所述的多种传感器组合探测的方法，其特征在于，对所述摄像头的像素级的探测参数进行互动实时调整，具体包括：所述雷达探测到潜在目标时，对所述摄像头的曝光区域进行调整，使其对目标检测子区域进行局部曝光；其中，所述目标检测子区域为所述潜在目标所处的区域；将所述摄像头捕获的目标检测子区域图像和其他区域以及背景区域图像进行组合。5.根据权利要求4所述的多种传感器组合探测的方法，其特征在于，对所述摄像头的像素级的探测参数进行互动实时调整，还包括：对同一时间段内采集的多幅目标检测子区域图像做宽动态处理，融合产生超宽动态图像。6.根据权利要求1所述的多种传感器组合探测的方法，其特征在于，当其中一种或多种传感器探测到潜在目标时，对部分或全部所述其余传感器的探测参数进行互动实时调整，具体为：当所述摄像头探测到潜在目标时，对所述雷达的发射和/或接收信号的探测参数或探测数据的筛选进行互动调整。7.根据权利要求6所述的多种传感器组合探测的方法，其特征在于，对所述雷达的探测参数进行互动实时调整中的探测参数包括：捕获视角、目标信号的检测提取参数、信号波形、信号频率、信号强度、信号帧率、信号带宽、速度谱中的任意一种或多种。8.根据权利要求6所述的多种传感器组合探测的方法，其特征在于，当所述摄像头探测到潜在目标时，对所述雷达的发射与接收信号的探测参数或探测数据的筛选进行互动实时调整，具体包括：对所述摄像头捕捉到的图像做语义分割，产生目标的分类；
利用连续调频波雷达的中频信号的相位信息来实现精确定位。9.根据权利要求6所述的多种传感器组合探测的方法，其特征在于，当所述摄像头探测到潜在目标时，对所述雷达的发射和/或接收信号的探测参数或探测数据的筛选进行互动实时调整，具体包括：对所述摄像头捕捉到的图像做语义分割，产生目标的分类；基于所述目标的分类的属性来配置所述雷达的发射调...

【专利技术属性】
技术研发人员：蒋闻涛，钟子果，
申请(专利权)人：上海昱感微电子科技有限公司，
类型：发明
国别省市：