使用毫米波雷达进行人类检测和识别的系统和方法技术方案

本发明专利技术涉及使用毫米波雷达进行人类检测和识别的系统和方法。本发明专利技术公开了一种人类检测方法，包括：使用毫米波雷达接收第一回波信号和第二回波信号以分别产生第一组数据和第二组数据；分别基于第一组数据和第二组数据选择第一角度和第二角度；使用第一角度对第一组数据执行FrFT；通过将第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标；使用第二角度对第二组数据执行FrFT；通过将第二组数据的FrFT的峰值与第一阈值进行比较来识别第二目标；基于所识别的第一目标和第二目标生成一组目标跟踪；以及基于将该组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较来将目标跟踪与人类跟踪相关联。

System and method of human detection and recognition using millimeter wave radar

【技术实现步骤摘要】
使用毫米波雷达进行人类检测和识别的系统和方法
本专利技术总体涉及使用毫米波雷达在工厂车间中进行人类检测和识别的系统和方法。
技术介绍
由于低成本半导体技术例如硅锗(SiGe)和精细几何互补金属氧化物半导体(CMOS)工艺的快速发展，毫米波频率体制下的应用在过去几年获得了极大的关注。高速双极性晶体管和金属氧化物半导体(MOS)晶体管的可用性导致对用于24GHz、60GHz、77GHz和80GHz以及超过100GHz的毫米波应用的集成电路的需求不断增长。这样的应用包括例如机动车雷达系统和数千兆通信系统。在一些雷达系统中，通过发送调频信号、接收调频信号的反射(也称为回波)来确定雷达与目标之间的距离，并且基于调频信号的发送与接收之间的时间延迟和/或频率差来确定距离。因此，一些雷达系统包括用于发射射频(RF)信号的发射天线、用于接收RF的接收天线以及用于产生发射信号和接收RF信号的相关RF电路。在一些情况下，可以使用多个天线来利用相控阵技术实现定向波束。具有多个芯片组的多输入多输出(MIMO)配置也可以用于执行相干和非相干信号处理。
技术实现思路
根据实施方式，一种用于人类检测的方法包括：使用毫米波雷达朝向场景中的对象发送/发射(transmit)多个啁啾以产生回波信号；使用毫米波雷达接收第一回波信号以产生第一组数据；基于第一组数据识别第一初始目标；基于第一组数据选择第一角度；基于第一初始目标使用第一角度对第一组数据执行分数阶傅里叶变换(FrFT)；通过将第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标；在接收到第一回波信号后，使用毫米波雷达接收第二回波信号以产生第二组数据；基于第二组数据识别第二初始目标；基于第二组数据选择第二角度，其中第二角度与第一角度不同；基于第二初始目标使用第二角度对第二组数据执行FrFT；通过将第二组数据的FrFT的峰值与第一阈值进行比较来识别第二目标；基于所识别的第一目标和第二目标生成一组目标跟踪；将该组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较，以生成相应的目标跟踪比较结果；并且基于相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。根据实施方式，一种系统包括：处理器，其被配置成耦接至毫米波雷达传感器电路，该处理器被配置成：从毫米波雷达传感器电路接收第一组数据和第二组数据；基于第一组数据识别第一初始目标；基于第一组数据选择第一角度；基于第一初始目标使用第一角度对第一组数据执行FrFT；通过将第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标；基于第二组数据选择第二角度，其中，第二角度与第一角度不同；基于第二组数据识别第二初始目标；基于第二初始目标使用第二角度对第二组数据执行FrFT；通过将第二组数据的FrFT的峰值与第一阈值进行比较来识别第二目标；基于所识别的第一目标和第二目标跟踪识别的目标；以及将所跟踪的识别目标与参考跟踪特征进行比较以检测人类。根据实施方式，一种毫米波雷达包括：毫米波雷达传感器电路，其被配置成：朝向场景中的对象连续地发送多个啁啾以产生回波信号，使用毫米波雷达接收第一回波信号以产生第一组数据，并且在接收到第一回波信号之后接收第二回波信号以产生第二组数据；以及处理器，其被配置成：基于第一组数据选择第一角度，使用第一角度对第一组数据执行FrFT，通过将第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标，基于第二组数据选择第二角度，其中第二角度与第一角度不同，使用第二角度对第二组数据执行FrFT，通过将第二组数据的FrFT的峰值与第一阈值进行比较来识别第二目标，基于所识别的第一目标和第二目标跟踪识别的目标，并且将所跟踪的识别目标与参考跟踪特征进行比较以检测人类。附图说明为了更完整地理解本专利技术及其优点，现在参照下面结合附图的描述，附图中：图1示出了包括与移动部件共存的人的汽车装配厂的工厂车间；图2示出了包括与移动部件共存的人的电梯井中的电梯；图3示出了根据本专利技术的实施方式的工业环境中的雷达系统；图4示出了根据本专利技术的实施方式的在工业环境中检测和监视人类的实施方法的流程图；图5A示出了根据本专利技术的实施方式的雷达传感器阵列的俯视图；图5B示出了根据本专利技术的实施方式的图5A的雷达传感器阵列的正视图；图6示出了根据本专利技术的另一实施方式的雷达传感器阵列的俯视图；图7A至图7D示出了根据本专利技术的实施方式的由图3的毫米波雷达捕获和/或处理的回波信号的图形表示；图7E示出了毫米波雷达传感器电路的TX元件和RX元件的可能布置；图7F示出了根据本专利技术的实施方式的波束成形的图形表示；图8示出了根据本专利技术的实施方式的在工业环境中检测和监视人类的实施方法的流程图；以及图9示出了示出用于特征提取和标识的机器学习流水线的框图。除非另有说明，否则不同附图中的对应数字和符号通常指代对应的部分。绘制附图以清楚地说明优选实施方式的相关方面，并且不一定按比例绘制附图。为了更清楚地说明特定实施方式，指示相同结构、材料或处理步骤的变化的字母可以遵循附图标记。具体实施方式下面详细讨论目前优选的实施方式的制作和使用。然而，应该理解的是，本专利技术提供了可以在各种具体场合中实施的许多可应用的专利技术概念。所讨论的具体实施方式仅说明制造和使用本专利技术的具体方式，并不限制本专利技术的范围。下面的描述说明了各种具体细节，以根据本说明书来提供对若干示例实施方式的深入理解。可以在没有具体细节中的一个或更多个的情况下获得实施方式或者利用其他方法、组件、材料等获得实施方式。在其他情况下，未详细示出或描述已知的结构、材料或操作，以免模糊实施方式的不同方面。在本说明书中对“实施方式”的引用指示关于该实施方式描述的特定配置、结构或特征被包括在至少一个实施方式中。因此，可能出现在本说明书的不同点处的例如“在一个实施方式中”的短语不一定准确指代相同的实施方式。此外，在一个或更多个实施方式中，可以以任何适当的方式组合特定的形成、结构或特征。将关于具体场合中的实施方式、在工业环境中使用毫米波雷达系统进行人类检测和识别的系统和方法来描述本专利技术，该工业环境包括具有移动部件的机械。可以在不同的环境中使用本专利技术的实施方式。一些实施方式可用于检测并识别除人类之外的对象，例如动物。在一些环境中，具有多个移动部件的机械与人共存。例如，图1示出了汽车装配厂的工厂车间，其中包括与移动部件共存的员工。图2示出了包括与移动部件共存的安装者/维修者的电梯井中的电梯。在与机械交互时人的受伤率可能很高。因此，对例如工厂环境中的事件进行预测、预防、警告和/或反应以减小或消除对人造成伤害的风险是有益的。本专利技术的实施方式使用基于雷达的解决方案在例如工厂车间的各种环境中检测人类。一些实施方式对任何给定时间处的给定环境中的多个人进行计数并跟踪每个人。例如，人类识别和跟踪信息可以用于警告危险情况，例如当人太靠近移动部件的情况。一些实施方式执行活动辨识例如检测人是否躺在地板上，然后基于检测到的活动来采取行动。在一些实施方式中，一旦发生触发事件(例如，人躺在地板上)，则采取例如警报当局、启动急救程序和/或停止移动部件中的一个或更多个移动部件的行动。一些实施方式执行人类的识别用于例如跟踪疏散程序。工业环境例如图1中所示的工厂车间，可以在不同时间处包括各种类型的对象。例如本文档来自技高网...

【技术保护点】
1.一种用于人类检测的方法，所述方法包括：使用毫米波雷达朝向场景中的对象发送多个啁啾以产生回波信号；使用所述毫米波雷达接收第一回波信号以产生第一组数据；基于所述第一组数据识别第一初始目标；基于所述第一组数据选择第一角度；基于所述第一初始目标使用所述第一角度对所述第一组数据执行分数阶傅里叶变换即FrFT；通过将所述第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标；在接收到所述第一回波信号之后，使用所述毫米波雷达接收第二回波信号以产生第二组数据；基于所述第二组数据识别第二初始目标；基于所述第二组数据选择第二角度，其中，所述第二角度与所述第一角度不同；基于所述第二初始目标使用所述第二角度对所述第二组数据执行FrFT；通过将所述第二组数据的FrFT的峰值与所述第一阈值进行比较来识别第二目标；基于所识别的第一目标和第二目标生成一组目标跟踪；将所述一组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较，以生成相应的目标跟踪比较结果；以及基于所述相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。

【技术特征摘要】
2018.04.11 US 15/950,6151.一种用于人类检测的方法，所述方法包括：使用毫米波雷达朝向场景中的对象发送多个啁啾以产生回波信号；使用所述毫米波雷达接收第一回波信号以产生第一组数据；基于所述第一组数据识别第一初始目标；基于所述第一组数据选择第一角度；基于所述第一初始目标使用所述第一角度对所述第一组数据执行分数阶傅里叶变换即FrFT；通过将所述第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标；在接收到所述第一回波信号之后，使用所述毫米波雷达接收第二回波信号以产生第二组数据；基于所述第二组数据识别第二初始目标；基于所述第二组数据选择第二角度，其中，所述第二角度与所述第一角度不同；基于所述第二初始目标使用所述第二角度对所述第二组数据执行FrFT；通过将所述第二组数据的FrFT的峰值与所述第一阈值进行比较来识别第二目标；基于所识别的第一目标和第二目标生成一组目标跟踪；将所述一组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较，以生成相应的目标跟踪比较结果；以及基于所述相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。2.根据权利要求1所述的方法，还包括通过对与人类跟踪相关联的多个目标跟踪进行计数来对所述场景中的多个人进行计数。3.根据权利要求1所述的方法，其中，所述场景包括具有移动机械的工厂环境。4.根据权利要求1所述的方法，其中，发送所述多个啁啾包括每500ms连续发送128至256个啁啾。5.根据权利要求1所述的方法，其中，发送所述多个啁啾包括在时间上等间隔地发送啁啾。6.根据权利要求1所述的方法，还包括：基于所识别的第一目标和第二目标来更新基于位置的概率矩阵；根据人类跟踪来对人进行检测；对所述第二组数据执行短时FrFT即STFrFT以生成第一STFrFT数据集；以及基于所述第一STFrFT数据集和所述基于位置的概率矩阵来使用微多普勒测量确定检测到的人的相应状态。7.根据权利要求6所述的方法，还包括在至少一个检测到的人具有与躺下相关联的状态时生成警报。8.根据权利要求6所述的方法，其中，与检测到的人相关联的状态包括躺下、站立和行走。9.根据权利要求6所述的方法，其中，基于所述第一STFrFT数据集确定检测到的人的相应状态包括将所述第一STFrFT数据集与参考活动特征进行比较。10.根据权利要求9所述的方法，还包括：基于所确定的检测到的人的状态触发疏散；以及在所述疏散期间跟踪所述场景中的多个人。11.根据权利要求9所述的方法，还包括使用机器学习算法生成所述参考活动特征。12.根据权利要求1所述的方法，其中，所述毫米波雷达包括毫米波雷达传感器电路阵列，其中，每个毫米波雷达传感器电路捕获不同的视场。13.根据权利要求12所述的方法，还包括拼接每个毫米波雷达传感器电路捕获到的相应的视场以生成拼接的数据集，其中，所述第一组数据和所述第二组数据是拼接的数据集。14.根据权利要求1所述的方法，还包括基于所述第一组数据识别静态对象。15.根据权利要求1所述的方法，其中，识别第一初始目标包括对所述第一组数据执行范围快速傅里叶变换即FFT。16.根据权利要求1所述的方法，其中，选择所述第一角度包括：使用相应的多个不同角度对所述第一组数据执行多次FrFT；以及对于所述多次FrFT中的每次FrFT，计算峰值平均功率比即PAPR，其中，选择所述多个不同角度中的与最高PAPR相关联的角度作为所述第一角度。17.根据权利要求16所述的方法，其中，计算所述PAP...

【专利技术属性】
技术研发人员：阿维克·桑特拉，阿修讬许·巴赫提，贾格吉特·辛格·巴尔，
申请(专利权)人：英飞凌科技股份有限公司，
类型：发明
国别省市：德国,DE