提供尖端行人辅助系统的方法及装置制造方法及图纸

本发明专利技术涉及提供保护使用智能手机的行人的尖端行人辅助系统的方法。上述方法包括：上述智能手机使得位置跟踪单元，获取包括上述行人的位置信息及速度信息、上述智能手机的位置信息及速度信息的第一信息的步骤；使得检测单元，参照利用与上述智能手机联动的智能手机摄像头获取的图像以及上述第一信息，获取包括与上述行人邻近的危险区域的危险状态和危险对象的位置信息及速度信息的第二信息的步骤；以及使得控制单元，参照上述第一信息及上述第二信息计算上述行人的行走安全度后，通过上述智能手机向上述行人发送危险提醒。并且，上述方法可以用于监视领域或军事领域。

【技术实现步骤摘要】
提供尖端行人辅助系统的方法及装置
本专利技术涉及提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统(AdvancedPedestrianAssistanceSystem)的方法及利用其的智能手机。
技术介绍
最近，低头族(Smombie)一词已变得非常流行，英文是智能手机僵尸的意思，越来越多的行人因专注于智能手机而不能观察周边环境，导致危险情况。这种低头族不仅使自己处于危险之中，而且还可能危及他人，因此可能成为一个社会问题。为了保护低头族，已开发了一种智能手机程序可以在低头族行走时长时间凝视屏幕等情况下简单警告低头族，但上述程序过于简单而无法警告对低头族可能发生的多种危险情况。换句话说，没有针对低头族的安全和低头族周边的人的全面而精致的警告系统。
技术实现思路
技术问题本专利技术的目的在于解决如上所述的问题。本专利技术的目的在于，提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统(AdvancedPedestrianAssistanceSystem)，以保护上述行人及其周边的其他行人。解决问题的手段为了达成如上所述的本专利技术的目的，并带来后述的本专利技术的特征性效果，本专利技术的特性性结构如下：根据本专利技术的一方面，公开一种方法，提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统(AdvancedPedestrianAssistanceSystem)，其特征在于，包括：步骤(a)，上述智能手机使得至少一个位置跟踪单元，参照利用至少一个高清地图(HighDefinitionMap，HDMap)、至少一个全球定位系统(GPS，GlobalPositioningSystem)、以及至少一个惯性测量单元(IMU，inertialmeasurementunit)中包括的至少一个加速度传感器和至少一个陀螺传感器获取的信息中的至少一部分，获取包括上述行人的位置信息及速度信息、上述智能手机的位置信息及速度信息中的至少一部分的第一信息；步骤(b)，上述智能手机使得至少一个检测单元，参照利用与上述智能手机联动的一个以上智能手机摄像头获取的图像中的至少一部分以及上述第一信息，获取包括各个与上述行人邻近的危险区域的危险状态和危险对象的位置信息及速度信息的第二信息；以及步骤(c)，上述智能手机使得至少一个控制单元，参照上述第一信息及上述第二信息计算上述行人的至少一个行走安全度后，通过上述智能手机向上述行人发送危险提醒。根据一实施例，本专利技术的特征在于，还包括：步骤(d)，上述智能手机使得上述控制单元，向与上述行人邻近的连接设备(connecteddevice)中的至少一部分发送上述第一信息及上述第二信息中的至少一部分，上述连接设备包括与上述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，上述连接设备中的至少一部分为上述危险对象中的至少一部分。根据一实施例，本专利技术的特征在于，上述步骤(d)中，上述智能手机使得上述控制单元向与上述行人邻近的上述连接设备中的至少一部分发送上述第一信息及上述第二信息中的至少一部分，从而使得上述连接设备参照上述第一信息及上述第二信息中的至少一部分，以降低上述危险对象与上述行人之间发生碰撞的危险度的方向运行。根据一实施例，本专利技术的特征在于，上述步骤(c)中，上述智能手机使得上述控制单元进一步参照第三信息判断上述行走安全度，上述第三信息包括上述智能手机使得上述控制单元和与上述行人邻近的连接设备中的至少一部分进行通信而生成的关于上述行人的周边情况的信息，上述连接设备包括与上述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，上述连接设备中的至少一部分为上述危险对象中的至少一部分。根据一实施例，本专利技术的特征在于，上述第三信息包括第3-1信息及第3-2信息中的至少一部分，上述第3-1信息包括与上述智能手机联动的上述智能手机摄像头的至少一个虚拟虚拟视锥体(VirtualViewingFrustum)以及与上述连接设备联动的至少一个外部摄像头的至少一个虚拟虚拟视锥体中同时包括的第一特定危险对象的位置信息及速度信息，上述第3-2信息包括与上述智能手机联动的上述智能手机摄像头的上述虚拟虚拟视锥体中未包括但与上述连接设备联动的上述外部摄像头的上述虚拟虚拟视锥体中包括的第二特定危险对象的位置信息及速度信息，上述智能手机使得上述控制单元，参照上述第3-1信息验证上述第二信息的可靠性，并参照上述第3-2信息获取关于至少一个未检测危险对象的信息。根据一实施例，本专利技术的特征在于，上述步骤(c)中，上述智能手机使得上述控制单元，参照(i)上述第三信息中包括的与上述行人邻近的信号灯的位置信息及信号状态信息；以及(ii)上述第一信息中包括的上述行人的上述位置信息及上述速度信息，生成上述行人的关注信号灯信息，并参照上述关注信号灯信息，通过上述智能手机向上述行人发送追加信号灯提醒。根据一实施例，本专利技术的特征在于，上述第三信息包括：(i)与上述行人邻近的上述车辆的位置和速度；(ii)参照与上述行人邻近的上述CCTV获取的与上述行人邻近的上述危险对象的位置和速度；(iii)上述至少一个其他行人的位置和速度；以及(iv)与上述行人邻近的信号灯的位置信息及信号状态信息。根据一实施例，本专利技术的特征在于，上述智能手机利用上述控制单元检测到与利用上述智能手机摄像头获取的上述图像相对应的上述高清地图上的至少一个区域的面积为临界值以下的情况下，使得上述控制单元通过上述智能手机向上述行人发送无法检测提醒。根据一实施例，本专利技术的特征在于，上述智能手机参照遮挡信息及角度信息中的至少一部分，判断上述区域的面积为上述临界值以下的至少一种原因，根据各个上述原因通过上述智能手机向上述行人发送互不相同的警告提醒，上述遮挡信息是由至少一个分割单元获取的且是关于遮挡上述智能手机摄像头的至少一个镜头的至少一个妨碍对象的信息，上述角度信息是关于在以上述行人为中心的三维空间中定义上述行人的移动面的法线向量与上述智能手机摄像头的至少一个虚拟虚拟视锥体的中心轴之间的角度的信息。根据一实施例，本专利技术的特征在于，上述步骤(c)中，上述智能手机使得上述控制单元，参照上述第一信息及上述第二信息，判断上述行人和与其邻近的上述危险对象在临界时间内发生碰撞的危险度的概率，从而生成上述行走安全度。根据一实施例，本专利技术的特征在于，上述智能手机使得上述控制单元，通过上述智能手机向上述行人追加发送提供行动指南的提醒，以提高上述行走安全度。根据一实施例，本专利技术的特征在于，上述智能手机使得上述控制单元，(i)参照上述第一信息中包括的加速度传感器信息，生成能够预测上述行人的移动速度变化的行人移动预测模型，(ii)参照上述行人移动预测模型，计算行人移动概率，上述行人移动概率是上述行人在上述临界时间内向与上述行人邻近的各个区域移动的概率，(iii)参照上述第二信息中的至少一部分，生成能够预测上述危险对象本文档来自技高网...

【技术保护点】
1.一种方法，其特征在于，提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统，包括：/n步骤(a)，所述智能手机使得至少一个位置跟踪单元，参照利用至少一个高清地图、至少一个全球定位系统、以及至少一个惯性测量单元中包括的至少一个加速度传感器和至少一个陀螺传感器获取的信息中的至少一部分，获取包括所述行人的位置信息及速度信息、所述智能手机的位置信息及速度信息中的至少一部分的第一信息；/n步骤(b)，所述智能手机使得至少一个检测单元，参照利用与所述智能手机联动的一个以上智能手机摄像头获取的图像中的至少一部分以及所述第一信息，获取包括各个与所述行人邻近的危险区域的危险状态和危险对象的位置信息及速度信息的第二信息；以及/n步骤(c)，所述智能手机使得至少一个控制单元，参照所述第一信息及所述第二信息计算所述行人的至少一个行走安全度后，通过所述智能手机向所述行人发送危险提醒。/n

【技术特征摘要】
20190131 US 16/263,0061.一种方法，其特征在于，提供保护使用至少一个智能手机的至少一个行人的尖端行人辅助系统，包括：
步骤(a)，所述智能手机使得至少一个位置跟踪单元，参照利用至少一个高清地图、至少一个全球定位系统、以及至少一个惯性测量单元中包括的至少一个加速度传感器和至少一个陀螺传感器获取的信息中的至少一部分，获取包括所述行人的位置信息及速度信息、所述智能手机的位置信息及速度信息中的至少一部分的第一信息；
步骤(b)，所述智能手机使得至少一个检测单元，参照利用与所述智能手机联动的一个以上智能手机摄像头获取的图像中的至少一部分以及所述第一信息，获取包括各个与所述行人邻近的危险区域的危险状态和危险对象的位置信息及速度信息的第二信息；以及
步骤(c)，所述智能手机使得至少一个控制单元，参照所述第一信息及所述第二信息计算所述行人的至少一个行走安全度后，通过所述智能手机向所述行人发送危险提醒。


2.根据权利要求1所述的方法，其特征在于，还包括：
步骤(d)，所述智能手机使得所述控制单元，向与所述行人邻近的连接设备中的至少一部分发送所述第一信息及所述第二信息中的至少一部分，所述连接设备包括与所述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，所述连接设备中的至少一部分为所述危险对象中的至少一部分。


3.根据权利要求2所述的方法，其特征在于，所述步骤(d)中，所述智能手机使得所述控制单元向与所述行人邻近的所述连接设备中的至少一部分发送所述第一信息及所述第二信息中的至少一部分，从而使得所述连接设备参照所述第一信息及所述第二信息中的至少一部分，以降低所述危险对象与所述行人之间发生碰撞的危险度的方向运行。


4.根据权利要求1所述的方法，其特征在于，
所述步骤(c)中，所述智能手机使得所述控制单元进一步参照第三信息判断所述行走安全度，
所述第三信息包括所述智能手机使得所述控制单元和与所述行人邻近的连接设备中的至少一部分进行通信而生成的关于所述行人的周边情况的信息，所述连接设备包括与所述行人邻近的至少一个车辆、至少一个CCTV、至少一个其他行人的至少一个其他智能手机以及至少一个信号灯，所述连接设备中的至少一部分为所述危险对象中的至少一部分。


5.根据权利要求4所述的方法，其特征在于，
所述第三信息包括第3-1信息及第3-2信息中的至少一部分，
所述第3-1信息包括与所述智能手机联动的所述智能手机摄像头的至少一个虚拟虚拟视锥体以及与所述连接设备联动的至少一个外部摄像头的至少一个虚拟虚拟视锥体中同时包括的第一特定危险对象的位置信息及速度信息，
所述第3-2信息包括与所述智能手机联动的所述智能手机摄像头的所述虚拟虚拟视锥体中未包括但与所述连接设备联动的所述外部摄像头的所述虚拟虚拟视锥体中包括的第二特定危险对象的位置信息及速度信息，
所述智能手机使得所述控制单元，参照所述第3-1信息验证所述第二信息的可靠性，并参照所述第3-2信息获取关于至少一个未检测危险对象的信息。


6.根据权利要求4所述的方法，其特征在于，所述步骤(c)中，
所述智能手机使得所述控制单元，参照(i)所述第三信息中包括的与所述行人邻近的信号灯的位置信息及信号状态信息；以及(ii)所述第一信息中包括的所述行人的所述位置信息及所述速度信息，生成所述行人的关注信号灯信息，并参照所述关注信号灯信息，通过所述智能手机向所述行人发送追加信号灯提醒。


7.根据权利要求4所述的方法，其特征在于，所述第三信息包括：
(i)与所述行人邻近的所述车辆的位置和速度；
(ii)参照与所述行人邻近的所述CCTV获取的与所述行人邻近的所述危险对象的位置和速度；
(iii)所述至少一个其他行人的位置和速度；以及
(iv)与所述行人邻近的信号灯的位置信息及信号状态信息。


8.根据权利要求1所述的方法，其特征在于，所述智能手机利用所述控制单元检测到与利用所述智能手机摄像头获取的所述图像相对应的所述高清地图上的至少一个区域的面积为临界值以下的情况下，使得所述控制单元通过所述智能手机向所述行人发送无法检测提醒。


9.根据权利要求8所述的方法，其特征在于，所述智能手机参照遮挡信息及角度信息中的至少一部分，判断所述区域的面积为所述临界值以下的至少一种原因，根据各个所述原因通过所述智能手机向所述行人发送互不相同的警告提醒，所述遮挡信息是由至少一个分割单元获取的且是关于遮挡所述智能手机摄像头的至少一个镜头的至少一个妨碍对象的信息，所述角度信息是关于在以所述行人为中心的三维空间中定义所述行人的移动面的法线向量与所述智能手机摄像头的至少一个虚拟虚拟视锥体的中心轴之间的角度的信息。


10.根据权利要求1所述的方法，其特征在于，所述步骤(c)中，
所述智能手机使得所述控制单元，参照所述第一信息及所述第二信息，判断所述行人和与其邻近的所述危险对象在临界时间内发生碰撞的危险度的概率，从而生成所述行走安全度。


11.根据权利要求10所述的方法，其特征在于，所述智能手机使得所述控制单元，通过所述智能手机向所述行人追加发送提供行动指南的提醒，以提高所述行走安全度。


12.根据权利要求10所述的方法，其特征在于，所述智能手机使得所述控制单元，(i)参照所述第一信息中包括的加速度传感器信息，生成能够预测所述行人的移动速度变化的行人移动预测模型，(ii)参照所述行人移动预测模型，计算行人移动概率，所述行人移动概率是所述行人在所述临界时间内向与所述行人邻近的各个区域移动的概率，(iii)参照所述第二信息中的至少一部分，生成能够预测所述危险对象的移动速度变化的危险对象移动预测模型，(iv)参照所述危险对象移动预测模型，计算危险对象移动概率，所述危险对象移动概率是所述危险对象在所述临界时间内向与所述危险对象邻近的各个区域移动的概率，之后，(v)参照所述行人移动概率及所述危险对象移动概率生成所述行走安全度。


13.根据权利要求1所述的方法，其特征在于，所述步骤(c)中，
所述智能手机使得所述控制单元，参照所述第一信息及所述第二信息中包括的所述行人的所述位置信息及所述速度信息、以及关于所述危险区域的信息，判断所述行人是否将移动到所述危险区域之一中，从而生成所述行走安全度。


14.根据权利要求13所述的方法，其特征在于，所述智能手机使得所述控制单元，(i)生成能够预测所述行人的移动速度变化的行人移动预测模型，(ii)参照所述行人移动预测模型，计算所述行人向与所述行人邻近的各个邻近区域移动的行人移动概率，之后，(iii)参照所述行人移动概率以及各个所述邻近区域是否与各个所述危险区域相对应，生成所述行走安全度。


15.根据权利要求1所述的方法，其特征在于，所述步骤(b)中，所述智能手机使得所述检测单元，(i)利用所述检测单元中包括的至少一个卷积层、至少一个区域生成网络、至少一个全连接层，检测各个所述图像中包括的与所述行人邻近的所述危险对象，(ii)参照与所述智能手机摄像头的至少一个焦点距离相关的校准信息以及所述第一信息，获取关于检测的所述危险对象的所述第二信息。


16.一种智能手机，其特征在于，提供保...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金寅洙，金鹤京，南云铉，夫硕焄，成明哲，吕东勳，柳宇宙，张泰雄，郑景中，渚泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR