基于实时视频流监控的远程泊车方法及系统技术方案

本发明专利技术公开了一种基于实时视频流监控的远程泊车方法及系统，在自动泊车过程中，使用车载摄像头与车载波雷达采集周边环境信息；车载摄像头采集到的信息通过实时视觉三维点云重建技术，建立视觉3D点云地图，车载雷达采集到信息建立超声波2D点云，通过融合算法融合3D点云地图与2D点云地图，生成高精度的障碍物边界，并将该信息拟合到实时视频中，实现各类复杂泊车场景的有效识别；同时使用实时视频流技术将该视频通过服务器实时发送到用户的移动终端，使得车主能够远程实时查看车辆，实现了对车辆四周环境的判断，能够辅助实现用户对自动泊车功能的远程操作。

【技术实现步骤摘要】
基于实时视频流监控的远程泊车方法及系统
本专利技术属于自动泊车
，具体涉及一种基于实时视频流监控的远程泊车方法。
技术介绍
自动泊车系统最早在1992年由大众在其概念车IRVWFutura上搭载，实现方式是在行李箱中安装了如同个人电脑一般的计算机来控制整个自动泊车系统，但实现成本较高，不适合量产。2003年丰田在普锐斯上提供选装自动泊车系统功能；2005年雪铁龙开发CityPark系统，该系统能够完成基本停车动作。随着技术成本的降低和技术上水平的提升，现在已有大众、宝马、奔驰等多个企业的车型装备了该系统。对于国内产品而言，搭载自动泊车系统的车辆迅猛增长，已经从高档轿车搭载逐渐扩展到了中档轿车。在自动泊车的实际应用场景中存在车位窄、异型车位、车位异物多等原因，导致自动泊车无法顺利进行，为了避免各种意外事件，各主机厂的自动泊车功能要求，必须是在用户监控下进行，如果用户距离车辆超出安全距离，将无法进行自动泊车。又如在专利文献CN107074279A中公开了一种通过拍摄执行自动泊车的周围环境视频图像并发送给移动终端设备来解决该问题。但此专利文献提出的方法存在车载摄像头拍摄视频图像不清晰、图像变形、弱光线下识别差等问题，无法为用户提供清晰的障碍物信息，不能有效地覆盖远程监控自动泊车的常见场景。因此，有必要开发一种新的基于实时视频流监控的远程泊车方法。
技术实现思路
本专利技术的目的是提供一种基于实时视频流监控的远程泊车方法，能在移动终端上实时查看车辆的周边环境信息，通过强化障碍物的精确边界信息，以解决用户在超视距的场景下无法远程泊车的问题。第一方面，本专利技术所述的基于实时视频流监控的远程泊车方法，包括以下步骤：步骤1：移动终端发送开启远程自动泊车请求；步骤2：服务器接收该开启远程自动泊车请求，并向车端控制器A下发指令；步骤3：车端控制器A基于服务器下发的指令向车载控制器B、车载控制器C和车载雷达控制器发送请求；步骤4：车载控制器B反馈电池电量和检测环境光，完成系统启动并获取到视频监控的任务后反馈电池电量到服务器；车载控制器C向车载摄像头发送控制指令；车载摄像头接收到指令后采集前、后、左、右各视角的视频流信息，并将视频流信息发送至车端控制器A；车载雷达控制器控制车载雷达启动并使用超声波监控周围环境信息，并将采集到超声波信息实时发送给车端控制器A；步骤5：车端控制器A对视频流信息与超声波信息进行融合处理生成准确的障碍物轮廓，并将该障碍物轮廓拟合到视频流中；步骤6：车端控制器A将拟合后的视频流进行压缩处理，并上传至服务器；步骤7：移动终端实时读取服务器中的实时视频流并展示。可选的，所述步骤5中融合处理包括：利用实时视觉三维点云重建技术，根据车载控制器C发送的实时视频流信息构建视觉3D点云地图；根据车载雷达控制器发送的实时超声波信息构建超声波2D点云，并融合视觉3D点云地图，生成准确的障碍物轮廓并该障碍物轮廓拟合到实时视频流中。可选的，所述步骤4，具体为：车载控制器B通过检测环境光线信息决定车机端是否打开近光灯和位置灯；同时车载控制器B收集车辆电池电量信息，进行低电量监测，如果监测为低电量状态，则将结果反馈至车端控制器A，并结束此次任务；车载控制器C采集前、后、左、右任一视角的视频并将视频流发送给车端控制器A，同时也负责对所有摄像头进行诊断，若摄像头异常则将异常信息上报到服务器，并结束此次任务；车载雷达控制器检测车辆周围的超声波信息并将超声波信息发送给车端控制器A；同时对车载雷达进行诊断，若车载雷达异常则将异常信息上报到服务器，并结束此次任务。可选的，所述步骤6，具体为：车端控制器A将视频流根据用户选择视频清晰度进行压缩处理，并通过实时视频流技术发送至服务器。可选的，所述步骤7中，在展示视频流过程中，若车端控制器A接收到服务器下发的视频清晰度的切换任务和视频视角切换任务时，车端控制器A执行清晰度切换与视角切换任务；若车端控制器A接收到服务器下发的停止远程自动泊车指令时，则车端控制器A退出视频监控同时停止视频流处理；若车端控制器A检测到远程自动泊车操作时间超过规定时间时，则车端控制器A执行停止远程自动泊车操作，并同时关闭视频流推送且停止视频流处理，并向服务器反馈。可选的，所述步骤2中，车端控制器A接收到服务器下发的指令后，车端控制器A进行自检，自检无异常时将进入步骤3；当自检发现错误问题时，车端控制器A将反馈的错误信息发送至服务器，服务器将对应错误信息反馈至移动终端，并退出本次功能执行。第二方面，本专利技术所述的基于实时视频流监控的远程泊车系统，包括：移动终端，用于发送视频监控请求，以及提供显示界面；服务器，用于接收移动终端发送的视频监控请求并下发指令至车端，该服务器与移动终端建立通信连接；车端控制器A，用于接收服务器下发指令并向下发送请求，该车端控制器A与服务器建立通信连接；车载雷达，用于监控车辆周围环境信息；车载雷达控制器，用于控制车载雷达启动并使用超声波监控周围环境信息，并将采集到超声波信息实时发送给车端控制器A，所述车载雷达控制器与车载雷达连接，车载雷达控制器通过网关与车端控制器A连接；车载摄像头，用于采集前、后、左、右各视角的视频流信息；车载控制器C，用于向车载摄像头发送控制指令，控制车载摄像头接收到指令后采集前、后、左、右各视角的视频流信息，并将视频流信息发送给车端控制器A，所述车载控制器C与车载摄像头连接，车载控制器C通过网关与车端控制器A连接；所述车端控制器A对视频流信息与超声波信息进行融合处理生成准确的障碍物轮廓，并将该障碍物轮廓拟合到视频流中，车端控制器A将拟合后的视频流进行压缩处理，并上传至服务器，所述移动终端实时读取服务器中的实时视频流并展示；车载控制器B，用于反馈电池电量和检测环境光，完成系统启动并获取到视频监控的任务后将反馈电池电量发送给车端控制器A，该车载控制器B通过网关与车端控制器A连接。本专利技术具有以下优点：在自动泊车过程中，使用车载摄像头与车载波雷达采集周边环境信息；车载摄像头采集到的信息通过实时视觉三维点云重建技术，建立视觉3D点云地图，车载雷达采集到信息建立超声波2D点云，通过融合算法融合3D点云地图与2D点云地图，生成高精度的障碍物边界，并将该信息拟合到实时视频中，实现各类复杂泊车场景的有效识别；同时使用实时视频流技术将该视频通过服务器实时发送到用户的移动终端，使得车主能够远程实时查看车辆，实现了对车辆四周环境的判断，能够辅助实现用户对自动泊车功能的远程操作，解决了用户在超视距的场景下无法远程泊车的问题。附图说明图1为本实施例的系统架构图；图2为本实施例的整体业务示意图；图3为本实施例的实时视频与超声波融合流程图。具体实施方式下面结合附图对本专利技术作可选的说明。本实施例中，一种基于实时视频流监控的本文档来自技高网...

【技术保护点】
1.一种基于实时视频流监控的远程泊车方法，其特征在于，包括以下步骤：/n步骤1：移动终端发送开启远程自动泊车请求；/n步骤2：服务器接收该开启远程自动泊车请求，并向车端控制器A下发指令；/n步骤3：车端控制器A基于服务器下发的指令向车载控制器B、车载控制器C和车载雷达控制器发送请求；/n步骤4：车载控制器B反馈电池电量和检测环境光，完成系统启动并获取到视频监控的任务后反馈电池电量到服务器；/n车载控制器C向车载摄像头发送控制指令；车载摄像头接收到指令后采集前、后、左、右各视角的视频流信息，并将视频流信息发送至车端控制器A；/n车载雷达控制器控制车载雷达启动并使用超声波监控周围环境信息，并将采集到超声波信息实时发送给车端控制器A；/n步骤5：车端控制器A对视频流信息与超声波信息进行融合处理生成准确的障碍物轮廓，并将该障碍物轮廓拟合到视频流中；/n步骤6：车端控制器A将拟合后的视频流进行压缩处理，并上传至服务器；/n步骤7：移动终端实时读取服务器中的实时视频流并展示。/n

【技术特征摘要】
1.一种基于实时视频流监控的远程泊车方法，其特征在于，包括以下步骤：
步骤1：移动终端发送开启远程自动泊车请求；
步骤2：服务器接收该开启远程自动泊车请求，并向车端控制器A下发指令；
步骤3：车端控制器A基于服务器下发的指令向车载控制器B、车载控制器C和车载雷达控制器发送请求；
步骤4：车载控制器B反馈电池电量和检测环境光，完成系统启动并获取到视频监控的任务后反馈电池电量到服务器；
车载控制器C向车载摄像头发送控制指令；车载摄像头接收到指令后采集前、后、左、右各视角的视频流信息，并将视频流信息发送至车端控制器A；
车载雷达控制器控制车载雷达启动并使用超声波监控周围环境信息，并将采集到超声波信息实时发送给车端控制器A；
步骤5：车端控制器A对视频流信息与超声波信息进行融合处理生成准确的障碍物轮廓，并将该障碍物轮廓拟合到视频流中；
步骤6：车端控制器A将拟合后的视频流进行压缩处理，并上传至服务器；
步骤7：移动终端实时读取服务器中的实时视频流并展示。


2.根据权利要求1所述的基于实时视频流监控的远程泊车方法，其特征在于：所述步骤5中融合处理包括：
利用实时视觉三维点云重建技术，根据车载控制器C发送的实时视频流信息构建视觉3D点云地图；
根据车载雷达控制器发送的实时超声波信息构建超声波2D点云，并融合视觉3D点云地图，生成准确的障碍物轮廓并该障碍物轮廓拟合到实时视频流中。


3.根据权利要求1或2所述的基于实时视频流监控的远程泊车方法，其特征在于：所述步骤4，具体为：
车载控制器B通过检测环境光线信息决定车机端是否打开近光灯和位置灯；同时车载控制器B收集车辆电池电量信息，进行低电量监测，如果监测为低电量状态，则将结果反馈至车端控制器A，并结束此次任务；
车载控制器C采集前、后、左、右任一视角的视频并将视频流发送给车端控制器A，同时也负责对所有摄像头进行诊断，若摄像头异常则将异常信息上报到服务器，并结束此次任务；
车载雷达控制器检测车辆周围的超声波信息并将超声波信息发送给车端控制器A；同时对车载雷达进行诊断，若车载雷达异常则将异常信息上报到服务器，并结束此次任务。


4.根据权利要求3所述的基于实时视频流监控的远程泊车方法，其特征在于：所述步骤6，具体为：车端控制器A将视频流根据用户选择视频清晰度进行压缩处理，并通...

【专利技术属性】
技术研发人员：袁朋，尹慧慧，王方超，王伟，蔡春茂，何星，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：重庆;50